gemma 2 9b it by google

Gemma 2 は、リリース 1.1 からの非常に大きな語彙を特徴としており、多言語およびコーディングの習熟度に役立ちます。

Gemma 2 9B は、Gemma 1.1 よりも 30% 大きい 8 兆トークンの広範なデータセットでトレーニングされ、以下のような類似のデータセットが使用されました。

• Web ドキュメント：多様な Web テキストのコレクションにより、モデルは幅広い言語スタイル、トピック、語彙に触れることができます。主に英語のコンテンツです。
• コード：モデルにコードを触れさせることで、プログラミング言語の構文やパターンを学習できるようになり、コードの生成能力やコード関連の質問の理解能力が向上します。
• 数学：数学のテキストでトレーニングすることで、モデルは論理的推論、記号表現を学習し、数学的なクエリに対処できるようになります。

詳細については、こちらでブログ記事をご覧ください。 https://huggingface.co/blog/gemma2