Googleによるgemma 2 27b it

Gemma 2は、リリース1.1と同じく非常に大規模な語彙を特徴としており、これは多言語対応とコーディング能力の向上に役立つ傾向があります。

Gemma 2 27Bは、Gemma 1.1の2倍以上にあたる13兆トークンに及ぶ広範なデータセットで訓練され、9Bモデルよりもさらに60%多くのデータを使用しており、類似のデータセットには以下が含まれます。

• Webドキュメント: 多様なウェブテキストのコレクションにより、モデルは幅広い言語スタイル、トピック、語彙に触れることができます。主に英語のコンテンツです。
• コード: モデルをコードにさらすことで、プログラミング言語の構文やパターンを学習するのに役立ち、これによりコード生成やコード関連の質問を理解する能力が向上します。
• 数学: 数学テキストでの訓練は、モデルが論理的推論、記号表現を学習し、数学的なクエリに対応するのに役立ちます。

詳細については、こちらのブログ記事をご覧ください: https://huggingface.co/blog/gemma2