google による gemma 2 27b

Gemma 2 は、リリース 1.1 と同じ非常に大きな語彙を備えており、多言語およびコーディングの習熟に役立つ傾向があります。

Gemma 2 27B は、Gemma 1.1 の 2 倍以上、9B モデルの 60% 増となる 13 兆トークンの広範なデータセットでトレーニングされ、同様のデータセットが使用されました。

• Web ドキュメント: 多様な Web テキストのコレクションにより、モデルは幅広い言語スタイル、トピック、語彙に触れることができます。主に英語のコンテンツ。
• コード: モデルをコードに触れさせることで、プログラミング言語の構文やパターンを学習でき、コード生成能力やコード関連の質問の理解能力が向上します。
• 数学: 数学のテキストでトレーニングすることで、モデルは論理的推論、記号表現を学習し、数学的なクエリに対処できるようになります。

詳細については、こちらのブログ記事をご覧ください: https://huggingface.co/blog/gemma2