gemma 2 9b it by google

Gemma 2は、リリース1.1と同じ非常に大規模な語彙を備えており、多言語対応とコーディング能力の向上に役立ちます。

Gemma 2 9Bは、Gemma 1.1よりも30%大きい8兆トークンの幅広いデータセットでトレーニングされており、以下のような類似のデータセットを使用しています。

• ウェブドキュメント: 多様なウェブテキストのコレクションにより、モデルは幅広い言語スタイル、トピック、語彙に触れることができます。主に英語コンテンツです。
• コード: モデルをコードに晒すことで、プログラミング言語の構文とパターンを学習し、コード生成能力やコード関連の質問を理解する能力が向上します。
• 数学: 数学テキストでのトレーニングにより、モデルは論理的推論、記号表現を学習し、数学的クエリに対応するのに役立ちます。

詳細については、こちらのブログ記事をご確認ください: https://huggingface.co/blog/gemma2