phi 4 by microsoft

16kトークンのコンテキスト長をサポートします。

9.8兆トークンで学習されました。

合成データ、フィルタリングされたパブリックドメインのウェブサイト、学術書、Q&Aデータセットの混合データで学習されました。