microsoftによるphi 4

16kトークンのコンテキスト長をサポートします。

9.8兆個のトークンで学習されています。

合成データ、フィルタリングされたパブリックドメインのウェブサイト、学術書、Q&Aデータセットの組み合わせで学習されています。