DeepSeek R1 Distilledモデルとllama.cppモデルのKVキャッシュ量子化のサポートを含むLM Studio 0.3.7を共有できることを嬉しく思います。

アプリ内アップデート、またはhttps://lmstudio.dokyumento.jpからアップグレードしてください。

---

DeepSeek R1、何がすごいのか？

DeepSeekの待望のR1モデルは、OpenAIのo1と同等のパフォーマンスを達成することを目指した、SOTA（最先端）のオープンソース推論モデルです。

1.5B、7B、8B、13B、14B、32B、70Bの各バリアントの「蒸留された」モデルが、LM Studio内でダウンロード可能です。蒸留モデルは、より大きく高性能なモデル（この場合はDeepSeekの完全なR1モデル）の出力を用いて、より小さなモデルをファインチューニングすることで作成されます。興味があれば、DeepSeekの技術レポートをこちらでご確認ください。

DeepSeek R1を使用すると、<think> </think>トークンで囲まれた「思考プロセス」が出力されることに気づくでしょう。これらは現在、通常の応答と同じようにチャットウィンドウに表示されるため、扱いにくい状況です。思考プロセスを折りたたんだり展開したりできるように、UIのアップグレードに取り組んでいます。0.3.8アップデートにご期待ください。

LM Studio 0.3.7の完全な変更履歴

ビルド 2

• DeepSeek R1のサポート。

ビルド 1

• 新規: ミッションコントロールに「ハードウェア」タブを追加。 Cmd/Ctrl + Shift + Hで開きます。
• 新規: サーバーファイルログモードオプションを追加。ログファイルに記録される内容をより詳細に制御できます。
• 新規: llama.cppモデルのKVキャッシュ量子化 (llama.cpp/1.9.0+ランタイムが必要)
• OpenAI互換APIサーバーでのnullのサポートを追加しました。
• 予測キューイングが機能しない問題を修正しました。(キューに入れられた予測は空の結果を返します)
• 現在使用中のランタイムのみにランタイム更新通知を表示する
• ファイルシステムアクセス不足によりLM Studioの起動に失敗した場合に、詳細なエラーメッセージを表示するようにしました。
• JITモデルの読み込みがエラーを引き起こす場合があるバグを修正しました。
• エンジン拡張機能の出力がログに余分な改行を含んでいたバグを修正しました。
• 新規ユーザーに対してチャットが2つ作成される場合があるバグを修正しました。

---

さらに

• 最新のLM StudioアプリをmacOS、Windows、またはLinux用にダウンロードしてください。
• 職場の組織でLM Studioの使用をご希望の場合は、お問い合わせください: ビジネス向けLM Studio
• 議論やコミュニティについては、Discordサーバーにご参加ください。
• LM Studioを初めてご利用ですか？ドキュメントをご覧ください: ドキュメント: LM Studioの始め方。