ドキュメント

LLMをローカルで実行する

プリセット

API

RESTエンドポイント

ユーザーインターフェース

高度な設定

LM Studioをサービスとして実行する（ヘッドレス）

高度な設定

バージョン0.3.5以降、LM StudioはGUIなしでサービスとして実行できるようになりました。これは、LM Studioをサーバー上で、またはローカルマシンのバックグラウンドで実行するのに役立ちます。

LM Studioをサービスとして実行

LM Studioをサービスとして実行することは、LM Studioを開発者ツールとしてより効率的に使用することを目的としたいくつかの新機能で構成されています。

  • GUIなしでLM Studioを実行する機能
  • マシンログイン時にLM Studio LLMサーバーをヘッドレスで起動する機能
  • オンデマンドモデル読み込み

マシンログイン時にLLMサービスを実行

これを有効にするには、アプリ設定（Cmd / Ctrl + ,）に移動し、ログイン時にLLMサーバーを実行するチェックボックスをオンにしてください。

undefined

マシンログイン時にLLMサーバーを起動するように設定

この設定を有効にすると、アプリを終了してもシステムトレイに最小化され、LLMサーバーはバックグラウンドで引き続き実行されます。

OpenAIエンドポイント向けジャストインタイム（JIT）モデル読み込み

LM Studioを他のフロントエンドやアプリケーションとLLMサービスとして利用する際に便利です。

undefined

オンデマンドでモデルを読み込む

JIT読み込みがオンの場合

  • /v1/modelsへの呼び出しは、メモリに読み込まれているモデルだけでなく、ダウンロード済みのすべてのモデルを返します
  • 推論エンドポイントへの呼び出しは、モデルがまだメモリに読み込まれていない場合、自動的に読み込みます

JIT読み込みがオフの場合

  • /v1/modelsへの呼び出しは、メモリに読み込まれているモデルのみを返します
  • モデルを使用する前に、まずメモリに読み込む必要があります
自動アンロードについてはどうですか？

LM Studio 0.3.5時点では、自動アンロードはまだ実装されていません。JIT読み込みで読み込まれたモデルは、手動でアンロードするまでメモリに残ります。近い将来、より洗練されたメモリ管理を実装する予定です。ご意見やご提案があればお知らせください。

サーバー自動起動

最後のサーバーの状態は保存され、アプリまたはサービスの起動時に復元されます。

これをプログラムで実現するには、以下のコマンドを使用できます

lms server start
プロのヒント

まだの場合は、lmsをマシンに導入するには、こちらの手順に従ってください。

コミュニティ

他のLM Studio開発者とチャットしたり、LLM、ハードウェアなどについて議論したりするには、LM Studio Discordサーバーをご利用ください。

バグや問題は、lmstudio-bug-tracker GitHubリポジトリに報告してください。