lmstudio-python は、LLM、埋め込みモデル、およびエージェントフローを操作するための一連のAPIを提供します。

SDKのインストール

lmstudio-python はPyPIパッケージとして利用可能です。pipを使用してインストールできます。

pip install lmstudio

ソースコードとオープンソースへの貢献については、GitHubのlmstudio-pythonをご覧ください。

機能

• LLMを使用してチャットで応答したり、テキスト補完を予測したりする
• 関数をツールとして定義し、LLMを完全にローカルで実行される自律エージェントにする
• モデルをメモリにロード、構成、およびアンロードする
• テキストの埋め込みなどを生成する！

クイック例：Llamaモデルとのチャット

import lmstudio as lms

model = lms.llm("llama-3.2-1b-instruct")
result = model.respond("What is the meaning of life?")

print(result)

ローカルモデルの取得

上記のコードにはLlama 3.2 1Bモデルが必要です。モデルをお持ちでない場合は、ターミナルで次のコマンドを実行してダウンロードしてください。

lms get llama-3.2-1b-instruct

LM StudioのCLIにおけるlms getの詳細については、こちらをご覧ください。

インタラクティブな利便性か、決定論的なリソース管理か？

上記の例に示すように、LM Studio Python SDKを操作するには2つの異なるアプローチがあります。

1つ目は、インタラクティブなコンビニエンスAPI（例では「Python (convenience API)」として表示）で、PythonプロンプトやJupyterノートブックを使用する際に、デフォルトのLM Studioクライアントインスタンスの便利な操作に焦点を当てています。

2つ目は、スコープ付きリソースAPI（例では「Python (scoped resource API)」として表示）で、コンテキストマネージャーを使用して、割り当てられたリソース（ネットワーク接続など）がプロセス全体が終了するまで開いたままになるのではなく、決定論的に解放されることを保証します。