lmstudio-js（TypeScript SDK）

このSDKは、LLM、埋め込みモデル、およびエージェントフローと対話するためのプログラムツールセットを提供します。

SDKのインストール

lmstudio-jsはnpmパッケージとして利用可能です。npm、yarn、またはpnpmを使用してインストールできます。

npm install @lmstudio/sdk --save

ソースコードとオープンソース貢献については、GitHubのlmstudio.jsをご覧ください。

機能

• LLMを使用してチャットで応答したり、テキスト補完を予測したりできます
• 関数をツールとして定義し、LLMを完全にローカルで実行される自律エージェントに変えられます
• メモリからモデルをロード、設定、アンロード
• ブラウザおよびあらゆるNode互換環境をサポートします
• テキストの埋め込みを生成するなど、さらに多くの機能があります！

簡単な例：Llamaモデルとのチャット

import { LMStudioClient } from "@lmstudio/sdk";
const client = new LMStudioClient();

const model = await client.llm.model("llama-3.2-1b-instruct");
const result = await model.respond("What is the meaning of life?");

console.info(result.content);

ローカルモデルの取得

上記のコードにはLlama 3.2 1Bが必要です。モデルをお持ちでない場合は、ターミナルで次のコマンドを実行してダウンロードしてください。

lms get llama-3.2-1b-instruct

LM StudioのCLIでのlms getについて、こちらで詳しく読むことができます。