lmstudio-js (TypeScript SDK)

このSDKは、LLM、埋め込みモデル、およびエージェントフローと対話するためのプログラム可能なツールのセットを提供します。

SDKのインストール

lmstudio-jsはnpmパッケージとして利用可能です。npm、yarn、またはpnpmを使用してインストールできます。

npm install @lmstudio/sdk --save

ソースコードとオープンソースの貢献については、GitHubのlmstudio.jsをご覧ください。

機能

• LLMを使用してチャットで応答したり、テキスト補完を予測したりできます。
• 関数をツールとして定義し、LLMを完全にローカルで実行される自律エージェントに変換します。
• モデルをロード、設定、アンロードします。
• ブラウザとNode互換環境の両方をサポートします。
• テキストの埋め込みなどを生成します！

クイック例：Llamaモデルとのチャット

import { LMStudioClient } from "@lmstudio/sdk";
const client = new LMStudioClient();

const model = await client.llm.model("llama-3.2-1b-instruct");
const result = await model.respond("What is the meaning of life?");

console.info(result.content);

ローカルモデルの取得

上記のコードはLlama 3.2 1Bを必要とします。モデルをお持ちでない場合は、ダウンロードするためにターミナルで次のコマンドを実行してください。

lms get llama-3.2-1b-instruct

LM StudioのCLIでlms getについてこちらでさらに読む。