← すべてのモデル

Qwen2 7B Instruct 4bit

•

mlx-community

qwen

Qwen は Alibaba のオープンソースモデルです

モデル情報

モデル

Qwen2 7B Instruct 4bit

作成者

mlx-community

リポジトリ

🤗 mlx-community/Qwen2-7B-Instruct-4bit↗

アーキテクチャ

qwen

パラメータ数

7B

形式

safetensors

ディスク上のサイズ

概要 4.30 GB

ダウンロードと実行Qwen2 7B Instruct 4bit

LM Studio で開いてダウンロードオプションを表示

ターミナルから qwen2-7b をダウンロード

LM Studio の開発者向け CLI である lms を使用してモデルをダウンロードします。

lms get qwen2-7b
まだお持ちでない場合は、npx lmstudio install-cli を実行して入手してください。

コードから qwen2-7b を呼び出す

curl http://localhost:1234/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen2-7b",
    "messages": [
      { "role": "system", "content": "Always answer in rhymes." },
      { "role": "user", "content": "Introduce yourself." }
    ],
    "temperature": 0.7,
    "max_tokens": -1,
    "stream": true
  }'

次のステップ: ビルド！🔨

  • 開発者タブを使用してサーバーを設定し、受信リクエストを確認してください。
  • lms log stream を実行して、LLM に送信されるプロンプトを確認してください。
  • 🐛 バグは lmstudio-ai/lmstudio-bug-tracker に報告してください。

詳細