← 全モデル

Mistral Nemo Instruct 2407 4bit

•

mlx-community

mistral

NVIDIAとの共同開発によりリリースされた、最先端の12Bパラメータ、コンテキスト長128kのモデルです。Apache 2.0ライセンスで提供されています。

モデル情報

モデル

Mistral Nemo Instruct 2407 4bit

作成者

mlx-community

リポジトリ

🤗 mlx-community/Mistral-Nemo-Instruct-2407-4bit↗

アーキテクチャ

mistral

パラメータ数

12B

フォーマット

safetensors

ディスク容量

約 6.91 GB

ダウンロードと実行Mistral Nemo Instruct 2407 4bit

ダウンロードオプションを表示するには、LM Studioで開いてください。

ターミナルからmistral-nemoをダウンロード

LM Studioの開発者用CLIであるlmsを使用してモデルをダウンロードします。

lms get mistral-nemo
まだインストールしていない場合は、npx lmstudio install-cliを実行してインストールしてください。

コードからmistral-nemoを呼び出す

curl http://localhost:1234/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "mistral-nemo",
    "messages": [
      { "role": "system", "content": "Always answer in rhymes." },
      { "role": "user", "content": "Introduce yourself." }
    ],
    "temperature": 0.7,
    "max_tokens": -1,
    "stream": true
  }'

次のステップ：構築！🔨

  • サーバーの設定と受信リクエストの確認には、開発者タブを使用してください。
  • lms log streamを実行して、LLMに送信されたプロンプトを確認してください。
  • 🐛 バグはlmstudio-ai/lmstudio-bug-trackerで報告してください。

詳細はこちら