← すべてのモデル

Llama 3.1 8B Instruct 4bit

•

mlx-community

llama

Meta Llama 3.1 の多言語大規模言語モデル (LLM) コレクションは、8B、70B、405B サイズの事前学習済みおよび命令調整済みの生成モデルのコレクションです (テキスト入力/テキスト出力)。

モデル情報

モデル

Llama 3.1 8B Instruct 4bit

作成者

mlx-community

リポジトリ

🤗 mlx-community/Meta-Llama-3.1-8B-Instruct-4bit↗

アーキテクチャ

llama

パラメータ

8B

フォーマット

safetensors

ディスク上のサイズ

約 4.53 GB

ダウンロードして実行Llama 3.1 8B Instruct 4bit

LM Studioで開いてダウンロードオプションを表示

ターミナルからllama-3.1-8bをダウンロード

lms — LM Studioの開発者向けCLIを使用してモデルをダウンロードします。

lms get llama-3.1-8b
まだお持ちでない場合は、npx lmstudio install-cli を実行して入手してください。

コードからllama-3.1-8bを呼び出す

curl https://127.0.0.1:1234/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "llama-3.1-8b",
    "messages": [
      { "role": "system", "content": "Always answer in rhymes." },
      { "role": "user", "content": "Introduce yourself." }
    ],
    "temperature": 0.7,
    "max_tokens": -1,
    "stream": true
  }'

次のステップ: 構築! 🔨

  • 開発者タブを使用してサーバーを設定し、受信リクエストを確認します。
  • lms log stream を実行して、LLMに送信されるプロンプトを確認します。
  • 🐛 バグはlmstudio-ai/lmstudio-bug-trackerで報告してください。

詳細はこちら