← ブログに戻る

Llama 3.1

•

2024-07-23

MetaAI の最新世代の Llama モデル、Llama 3.1 が利用可能になりました。

Llama 3.1 の新機能

  • 最大128kトークンをサポートする、より長いコンテキストウィンドウ。
  • 新しい 405B パラメータのフラッグシップモデルと、アップグレードされた 70B および 8B バージョンを含む、3つの異なるサイズで利用可能。
  • 英語、ドイツ語、フランス語、イタリア語、ポルトガル語、ヒンディー語、スペイン語、タイ語を含む8つの異なる言語で利用可能。
  • GPT-4、GPT-4o、Claude 3.5 Sonnetを含む、他の主要なクローズドソースの基盤モデルに匹敵。

Llama 3.1 には、8B、70B、405B の 3 つのサイズがあります。


名称説明
8B比較的小さく、高速なモデルで、ラップトップで実行できる非常に有能なLLMです。
70Bより複雑な推論を必要とする可能性のある、多様なユースケースを可能にする中〜大型のバリアント。
405Bこれまでで最も広範にトレーニングされたオープンLLMです。実行するには、非常に有能なセットアップが必要です。

LM Studio で Llama 3.1 をローカルで実行する方法

  • https://lmstudio.dokyumento.jp から LM Studio 0.2.28 をインストールします。
  • Meta-Llama-3.1-8B-Instruct-GGUF を検索するか、この直接ダウンロードリンクを使用してください。
  • ダウンロードが完了したら、モデルをロードしてください。
  • チャットインターフェースまたは LM Studio API を介してモデルを使用します。

LM Studio の組み込みの OpenAI のようなサーバーを介して Llama 3.1 を使用できます。詳細については、ドキュメントをご覧ください。

LM Studio で MetaAI の Llama 3.1 を使用するには、LM Studio 0.2.28 以降をダウンロードまたは更新してください。

LM Studio のウェブサイトから LM Studio をダウンロードしてください。