ドキュメント

ドキュメントとチャット

LM Studioのチャットセッションに、ドキュメントファイル(.docx.pdf.txt)を添付できます。

これにより、アプリを介してチャットするLLMに追加のコンテキストが提供されます。


用語集

  • 検索(Retrieval): 長い元ドキュメントから関連する部分を特定すること
  • クエリ(Query): 検索操作への入力
  • RAG: Retrieval-Augmented Generation(検索拡張生成)*
  • コンテキスト(Context): LLMの「ワーキングメモリ」。多くの場合、数千語に制限されます**
* この文脈において、「生成(Generation)」はLLMの出力を意味します。
** 最近の新しいLLMの傾向として、より大きなコンテキストサイズがサポートされています。
コンテキストサイズは「トークン」で測定されます。1トークンはしばしば単語の約3/4に相当します。

RAGと完全なドキュメントの「インコンテキスト」処理の比較

ドキュメントが十分に短い場合(つまり、モデルのコンテキストに収まる場合)、LM Studioはそのファイルの内容を会話にすべて追加します。これは、MetaのLlama 3.1やMistral Nemoなど、より長いコンテキストサイズをサポートするモデルにとって特に有用です。

ドキュメントが非常に長い場合、LM Studioは「Retrieval Augmented Generation」(しばしば「RAG」と略される)の使用を選択します。RAGとは、非常に長いドキュメント(または複数のドキュメント)から関連する部分を抽出し、参照としてモデルに提供することを意味します。この技術は非常にうまく機能することもありますが、時には調整や実験が必要です。

RAGを成功させるためのヒント

クエリにできるだけ多くのコンテキストを提供してください。関連するソース資料に含まれていると思われる用語、アイデア、単語を言及してください。これにより、システムがLLMに有用なコンテキストを提供する可能性が高まります。常にそうであるように、何が最適かを見つける最善の方法は実験です。