リリースノート
0.3.2 の新機能
- 新規: モデルをリストの先頭に固定する機能が復活しました!
- 「マイモデル」でモデルを右クリックし、「先頭に固定」を選択すると、リストの先頭に固定できます。
- チャット移行ダイアログがチャットサイドバーに表示されるようになりました。
- そこから、0.3.0 より前のバージョンからチャットを移行できます。
- v0.3.1 以降、システムプロンプトも移行されるようになりました。
- 古いチャットは削除されません。
- ダウンロードがない場合は、ダウンロードボタンに数字のバッジを表示しないようにしました。
- 「発見」タブの FAQ サイドバーを折りたたむボタンを追加しました。
- メモリ不足の問題を軽減するため、デフォルトのコンテキストサイズを 8K トークンから 4K トークンに縮小しました。
- モデル読み込み設定で、任意のコンテキストサイズを設定できます。
- モデル読み込み設定の Flash Attention の横に警告を追加しました。
- Flash Attention は実験的な機能であり、すべてのモデルに適しているとは限りません。
- バンドルされている
llama.cpp エンジンを 3246fe84d78c8ccccd4291132809236ef477e9ea (8 月 27 日) に更新しました。
バグ修正
- バグ修正: 複数パートのモデルファイルがある場合、「マイモデル」のモデルサイズ集計が正しくありませんでした。
- バグ修正: (Linux) バンドルされた埋め込みモデルがないため、RAG が失敗していました（修正済み）。
- バグ修正: Flash Attention - KV キャッシュの量子化がデフォルトで FP16 に戻りました。
- 0.3.0 では、K と V の両方が Q8 に設定されていたため、場合によっては大幅な遅延が発生していました。
- FA が ON の場合、0.3.1 と比較してメモリ消費量が増加していることに気づくかもしれませんが、0.2.31 と同等です。
- バグ修正: 一部の環境では、アプリが起動時にハングしていました（修正 + 軽減）。
- バグ修正: ダウンロードパネルがアプリの上部バーにドラッグされていた問題を修正しました。
- バグ修正: 内蔵コードスニペット (サーバータブ) のタイプミスを修正しました。
その他