80.8K ダウンロード

google/
gemma-3n-e4b
6.9B
gemma3n

Gemma 3nは、スマートフォン、ラップトップ、タブレットなどの日常的なデバイスでの利用に最適化された、マルチモーダル生成AIモデルです。

ビジョン対応(混在)

最終更新日7月8日
README

Gemma 3n E4B

Gemma 3nは、スマートフォン、ラップトップ、タブレットなどの日常的なデバイスでの利用に最適化された、マルチモーダル生成AIモデルです。

このモデルには、Per-Layer Embedding (PLE) パラメータキャッシングや、計算・メモリ要件を柔軟に削減できるMatFormerモデルアーキテクチャなど、パラメータ効率の良い処理におけるイノベーションが含まれています。

E = 実効パラメータ。

32kトークンのコンテキスト長をサポートします。

GGUFは現在テキストのみです。機能を拡張し、この制限を解除するために取り組んでいます。

ソース

このモデルが使用する基盤となるモデルファイル

このモデルをダウンロードすると、LM Studioはお使いのマシンに最適なソースを選択します(これは上書きできます)。

設定

このモデルに含まれるカスタム設定オプション

プロンプトテンプレート
{{ bos_token }}
{%- if messages[0]['role'] == 'system' -%}
    {%- if messages[0]['content'] is string -%}
        {%- set first_user_prefix = messages[0]['content'] + '

' -%}
    {%- else -%}
        {%- set first_user_prefix = messages[0]['content'][0]['text'] + '

' -%}
    {%- endif -%}
    {%- set loop_messages = messages[1:] -%}
{%- else -%}
    {%- set first_user_prefix = "" -%}
    {%- set loop_messages = messages -%}
{%- endif -%}
{%- for message in loop_messages -%}
    {%- if (message['role'] == 'user') != (loop.index0 % 2 == 0) -%}
        {{ raise_exception("Conversation roles must alternate user/assistant/user/assistant/...") }}
    {%- endif -%}
    {%- if (message['role'] == 'assistant') -%}
        {%- set role = "model" -%}
    {%- else -%}
        {%- set role = message['role'] -%}
    {%- endif -%}
    {{ '<start_of_turn>' + role + '
' + (first_user_prefix if loop.first else "") }}
    {%- if message['content'] is string -%}
        {{ message['content'] }}
    {%- elif message['content'] is iterable -%}
        {%- for item in message['content'] -%}
            {%- if item['type'] == 'audio' -%}
                {{ '<audio_soft_token>' }}
            {%- elif item['type'] == 'image' -%}
                {{ '<image_soft_token>' }}
            {%- elif item['type'] == 'text' -%}
                {{ item['text'] }}
            {%- endif -%}
        {%- endfor -%}
    {%- else -%}
        {{ raise_exception("Invalid content type") }}
    {%- endif -%}
    {{ '<end_of_turn>
' }}
{%- endfor -%}
{%- if add_generation_prompt -%}
    {{'<start_of_turn>model
'}}
{%- endif -%}