Llama 3.2 3B レビュー：3B モデルに日本語をどこまで任せられるか

結論から言うと、Llama 3.2 3B（llama-3.2-3b-instruct）に日本語の文章生成や判断を任せるのは難しいというのが今回の結果です。要約はおおむね形になりましたが、それ以外のタスクでは不自然な日本語や誤答が目立ちました。3B という小ささを活かせるのは、英語の軽い処理や、出力を後段でチェックできる前処理です。

概要

Llama 3.2 3B Instruct は Meta が2024年9月に公開した小型のオープンモデルです。

• パラメータ数：3B
• 文脈長：約13万トークン
• 入力・出力：テキスト
• ツール呼び出しは非対応。JSON Schema による構造化出力は使える

日本語で試した結果

同じ5つの日本語タスクを複数のモデルに投げて比べました。

算数の題は、わざと整数解が出ない数字にしてあります。解がないと答えるのが正解ですが、Llama 3.2 3B は式変形の途中で根拠のない仮定を置き、条件と矛盾する答えを自信ありげに返しました。

一方で、応答は1〜3秒と速く、要約のように原文の言葉を拾う処理では一定の結果を出しています。

使うときの注意

• 出力を人間か別のモデルで確認する前提で使う：単独で結論を出させない
• JSON Schema を指定する：構造化出力は指定どおりの形で返った。自由記述より扱いやすい
• 並列度に注意する：提供元が限られるため、同時に大量のリクエストを送ると一時的に 429 が返ることがあります。リトライを実装してください

円建ての単価は料金ページでご確認ください。

向いている用途／向かない用途

向いている：

• 英語テキストの短い分類・タグ付け
• JSON Schema で形式を固定した、単純な抽出
• 出力を後段で検証するパイプラインの前処理

向かない：

• 日本語の文章生成・校正
• 計算や推論
• ツール呼び出しを使うエージェント

よくある質問

Q. Llama 3.2 3B と Llama 3.1 8B はどちらを選ぶべきですか？ ツール呼び出しが必要なら Llama 3.1 8B です。どちらも日本語の文章生成には向かないため、日本語が中心ならより大きなモデルを選んでください。

Q. Llama 3.2 3B で構造化出力は使えますか？ はい。response_format に JSON Schema を指定すると、指定どおりのキーを持つ JSON が返りました。

Q. Llama 3.2 3B で 429 エラーが返るのはなぜですか？ 上流の提供元の処理能力に上限があるためです。少し待ってから再試行してください。

FastMetal で試す

curl https://api.fastmetal.ai/v1/chat/completions \
  -H "Authorization: Bearer $FASTMETAL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "llama-3.2-3b-instruct",
    "max_tokens": 200,
    "messages": [{"role": "user", "content": "Extract the city and population from: Tokyo has about 14 million residents."}],
    "response_format": {
      "type": "json_schema",
      "json_schema": {
        "name": "city",
        "strict": true,
        "schema": {
          "type": "object",
          "properties": {"city": {"type": "string"}, "population_millions": {"type": "number"}},
          "required": ["city", "population_millions"],
          "additionalProperties": false
        }
      }
    }
  }'

同じ API キー・同じ円建て残高のまま、他のモデルと model を差し替えて比べられます。対応モデルはモデルカタログでご確認ください。