LLMリーダーボードの読み方：総合順位がいちばん役に立たない理由

LLMのリーダーボードで、総合順位はいちばん情報量の少ない列です。 上位モデルのスコアは団子状態で、順位の差はほとんど意味を持ちません。

実際の数字で確認します。以下は2026年7月31日時点の対戦型リーダーボード（テキスト・総合）から、FastMetalが取り込んでいるデータです。

1位と20位の差は77点。1位と5位に至っては13点です。

Eloを勝率に直すと、団子の正体が見える

Eloは順位を付けるための点数ではなく、勝率を表す指標です。次の式で勝率に戻せます。

勝率 = 1 / (1 + 10^(-Elo差 / 400))

先ほどの数字を入れてみます。

つまり 「総合1位」のモデルは、「総合20位」のモデルに10回中4回は負けます。 そして1位と5位はほぼ互角です。

順位表は1位・2位・3位と縦に並ぶので決定的な差があるように見えますが、実際には上位20モデルは統計的にひとかたまりです。「1位だから」という理由でモデルを選ぶのは、この団子の中から1つを適当に引くのとあまり変わりません。

さらに、Eloには信頼区間があります。投票数が少ないモデルほど推定は不安定で、公開されている信頼区間は上位陣でしばしば重なっています。区間が重なっている2モデルの順位差は、そもそも有意ではありません。

カテゴリ別順位は総合とはっきり食い違う

では何を見るべきか。自分の用途に対応するカテゴリの順位です。総合順位とは大きくずれます。

同じ2026年7月31日のデータで、日本語カテゴリの上位を見てみます。

総合16位のモデルが、日本語では2位です。 総合順位だけを見て上位5つから選んでいたら、日本語で2番目に強いモデルを最初から候補から外していたことになります。日本語で使うなら、見るべきは日本語カテゴリです。

コーディングでも順位は入れ替わります。総合1位の claude-fable-5 はコーディングでは2位で、1位は claude-opus-4-7-thinking（Elo 1553）です。

さらに極端な例として、あるモデル（claude-opus-5-high）の同じ日のカテゴリ別順位を並べるとこうなります。

同じモデルが、数学で2位、マルチターンで19位です。 「良いモデル」という一次元の評価が成り立たないことが、この1行で分かります。長い会話を回すエージェント用途なら、このモデルの総合7位という数字はあてになりません。

FastMetalのモデルカタログではカテゴリ別の順位を取り込んでおり、用途別のおすすめ一覧から日本語・コーディング・創作といった軸で絞り込めます。

リーダーボードが測っていないもの

対戦型リーダーボードは「人間がどちらの回答を好んだか」の集計です。実務で効く要素のうち、ここに現れないものがあります。

• 価格 — 1位のモデルが20位の10倍の価格でも、順位は同じ列に並びます。61%の勝率のために10倍払う判断は、順位表からは出てきません
• 速度・レイテンシ — 好みの投票に反映されにくい要素です
• コンテキスト長 — 扱える長さは順位と無関係です
• ツール呼び出しや画像入力への対応 — ツール呼び出しができないモデルは、エージェント用途では順位に関係なく使えません
• あなたのプロンプト — 投票者の質問はあなたの業務ではありません

最後の点がいちばん大きいところです。リーダーボードは候補を絞るための道具であって、決定するための道具ではありません。

実務的な使い方

順位表との付き合い方は、この順序が現実的です。

1. 必須条件で足切りする — コンテキスト長、画像入力、ツール呼び出し、予算。ここで候補はかなり減ります
2. 用途に対応するカテゴリで上位を見る — 総合ではなく、日本語なら日本語、コードならコーディング
3. 残った3〜5モデルを自分のプロンプトで比較する — ここが本番です
4. 自動で測れる形にする — Evals（評価）を組めば、モデルが更新されるたびに再実行できます

3の比較は、1つのAPIキーで複数モデルを呼べる環境だと model の値を差し替えるだけで済みます。

from openai import OpenAI

client = OpenAI(api_key="<FASTMETAL_API_KEY>", base_url="https://api.fastmetal.ai/v1")

PROMPT = "この仕様書の曖昧な点を3つ挙げて"   # ← 自分の実務のプロンプトに置き換える

for model in ["anthropic-claude-fable-5", "gpt-5.6-sol", "gemini-3.5-flash"]:
    r = client.chat.completions.create(
        model=model, max_tokens=500,
        messages=[{"role": "user", "content": PROMPT}],
    )
    print(f"--- {model} ---")
    print(r.choices[0].message.content)

順位表を眺める時間より、この10行を回す時間のほうが判断の役に立ちます。

データの鮮度に注意

リーダーボードは常に過去のスナップショットです。この記事の数字は2026年7月31日時点のもので、モデルは毎週のように追加・更新されます。数か月前の順位を引用している記事は、すでに存在しないランキングを説明している可能性があります。

引用する側も、される側も、いつ時点のデータかを必ず確認してください。

よくある質問

Q. 総合1位のモデルを選べば間違いないですか？ いいえ。1位と5位のElo差は13点で、勝率にすると51.9%とほぼ互角です。1位と20位でも77点＝60.9%で、10回中4回は下位のモデルが勝ちます。総合順位でモデルを決める根拠にはなりません。

Q. Elo差はどれくらいから意味がありますか？ 体感できる差が出るのは150点前後（勝率70%）からです。それ以下は用途やプロンプト次第で簡単に逆転します。

Q. 日本語で使うならどのカテゴリを見ればいいですか？ 日本語カテゴリです。総合とは大きくずれることがあり、実データでは総合16位のモデルが日本語では2位でした。用途別の一覧から確認できます。

Q. リーダーボードだけでモデルを決められますか？ 決められません。価格・速度・コンテキスト長・ツール対応は順位に含まれず、何より投票者の質問はあなたの業務ではありません。候補を3〜5に絞る道具として使い、最後は自分のプロンプトで比べてください。

まとめ

リーダーボードの総合順位は、上位が団子状態でほとんど差がありません（1位vs20位で勝率61%、1位vs5位で51.9%）。見るべきは用途に対応したカテゴリで、そこでは総合16位が日本語2位になるほど順位が入れ替わります。

そして最後は自分のプロンプトで比べるしかありません。モデルカタログと用途別の一覧で候補を絞り、APIキー1つで実際に投げ比べてみてください。