拡散型LLMは本当に速いのか:Mercury 2.5 と Solar Pro 4 を43問で比較
Mercury 2.5 は拡散型LLM(dLLM)です。トークンを1つずつ順番に生成するのではなく、複数を並列に生成して精緻化していきます。Inception はこれを高速性の根拠として挙げています。
では実際に速いのか。価格帯がいちばん近い Solar Pro 4 と同じ43問で比べました。結論は、速い。平均7.3倍です。ただし、その速さには読み取っておくべき中身があります。
測り方
FastMetal の比較用43問を、両モデルに同じ条件で投げています。推論の強さは指定していません。Mercury 2.5 は何も指定しないと medium で思考が有効になるため、これは既定の振る舞いでの計測です。
両モデルは価格帯が近く、トークン単価の差は1.3倍以内に収まります。つまり、単価ではなく挙動の違いを見る比較です。
結果
| Mercury 2.5 | Solar Pro 4 | |
|---|---|---|
| 平均応答時間 | 3.8秒 | 27.7秒 |
| 平均出力トークン | 1,968 | 1,088 |
| 平均文字数 | 1,457 | 3,296 |
速度は43問中40問で Mercury 2.5 が上回りました。平均7.3倍、いちばん差がついた問題では26倍です。体感でわかる差ではなく、桁が違います。
速さの中身
ここからが単純ではありません。
Mercury 2.5 は43問中42問で Solar Pro 4 より短く答えています。文字数はおよそ半分です。それでいて出力トークンは約1.8倍使っています。
読める文章が半分で、課金されるトークンが1.8倍。差は思考トークンです。既定で思考が有効なので、短い回答の裏で相応のトークンを消費しています。この傾向は短い質問ほど強く出ます。固定的な思考のオーバーヘッドが、短い回答では相対的に大きくなるためです。
結果として、1回あたりの請求額は Mercury 2.5 のほうが2倍前後高くなります。速いモデルが安いモデルとは限りません。
どちらを選ぶか
- 応答速度が体験を決めるなら Mercury 2.5。 対話UI、補完、その場で返す必要がある処理では、7倍の差は他の何にも代えられません。簡潔に答える傾向も、短い回答が欲しい用途とは相性がよいです。
- 1リクエストあたりのコストを抑えたいなら Solar Pro 4。 詳しく書いてほしいタスク、バッチ処理のように待てる処理では、こちらのほうが安く上がります。
Mercury 2.5 で思考を切れば話は変わります。reasoning に enabled: false を指定するか、low を指定すればトークンは減ります。ただし今回はあくまで既定のままの比較です。指定方法は推論設定のガイドにまとめています。