context_length_exceeded の原因と直し方：トークン超過エラーをコードで防ぐ

この記事の要点

• context_length_exceeded は、リクエストがモデルのコンテキスト長に収まらないときに返るエラーです。同じ内容を送り直しても通りません。
• 原因は2つあります。入力そのものが大きすぎる場合と、max_tokens の指定が大きく、出力の予約分まで足すと超える場合です。
• Anthropicでは同じ状況が prompt is too long というメッセージの400エラーになり、code の値では判定できません。
• 直し方は、max_tokens を下げる、古い履歴を削る、要約する、枠の大きいモデルに切り替える、のいずれかです。

コードを動かしていて、次のエラーが返ってきた場合の対処をまとめます。コンテキストウィンドウの仕組みそのものは、コンテキストウィンドウとはで解説しています。

context_length_exceeded のエラー本文

OpenAIのChat Completions APIでは、HTTP 400で次の形の本文が返ります。OpenAIの開発者フォーラムに投稿された実例です。

{
  "error": {
    "message": "This model's maximum context length is 8192 tokens. However, you requested 9850 tokens (1750 in the messages, 8100 in the completion). Please reduce the length of the messages or completion.",
    "type": "invalid_request_error",
    "param": "messages",
    "code": "context_length_exceeded"
  }
}

かっこの中の数字が手がかりです。この例では入力は1,750トークンしかなく、max_tokens の8,100が上限を押し上げています。入力を削る前に、まず max_tokens を確かめます。

コードの値はOpenAIの公式ドキュメントにも、入力がモデルのコンテキストウィンドウを超えたときのものとして載っています。Responses APIでは、Your input exceeds the context window of this model. Please adjust your input and try again. という文言の400が報告されています。

Anthropicでは prompt is too long

Anthropicの公式ドキュメントによると、入力だけで枠を超えると、400の invalid_request_error が prompt is too long というメッセージで返ります。本文の形は type と message を持つ error オブジェクトで、code はありません。

Claude 4.5以降のモデルでは、入力と max_tokens の合計が枠を超えるだけならリクエストは受け付けられます。生成が枠の端に届くと stop_reason が model_context_window_exceeded になって止まるので、エラーを捕まえるだけでは切り詰めに気づけません。

原因の見分け方

送る前の見積もりには、レスポンスの usage か、FastMetalのAnthropic互換APIにあるトークンカウントが使えます。日本語はトークンの数え方に癖があるので、文字数からの換算はLLMのトークンとはを参考にしてください。

履歴を削って送り直すコード

文言はAPIごとに違うので、code とメッセージの両方を見て判定します。超えていたら古い履歴を半分落とし、ユーザーの発言から始まるように揃えてから送り直します。ツールの結果だけが先頭に残ると、別のエラーになるからです。

import os

from openai import BadRequestError, OpenAI

client = OpenAI(
    api_key=os.environ["FASTMETAL_API_KEY"],
    base_url="https://api.fastmetal.ai/v1",
)

OVERFLOW_MARKERS = (
    "maximum context length",
    "exceeds the context window",
    "prompt is too long",
)


def is_context_overflow(err: BadRequestError) -> bool:
    if err.code == "context_length_exceeded":
        return True
    return any(marker in err.message.lower() for marker in OVERFLOW_MARKERS)


def complete(system: dict, turns: list[dict], max_tokens: int = 1024):
    while True:
        try:
            return client.chat.completions.create(
                model="deepseek-v4.1-flash",
                messages=[system] + turns,
                max_tokens=max_tokens,
            )
        except BadRequestError as err:
            if not is_context_overflow(err) or len(turns) <= 1:
                raise
            turns = turns[len(turns) // 2:]
            while len(turns) > 1 and turns[0]["role"] != "user":
                turns = turns[1:]

削るだけでは決まったことや数値が失われます。長い会話では、古い部分を要約に置き換える方法が向いています。実装例はコンテキストウィンドウとはに載せています。

FastMetalで枠の大きいモデルに切り替える

FastMetalは、OpenAI互換APIでモデルを切り替えられる日本のAIゲートウェイです。model の文字列を変えるだけで、同じコードのまま枠の違うモデルを試せます。たとえば deepseek-v4.1-flash は100万トークンのコンテキストに対応しています。ほかのモデルの枠はモデル一覧で比べられます。

料金は100万トークンあたりの従量課金で、枠の大きいモデルでも送った分だけ入力として課金されます。円建ての単価は料金ページで確認できます。

よくある質問

context_length_exceeded はリトライで直りますか

直りません。同じリクエストはいつ送っても同じ大きさなので、内容か max_tokens を変える必要があります。リトライの対象から外しておきます。

max_tokens を省略すれば起きませんか

入力だけで枠を超えているときは、省略しても起きます。出力の予約が原因のときは、値を下げれば解消します。必要な長さを見積もって明示するほうが、挙動を読みやすくなります。

エラーにならずに出力が切れるのは別の問題ですか

別の問題です。枠の手前で止まった場合は、HTTP 200のまま finish_reason が length になります。レスポンスごとに値を確かめます。

上限ぎりぎりまで詰めても大丈夫ですか

枠に収まっていても、詰め込むほど精度が下がる傾向があります。必要な情報に絞って送るのが基本です。

まとめ

context_length_exceeded はリトライでは直らないエラーです。エラー本文の数字から入力と max_tokens のどちらが原因かを見分け、履歴を減らすか、枠の大きいモデルに切り替えます。

FastMetalでは1つのAPIキーでモデルを切り替えられます。無料でアカウントを作成して、model を変えて試せます。