はたらクラフト

コンテキストウィンドウとは?AIの精度低下・コスト増加の原因と2つの対策

業務改善ノウハウ

ChatGPTやClaudeとのやり取りが長くなると、回答の精度が落ちたり、少し前に伝えた内容を忘れられたりすることはないでしょうか。

原因は、AIが一度に扱える記憶の量には上限があり、そこが埋まるほど精度が落ちる仕組みにあります。

この記事で解説するのは、AIの記憶の仕組みと、今日から始められる2つの対策です。

対策は、AIの回答精度とコストの両方に効きます。

コンテキストウィンドウはAIが一度に扱える記憶の上限

AIの作業記憶に上限があるコンテキストウィンドウの図解

コンテキストウィンドウとは、AIが回答するときに参照できるテキスト量のこと。

Anthropic公式の用語集は、これをAIの「作業記憶(working memory)」に相当すると説明しています。

コンテキストウィンドウの大きさは、文章を細かく区切った単位である「トークン」の数で表されます。

代表的なモデルのコンテキストウィンドウは以下のとおりです。

100万トークンはおよそ250万文字。最新のAIモデルの記憶上限は文庫本20冊を超える文字量ということです。

会話・指示ファイル・読んだ資料がコンテキストに入る

会話や指示ファイルなどがコンテキストへ集まる図解

コンテキストに入るのは、AIとの会話だけではありません。

Claude CodeやCodexのようなAIエージェントでは、以下全てがコンテキストに含まれます。

  • 1つの会話の全メッセージ
  • AIが読んだファイル
  • 実行したコマンドの出力
  • システム指示:あらかじめAIに組み込まれている、役割や振る舞いの決まり
  • ツール定義:ファイル検索やコマンド実行など、AIが使える機能の説明書
  • 外部データ:連携したカレンダーや顧客管理システムから取り込む情報など

コンテキストを何にどのくらい使っているかは、ClaudeやCodexのアプリから確認できます。

Codexのコンテキスト使用量の内訳画面

コンテキストを使いすぎるとAIの精度が落ちる

コンテキスト量の増加でAIの精度が落ちる図解

Anthropic公式ブログは、コンテキスト内のトークン数が増えるほど、AIが正確に情報を思い出す能力が下がると説明しています。

この現象を「コンテキストの劣化(context rot)」と呼びます。

AIと長く会話を続けるほど、最初に伝えた条件を無視した回答が増えやすくなります。

AI向けデータベースを開発するChroma社の研究では、主要なAIモデル18種類を検証し、入力が長くなるほど単純なタスクでも性能が低下することが実証されました。

劣化の内容や、どのくらいの長さから精度が落ち始めるかは、モデルや作業によって一様ではありませんでした。

会話を続けるほどトークン消費も増える

会話履歴の蓄積でトークン消費が増える図解

会話が長くなるほどトークン消費が増えるのは、AIの文章生成の仕組みと関係があります。

ChatGPTやClaudeのような言語モデルは、「自己回帰(オートリグレッション)」と呼ばれる方式で動いています。

これは、それまでの文脈全体をもとに次の語を予測する仕組みです。会話中のやり取りは全て保持され、積み重なっていきます

AIへの毎回の入力は
「会話履歴全体 + 今回のメッセージ」
で構成され、そこに含まれる要素は全てトークンを消費します。

つまり、長く会話するほど利用上限やコストに影響するということです。

AIの精度とコストを守る2つの対策

原因と仕組みが分かったところで、今日からできる対策を2つ紹介します。

対策1: タスクが変わったら新しい会話を始める

タスク変更時に新しい会話へ切り替える手順の図解

対策の1つ目は、話題やタスクが変わったタイミングで、新しい会話を始めることです。

無関係なコンテキストを含む長い会話はAIの性能を下げ、トークンを浪費します。

たとえば、壁打ちや議論の後に作業をさせる場合は、

  1. 「決まった内容をマークダウンファイルにまとめて」と伝えてファイル化
  2. 新しい会話でファイルをもとに作業依頼

という手順をとると、無駄なコンテキストを含めずに作業させることができます。

対策2: AIへの指示ファイルの内容は必要最低限にする

指示ファイルを必要最低限に絞る効果の図解

対策の2つ目は、Claude CodeやCodexなどのAIエージェントを使っている方向けの対策です。

エージェントは起動のたびにAGENTS.mdCLAUDE.mdといった指示ファイルをコンテキストへ読み込みます。

最近のAIモデルは賢いので、細かすぎる指示はかえって性能を落とすことがあります。

Anthropic公式ブログでも、指示は成果につながる最小限の情報だけに絞り、賢いモデルに任せる設計が推奨されています。

指示ファイルをAIに編集させるときにおすすめの指示が「洗練された必要最低限の内容にして」です。

この指示は、しない場合に比べて数十行、場合によっては数百行ファイル内容が削られます。

こんなに減らして大丈夫?と最初は思うのですが、運用してみると全く問題なくAIは仕事をしてくれます。人もAIも管理する文章量が減って一石二鳥です。

コンテキストを整えてAIの精度を保つ

この記事の要点は、次の3つです。

  • コンテキストウィンドウには上限があり、埋まるほどAIの精度が落ちる
  • 自己回帰の仕組みにより、会話を続けるほどトークン消費(コスト)が増える
  • 対策はタスクの切り替えで新しい会話にする、指示ファイルを必要最低限にする

まずは今日から、話題やタスクの切り替え時に新しい会話を始めるようにしてみてください。

より本格的にAIの指示ファイルを最適化したい方は、SSoT(信頼できる唯一の情報源)の解説記事も参考になります。