はたらクラフト

AIの入力コストを10分の1にするプロンプトキャッシュ活用のコツ

AIコスト・効率化

Claude CodeやCodexを使っていて、サブスクの利用枠の減りが速いと感じることはないでしょうか。

原因の1つは、AIがやりとりごとにそこまでの会話を全て読み直すコスト。プロンプトキャッシュという仕組みを使えていると、このコストを10分の1におさえられます。

この記事では、

  • AIが会話を読み直す仕組みとプロンプトキャッシュの解説
  • キャッシュ活用の2つのポイント

を解説します。

動画で見たい方はこちら。

AIは指示ごとに、そこまでの会話を全部読み込み直している

指示のたびにAIが会話を最初から読み直す仕組みの図解

AIは1つの会話の中で指示を出すたびに、そこまでの会話を最初から読み込み直して回答します。

読み直す範囲は、あらかじめ組み込まれた指示や、これまでのやり取り全てです。

※詳細はコンテキストウィンドウの解説記事を参照

プロンプトキャッシュで読み直しのコストは10分の1

通常の読み込みとキャッシュの読み込みのコスト比較

この読み直しの負担を減らす仕組みが、プロンプトキャッシュです。

AIが直前まで読み込んだ内容を一定時間保存しておき、そこから読み出す仕組みで、AIの短期記憶に当たります。

キャッシュから読み込んだ入力トークンは、Anthropic公式でもOpenAI公式でも、通常入力の10分の1になると記載があります。

たとえば、読み込みに1,000トークン使う内容なら、キャッシュがあれば100トークンで済みます。

キャッシュ活用のための2つのポイント

ここからは、キャッシュを活かすための2つのポイントを紹介します。

AIの回答から次の指示まで、Claude Codeは1時間・Codexは30分以内

AIの回答後にキャッシュが延長・消滅する仕組みとClaude Code・Codexの制限時間の対比

プロンプトキャッシュには有効期限があり、キャッシュを使うたびにその期限が延びます。期限が切れるとキャッシュは消えます。

先ほど書いたように、キャッシュが消えた後の指示で消費する入力トークンは、キャッシュありの10倍です。

Claude Codeのキャッシュの期限は1時間、Codexは30分です。

※API利用時の期限は5分

AIのモデル・思考量は会話の途中で変えない

会話の途中でのモデル・思考量切り替えによるキャッシュ消失と、新しい会話での切り替えという対処法

プロンプトキャッシュは、使うモデルと思考量(AIにどれだけ深く考えさせるかの設定)の組み合わせごとに、別々に保存されます。

そのため、同じ会話の途中でモデルや思考量を切り替えると、次の指示は会話全体をキャッシュなしで読み直すことになります。

モデルや思考量が変わるとキャッシュが引き継がれないことは、Claude Code公式ドキュメントに書かれています。

モデル・思考量の変更は、新しい会話を始めるタイミングがベストです。

まとめ:プロンプトキャッシュを活かしてトークン節約

この記事の要点は次の4つです。

  • AIは指示のたびに、それまでの会話全体を読み直している
  • プロンプトキャッシュが効けば、読み直しのコストは通常の10分の1
  • AIの回答から次の指示まで、Claude Codeは1時間・Codexは30分以上空けない
  • AIのモデル・思考量は、会話の途中で変えない

AIを使うときは、上記のキャッシュを活かす2つのポイントを意識してみてください。キャッシュの活用で読み直しの入力トークンが10分の1になります。

ながら聞きでAI活用・業務改善に役立つポッドキャストをSpotifyでも配信中です。

現場のAI・業務改善ラジオSpotifyopen.spotify.com

この記事をシェア

AI・IT活用、業務改善をお手伝いします

ITエンジニア歴10年の経験から、困りごとや業務内容に合うベストな解決策をご提案

メールでのご相談は2営業日以内にご返信します。