30秒で分かる説明
コンテキストウィンドウは、生成AIが一度に目を通せる文章の量の上限です。自分が入力した文章、これまでの会話、AIの答えのすべてが、この枠の中に収まる必要があります。枠の大きさはトークンの数で表されます。
詳しい説明
AIとの会話が長くなると、枠の中に収まらない古い部分は、AIから見えなくなります。サービスによっては、古いやり取りを自動で要約して残すものもありますが、細かい内容は抜け落ちることがあります。「最初に伝えた条件を忘れている」と感じるときは、この上限が関わっていることがあります。
枠が大きいモデルなら、長い契約書や報告書をまとめて渡すことができます。ただし、枠に収まっていても、長い文章の途中にある細かい記述を取りこぼすことはあります。大事な条件は、繰り返し伝えるか、最後にもう一度書くほうが伝わりやすくなります。
扱いきれないほど大量の資料を使いたいときは、全部を渡すのではなく、質問に関係する部分だけを探して渡す「RAG」の考え方が役に立ちます。
どこで使われる？
- 長い資料を要約させるとき、1回で渡せるかどうかの判断
- 長く続いた会話で、前提を言い直すかどうかの判断
- AIのモデルを選ぶときの比較の項目の一つ
具体例
とても長い報告書をまとめて渡したところ、終わりのほうの章の内容が要約に入っていませんでした。章ごとに分けて要約させ、最後にそれらをまとめ直すと、全体をもれなく扱えるようになりました。
よくある勘違い
- 枠に入っていればAIはすべてを同じように覚えている、と思われがちですが、長い文章の中ほどの内容は見落とされることがあります。
- 会話を続ければAIが自分のことを覚えていく、と思われがちですが、枠を超えた部分は見えなくなります。記憶の機能があるサービスでも、何を残すかはサービスごとに違います。