コンテキストウィンドウとは、大規模言語モデル（LLM）が一度に処理し、考慮できるテキストの断片の最大量を指します。これは、モデルが応答を生成する際に参照できる「記憶」の範囲と捉えることができます。

具体的には、ユーザーからの入力プロンプトと、それまでの会話履歴（モデルの出力を含む）を合わせた一連のトークンの総数によって定義されます。

モデルは、このウィンドウ内の情報を基に、次に続くべき最も適切なトークンを予測します。コンテキストウィンドウが広ければ、より長い文章や複雑な会話の文脈を維持でき、より一貫性のある応答を生成することが可能になります。例えば、長編小説の要約や、複数の質問が絡み合う複雑な対話などにおいて、その真価が発揮されます。

逆に、コンテキストウィンドウが狭いと、モデルは過去の会話の一部を「忘れて」しまい、文脈を見失ったり、以前に話した内容と矛盾する応答を生成したりする可能性が高まります。これは、あたかも短期記憶に制約があるかのような状態です。

最新のモデルは、この制約を克服するために、より大きなコンテキストウィンドウを持つように設計されていますが、処理コストや計算資源の制約が課題となります。このため、コンテキストウィンドウのサイズは、モデルの能力と性能を測る重要な指標の一つとされています。