コンテキスト内学習(In-Context Learning、ICL)とは、大規模言語モデル(LLM)において、モデルの内部的なパラメータを更新することなく、入力として与えられた文脈や少数の例に基づいて新しいタスクを学習し、その場で推論を行う能力を指します。
これは、モデルを再訓練する従来のファインチューニングといった学習とは根本的に異なります。例えば、AIに特定のタスク(文章分類など)を実行させたい場合、プロンプトと呼ばれる入力の中に、タスクの指示に加えて、入力と期待される出力のペアをいくつか例として含めることで、モデルはそのパターンを把握し、与えられた新しい入力に対して適切な出力を生成します。
この手法の最大の利点は、追加の学習時間や計算資源を必要とせず、即座に様々なタスクに対応できる柔軟性の高さにあります。人間が新しい状況に遭遇した際に、過去の経験やその場の状況から即座に行動を推測するのに似ています。
特にFew-Shot学習(少量の例による学習)として知られ、プロンプト内で例示された情報のみを利用して、タスクのパターンを「推測」し、設定値を変更せずに新しい入力に対する答えを導き出すため、効率的かつ多様な応用を可能にする、LLMの重要な特性の一つです。
