AIの本と用語検索

過学習

過学習(overfitting)とは、モデルが訓練データにあまりにも忠実に適合し、その結果として汎化能力を失う現象を指します。

訓練フェーズにおいて、モデルは入力データとそれに対応する出力の関係性を学習しますが、この過程でデータに含まれるノイズやランダムな変動までもを捉えてしまうことがあります。

これにより、モデルは訓練データに対しては高い精度を示しますが、未知の新しいデータ、すなわちテストデータや実際の運用環境での性能が著しく低下します。

この状況は、モデルの複雑性が訓練データの量や多様性を上回る場合に頻繁に発生します。

例えば、ニューラルネットワークの層が多すぎたり、パラメータ数が過度に多かったりすると、モデルは訓練データの特徴を細部まで記憶してしまい、本質的なパターンを抽出できなくなります。

過学習を検出するためには、交差検証(cross-validation)などの手法が用いられます。

また、過学習を抑制するためには、正則化(regularization)やドロップアウト(dropout)といった技術が有効です。これらの手法は、モデルのパラメータに制約を課したり、一部のニューロンを無効化したりすることで、モデルの複雑性を適切に制御し、汎化性能の向上を図ります。

過学習を避けることは、実用的なAIシステムを構築する上で不可欠な課題です。