AIの本と用語検索

カタストロフィック・フォゲッティング

カタストロフィック・フォゲッティング(破滅的忘却)は、主にニューラルネットワークを用いた継続学習(Continual Learning)のパラダイムにおいて顕著な課題です。

これは、モデルが逐次学習によって新しいタスクやデータセットに適応する際、それ以前に獲得した知識やスキルに関する重み(weights)が、新しいタスクの最適化のために大幅に更新され、結果として過去のタスクにおける性能(performance)が急激かつ深刻に低下する現象を指します。

この根本原因は、標準的なニューラルネットワークが持つ安定性-可塑性ジレンマ(Stability-Plasticity Dilemma)に起因します。すなわち、新しい情報を取り込むための可塑性(Plasticity)と、既存の知識を保持するための安定性(Stability)を両立させることが困難である点です。

特に、分散表現を用いるディープラーニングモデルでは、過去のタスクと新しいタスクでパラメータ(parameters)を共有しているため、新しい知識の獲得が古い知識を「上書き」する干渉が起こりやすくなります。

この問題に対処するため、研究分野では様々な対策手法が提案されています。

例えば、過去のデータの一部を保存して新しい学習と並行して再訓練するリハーサル(Rehearsal)戦略や、過去のタスクにとって重要な重みの更新を制限する正則化(Regularization)手法(例:Elastic Weight Consolidation, EWC)、あるいは新しいタスクごとにネットワークの構造を動的に拡張するアーキテクチャベースの手法などがあり、これらは非定常なデータストリームに対応できるライフロングラーニングを実現するための鍵となっています。