長・短期記憶（LSTM）は、リカレントニューラルネットワーク（RNN）の一種で、従来のRNNが抱えていた長期的な依存関係の学習における問題を解決するために開発されました。

RNNは、時系列データのように連続した情報を扱うのに適していますが、過去の情報を遠くまで遡って学習することが苦手で、勾配消失や勾配爆発といった問題に直面します。これにより、数ステップ前の重要な情報が忘れ去られてしまうことがありました。

LSTMはこの問題を克服するため、内部に「セル状態」と「ゲート」という特殊な構造を持っています。

セル状態は、ネットワークを通じて情報を運び、長期記憶の役割を果たします。

一方、ゲートはこのセル状態にどの情報を保持し、どの情報を忘れるかを制御する役割を担います。具体的には入力ゲート、忘却ゲート、出力ゲートの三つがあります。

まず、忘却ゲートは、過去のセル状態からどの情報を忘れるべきかを判断します。

次に、入力ゲートは現在の入力からどの情報をセル状態に書き込むべきかを決定します。これらのゲートの働きによって、古い情報と新しい情報が適切に組み合わされ、セル状態が更新されます。

最後に、出力ゲートが更新されたセル状態からどの情報を次のステップの出力として使用するかを決定します。

この精巧なゲート機構により、LSTMは長期的な文脈を効果的に捉え、自然言語処理や音声認識など、時系列データを扱う多くのタスクで優れた性能を発揮します。