ゲート付き回帰型ユニット（GRU）は、リカレントニューラルネットワーク（RNN）の一種であり、特に時系列データや連続したデータの学習において、勾配消失問題を軽減するために考案されました。
基本的なRNNは、長い系列のデータを扱う際に、前の時点の情報が次第に失われていくという弱点があります。これを克服するために、GRUは「更新ゲート」と「リセットゲート」という二つのゲート機構を導入しています。
更新ゲートは、過去の情報をどの程度現在の状態に保持するかを制御します。
このゲートがに近い値を出力すれば、過去の情報はほとんどそのまま引き継がれ、に近い値を出力すれば、過去の情報はほとんど無視されます。これにより、長期的な依存関係を捉えることが可能になります。
一方、リセットゲートは、新しい入力情報と過去の情報をどの程度組み合わせるかを決定します。
このゲートがに近い値を出力すると、過去の隠れ状態はほぼ無視され、新しい入力情報のみに基づいて新たな候補となる隠れ状態が計算されます。
これらのゲートは、過去の隠れ状態と現在の入力から学習によって重みを調整し、それぞれシグモイド関数を通じてからの間の値を出力します。これにより、モデルはどの情報を記憶し、どの情報を忘れるべきかを動的に判断できます。
GRUは、同様の目的を持つ長・短期記憶（LSTM）に比べてパラメータ数が少なく、計算効率が高いという利点があります。そのため、比較的シンプルな構造でありながら、多くのタスクでLSTMと同等の性能を発揮することが知られています。