Self-Attention（自己注意機構）は、特に自然言語処理（NLP）の分野でTransformer（トランスフォーマー）モデルの核となる技術です。これは、入力されたデータ、例えば一つの文の中の異なる単語間の関係性や重要度をモデルが学習し、把握するためのメカニズムです。

この機構は、文を構成する各単語に対し、文中の他の全ての単語との関連性を計算します。これにより、モデルは特定の単語を処理する際に、その単語が文全体の意味にどのように影響し、また他のどの単語と強く結びついているかを動的に判断できます。

具体的には、ある単語の表現を生成する際、関連性の高い単語からの情報をより多く取り込み、重要度の低い単語からの情報を抑制するように重み付けが行われます。

従来のリカレントニューラルネットワーク（RNN）のような順次処理モデルとは異なり、Self-Attentionは入力全体を同時に考慮できるため、長距離の依存関係（文の遠い位置にある単語同士の関係）を効果的に捉え、処理の並列化を可能にします。この能力が、機械翻訳、文章要約、質問応答などのタスクにおいて、Transformerモデルが高い性能を発揮する大きな要因となっています。