AIの本と用語検索

JSダイバージェンス

JSダイバージェンス(Jensen-Shannon Divergence)は、確率分布間の類似性を測るための尺度の一つです。これは、二つの確率分布がどれだけ異なるかを定量化する際に用いられます。

JSダイバージェンスの大きな特徴は、対称性を持つ点にあります。これは、JSダイバージェンス(|)とJSダイバージェンス(|)の値が常に等しくなることを意味します。この性質は、方向性を持たない比較を可能にします。

JSダイバージェンスは、 Kullback-Leibler(KL)ダイバージェンスを基盤としています。具体的には、二つの確率分布それぞれと、それらの平均分布)との間のKLダイバージェンスの平均として定義されます。この平均化のプロセスにより、KLダイバージェンスが持つ非対称性という弱点が克服されます。

この尺度は、情報理論や機械学習の分野で広く活用されています。例えば、変分オートエンコーダ(VAE)のような生成モデルにおいて、生成されたデータ分布と元のデータ分布との差異を評価する際に使用されることがあります。また、トピックモデル(LDAなど)におけるトピック間の類似性測定や、異なるデータセット間の比較分析にも応用されます。

JSダイバージェンスは常に非負の値を取り、二つの分布が完全に一致する場合にのみゼロとなります。これにより、分布間の距離の概念として直感的に理解しやすい尺度となっています。その有限で安定した性質は、モデルの訓練や収束の監視において有用な特性を提供します。