AIの本と用語検索

AdaBoost

AdaBoost(Adaptive Boosting)は、アンサンブル学習と呼ばれる機械学習の手法の一つです。これは、複数の「弱学習器」を組み合わせることで、単体では性能の低いモデルから、全体として非常に高い精度を持つ「強学習器」を構築するアルゴリズムです。

AdaBoostの基本的な考え方は、反復的な学習プロセスにあります。まず、データセット全体を使って最初の弱学習器(例えば、非常に単純な決定木など)を訓練します。この弱学習器が誤分類したデータサンプルに、次の反復でより大きな「重み」を与えます。つまり、モデルが苦手としているサンプルに焦点を当てるように調整するわけです。

次に、この重みが調整されたデータセットを使って、二番目の弱学習器を訓練します。このプロセスを事前に決められた回数だけ繰り返します。各反復で生成される弱学習器は、その性能(正答率)に応じて重要度(寄与度)が決定されます。性能が高い弱学習器ほど、最終的な予測における発言力が大きくなります。

最終的な強学習器による予測は、これら全ての弱学習器の予測結果を、それぞれの重要度で重み付けして統合することで導き出されます。この「アダプティブ(適応的)」に重みを調整し、誤分類されやすいデータに集中して学習を進める仕組みにより、AdaBoostは高い汎化性能と精度を達成することができます。特に二値分類のタスクで広く利用される、非常に影響力の大きいアルゴリズムです。