機械学習に関する用語 モーメンタムとは？勾配消失を防ぐAI最適化の手法
モーメンタムとは、勾配消失という問題を解決するために考案された最適化手法です。最適化とは、機械学習モデルがより正確な予測を行うために、モデルのパラメーターを調整するプロセスのことです。勾配消失は、学習が進んでもパラメーターの更新量が小さくなり、学習が進まなくなる現象です。
モーメンタムは、この問題を解決するために、過去の勾配を考慮してパラメーターを更新します。具体的には、現在の勾配に加えて、過去の勾配の重み付き平均を計算し、その値を使ってパラメーターを更新します。これにより、パラメーターの更新量は勾配が小さい場合でも一定に保たれ、学習が進まないのを防ぎます。
