ADAM

-AMSBoundの概要- AMSBoundは、機械学習の最適化アルゴリズムの一種です。大規模なデータセットと複雑なモデルに対処するように設計されており、低バイアスと高速収束を特徴としています。このアルゴリズムは、元のアダム（Adam）アルゴリズムを改良したもので、適応モーメント推定（AMSGrad）手法を取り入れています。 AMSGradでは、最小値への動きに影響を与えるパラメータを計算する際に、従来の平均ではなく、パラメータの指数移動平均を使用します。これにより、ハイパーパラメータの調整が不要になり、最適化の安定性と効率が向上します。さらに、AMSBoundでは、学習率をモデルのパラメータの大きさに応じて適応的に調整するアダプティブラーニングレート戦略を採用しています。