機械学習に関する用語 Leaky ReLU関数とは？ReLU関数の派生形
-ReLU関数の特性と課題-
整流線形ユニット（ReLU）関数は、入力値が負の場合に0、正の場合にその値を出力する関数のことで、活性化関数として広く用いられています。ReLU関数の大きな特徴はその計算の容易さと線形近似における効率の良さにあります。また、スパース性を促進する性質があり、過適合の軽減に寄与します。
しかし、ReLU関数にはいくつかの課題も存在します。勾配消失問題は、入力値が負の場合に勾配が0となり、勾配降下法を用いた学習が停滞する可能性があります。また、ReLU関数は非微分可能であるため、勾配計算において問題が発生します。
