機械学習に関する用語 ReLU関数とは？特徴とメリットを解説
ReLU関数の定義
ReLU（Rectified Linear Unit）関数は、次式で表される活性化関数です。
[数式]
f(x) = max(0, x)
[/数式]
これは、入力が0以下の場合は0を出力し、入力が0より大きい場合は入力値そのものを出力する。 この性質から、ReLU関数は次のような特徴を持ちます。
勾配消失問題
機械学習に関する用語 
機械学習に関する用語 tanh関数入門→ 導関数の大きさによる勾配消失の抑制
tanh関数は双曲線正接関数と呼ばれる関数で、入力値の範囲を-1から1に変換する性質があります。これは、活性化関数として使用される場合に非常に便利です。活性化関数とは、ニューラルネットワークにおいて、各ニューロンの出力値を決定する関数のことです。
tanh関数のグラフは、原点を中心に左右対称の曲線で、入力値が0に近いときは直線的に変化し、入力値が大きくなると-1または1に近づくようになります。この性質により、tanh関数は勾配消失の問題を抑制することができます。勾配消失とは、ニューラルネットワークの学習中に勾配が非常に小さくなってしまい、学習が進まなくなる現象です。tanh関数は入力値が大きくなっても勾配が比較的大きくなるため、勾配消失を抑制することができるのです。
機械学習に関する用語 ResNetで学ぶ、勾配消失問題の解決法
-ResNetとは何か？-
ResNet（Residual Network）は、深層学習における勾配消失問題に対処するために開発された畳み込みニューラルネットワーク（CNN）アーキテクチャです。勾配消失問題は、ネットワークをトレーニングするときに、勾配がバックプロパゲーションによって消失する現象で、深層ネットワークのトレーニングが困難になります。
ResNetは、この問題を回避するために、スキップ接続と呼ばれるバイパスを使用しています。スキップ接続は、ネットワークの浅い層と深い層の出力を直接つなぎます。これにより、学習した特徴が容易にネットワーク全体に伝播し、勾配の消失を防ぎます。
ResNetのアーキテクチャには、以下の主要なコンポーネントが含まれます。
* コンボリューション層特徴を抽出するために使用されます。
* バッチ正規化層勾配消失を軽減するために使用されます。
* 活性化関数非線形性を追加するために使用されます。
* スキップ接続ネットワークの浅い層と深い層の出力を接続します。
ResNetは、画像分類、物体検出、自然言語処理など、さまざまなタスクで優れた性能を示しています。その効率的な構造と勾配消失問題を解決する能力により、深層学習における画期的なアーキテクチャとなっています。