ELMoとは?文脈を考慮した分散表現を得る手法
ELMo(Embeddings from Language Models)は、文脈を考慮に入れて単語のベクトル表現を生成する手法です。通常、単語ベクトルは各単語に固有の数字の配列で表され、単語の類似性や意味的な関係を捉えるために使用されます。しかし、ELMoでは、単一の単語ベクトルではなく、文脈によって変化する動的な表現が生成されます。
ELMoは、2層の双方向再帰型ニューラルネットワーク(Bi-LSTM)を使用して、文中の単語の表現を計算します。Bi-LSTMは、単語を順方向と逆方向の両方から処理し、それらのコンテキスト情報を統合します。この2層のBi-LSTMは、単語のローカルなコンテキストとよりグローバルなセマンティック情報を捉えることができます。