自然言語処理に関する用語 スキップグラムで言語モデルを理解する
分散仮説は、言語モデルのスキップグラムにおける基本的なコンセプトです。この仮説は、単語間の関連性はそれらの分布の近さによって表されるという考えに基づいています。つまり、頻繁に一緒に出現する単語は、単語ベクトル空間においても近く配置されます。
分散仮説は、言葉の意味をその文脈から学習するというスキップグラムの機能を裏付けています。スキップグラムは、単語をその周囲の単語群と組み合わせたときに予測しようとします。同じ文脈で頻繁に出現する単語は、ベクトル空間で関連付けられるため、スキップグラムはこれらを正しく予測できます。
