… w T }を訓練データ ◦ ターゲット語w t 文脈語w k ◦ 入力:ターゲット語 w t のone-hotベクトル x t ◦ 出力:位置 j に各単語が出現する確率を持つベクトル y j ◦ 単語 w t の周辺に単語 w k 出現する確率 と表される。 v wt IN はw t の入力ベクトル、v wt OUT はw k の出力ベクトル v wt IN・v wt OUT はドット積 13 x t 入力単語ベク トル行列vIN 出力単語ベク トル行列 vOUT y c y 2 y 1
◦ w t とw t の近くに出現した単語 w k について、logσ( v wt IN ・v wk OUT)の値が大きくなるように学習 ◦ 単語類似度を測るには vINが使われているが、 vOUTを使うことによって、学習した際の単語の共起情 報も考慮するため、本研究は σ( v wt IN ・v wk OUT) を活用する v wt IN 入力ベクトル σ(x) シグモイド関数 v wk OUT 出力ベクトル w t ターゲット語 w k 正例の文脈語 w n 負例の文脈語 15 logσ( v wt IN ・v wk OUT) + Σ wn∊Wneg logσ( v wt IN ・― v wn OUT )