Link
Embed
Share
Beginning
This slide
Copy link URL
Copy link URL
Copy iframe embed code
Copy iframe embed code
Copy javascript embed code
Copy javascript embed code
Share
Tweet
Share
Tweet
Slide 1
Slide 1 text
文献紹介ゼミ Glove: Global Vectors for Word Representation 長岡技術科学大学 4年 竹野 峻輔 ※ スライド中の図・式等は基本的に論文中より引用したものです
Slide 2
Slide 2 text
Overview ● Global な contextを考慮した分散表現の提案 – 共起頻度による重み付け – NER タスク と word analogy tasksにおいて Skip-gram, CBoW(word2vec)よりも優れた成績 ● 既存の分散表現と提案手法の比較・分析 – word2vecやvLBLといった手法は 重み付けクロスエントロピーを最小化したものと見なせる
Slide 3
Slide 3 text
Intro ● 語彙の one-hot label表現は sparse(疎)な表現. – 行列演算するときは早くなる → 嬉しい. – 統計的には sparse 過ぎる ≒ ノイズが多い → 嬉しくない ● テキストには そもそもノイズが多いもの(揺らぎが多い) – 「蝶」,「ちょうちょ」,「てふてふ」,「バタフライ」 ● ノイズを減らすために必要なのは データの平均化 ● 人の認識的には「蝶」=「ちょうちょ」 – 潜在的な意味が存在するはず (少なくとも人は) → トピックモデル(LSA) – 似た単語は似た表現となるような 表現がほしい(≒表現の汎化)
Slide 4
Slide 4 text
Intro ● どのようにしてテキストを タスクに合った表現 に変換 するか – タスク ● NER, POS-taggin, 文書分類 etc... – 表現方法 ● BoW(one-hot) ● TF-IDF, PMI ● 潜在的トピックモデル (LSA…) ● 主成分解析(PCA), SVD ● 近年の教師なし学習による分散表現の台頭 – Skip-gram, CBoWモデル(word2vec, LBL)
Slide 5
Slide 5 text
Intro ● 近年の教師なし学習による分散表現の台頭 – Skip-gram, CBoWモデル(word2vec, LBL) – 高次元で離散的な単語表現を 低次元で連続的な単語表現へと変換する(Word Embedding) –
Slide 6
Slide 6 text
Globalな表現 と Localな表現 Global matrix factorization methods(i.e. LSA) – コーパスの全体的な傾向を見て タスクにとって有効な潜在的な意味表現を獲得 – Word analogy task では効果が低い → 森(corpus)を見て木(word)を見ず ● Local context window methods (i.e. Skip-gram(word2vec) ) – 分布仮説的な考え方: windowをスライドしながら コーパス全体見ることで 意味表現を獲得 – Word analogy task では効果高い → 木(word)を見て森(corpus)を見ず
Slide 7
Slide 7 text
望ましい分散表現 ● W3 が W1, W2に意味が 近いか わかる尺度 – W1=ice, W2=steam の時 W3=solid 〜 ice – W1=ice, W2=steam の時 W3=gas 〜 steam – W1=ice, W2=steam の時 W3=water 〜どちらでもない – W1=ice, W2=steam の時 W3=fashion〜どちらでもない → 共起頻度の比(のlogをとったもの)
Slide 8
Slide 8 text
既存の分散表現モデルとの比較 ● Skip-gram(word2vec) 〜 重み付きcross-entropy を 最小化した時の表現 ● GloVe 〜Skip-gram のモデルを共起頻度で重みづ け など工夫を加えることで改良したもの
Slide 9
Slide 9 text
既存の分散表現モデルとの比較 ● 共起頻度で重み付け → よく共起する 単語の関係が 学習されやすい → ノイズの少ない単語の関係に焦点をあてる.
Slide 10
Slide 10 text
GloVeの性能の比較 Word Analogy Task NER Word similarity tasks
Slide 11
Slide 11 text
学習曲線