ゼロつく2 輪読会 3.1-3.3

Transcript

1. ゼロつく2 輪読会 Part3 3.1~3.3 2024年 2⽉22⽇
2. ‣ これ以降の図は以下より引⽤ 斎藤 康毅 「ゼロから作るDeep Learning ❷―⾃然⾔語処理編」 はじめに
3. ‣ 前回の復習 ‣ カウントベースから推論ベースへ ‣ word2vec ‣ 次回に向けて ⽬次
4. 前回の復習
5. ‣ コサイン類似度→(⾃⼰)相互情報量 PMI ‣ 値が⼤きいほど共起(⼀緒に出現)しやすい ‣ SVD(特異値分解)による次元削減 前回の復習
6. カウントベースから推論ベー スへ
7. ‣ ⼤規模なコーパスを扱いきれない． ‣ SVDまで⾏うと𝑂(𝑛!)の計算コストがかかる． ‣ 学習時に全てのデータを⽤いて1回の処理で分散表現を 獲得 カウントベースの問題点
8. ‣ 推論ベース ‣ ミニバッチで学習 推論ベースの登場
9. ‣ 周囲の単語から「?」に⼊る単語を推測する． ‣ 単語の出現確率を学習 推論ベースの概要
10. ‣ one-hotベクトル 単語の処理
11. word2vec
12. ‣ word2vecで提案されているモデルの1つ ‣ コンテキストからターゲットを推測するNN (学習の詳細は次回） CBOW(countinuous bag-of-word)
13. モデルの具体例 コンテキストとしてN個の単語 →⼊⼒層はN個 CrossEntropyLoss
14. ‣ 3つの選択肢 1. ⼊⼒側の重み(𝑊"# )だけ 2. 出⼒側の重み(𝑊$%& )だけ 3. 2つの重みを両⽅ ‣ 1.⼊⼒側の重みだけが最もポピュラー 単語の分散表現
15. 次回に向けて
16. ‣ 使⽤するコーパス ‣ 「You say goodbye and I say hello.」 学習データの準備
17. コンテキストとターゲット
18. ベクトルに変換
19. one-hotベクトル