Tweet
Tweet

Slide 1

Slide 1 text

ゼロつく2 輪読会 Part3 3.1~3.3 2024年 2⽉22⽇

Slide 2

Slide 2 text

‣ これ以降の図は以下より引⽤ 斎藤 康毅 「ゼロから作るDeep Learning ❷―⾃然⾔語処理編」 はじめに

Slide 3

Slide 3 text

‣ 前回の復習 ‣ カウントベースから推論ベースへ ‣ word2vec ‣ 次回に向けて ⽬次

Slide 4

Slide 4 text

前回の復習

Slide 5

Slide 5 text

‣ コサイン類似度→(⾃⼰)相互情報量 PMI ‣ 値が⼤きいほど共起(⼀緒に出現)しやすい ‣ SVD(特異値分解)による次元削減 前回の復習

Slide 6

Slide 6 text

カウントベースから推論ベー スへ

Slide 7

Slide 7 text

‣ ⼤規模なコーパスを扱いきれない． ‣ SVDまで⾏うと𝑂(𝑛!)の計算コストがかかる． ‣ 学習時に全てのデータを⽤いて1回の処理で分散表現を 獲得 カウントベースの問題点

Slide 8

Slide 8 text

‣ 推論ベース ‣ ミニバッチで学習 推論ベースの登場

Slide 9

Slide 9 text

‣ 周囲の単語から「?」に⼊る単語を推測する． ‣ 単語の出現確率を学習 推論ベースの概要

Slide 10

Slide 10 text

‣ one-hotベクトル 単語の処理

Slide 11

Slide 11 text

word2vec

Slide 12

Slide 12 text

‣ word2vecで提案されているモデルの1つ ‣ コンテキストからターゲットを推測するNN (学習の詳細は次回） CBOW(countinuous bag-of-word)

Slide 13

Slide 13 text

モデルの具体例 コンテキストとしてN個の単語 →⼊⼒層はN個 CrossEntropyLoss

Slide 14

Slide 14 text

‣ 3つの選択肢 1. ⼊⼒側の重み(𝑊"# )だけ 2. 出⼒側の重み(𝑊$%& )だけ 3. 2つの重みを両⽅ ‣ 1.⼊⼒側の重みだけが最もポピュラー 単語の分散表現

Slide 15

Slide 15 text

次回に向けて

Slide 16

Slide 16 text

‣ 使⽤するコーパス ‣ 「You say goodbye and I say hello.」 学習データの準備

Slide 17

Slide 17 text

コンテキストとターゲット

Slide 18

Slide 18 text

ベクトルに変換

Slide 19

Slide 19 text

one-hotベクトル