Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ゼロつく2 輪読会 3.1-3.3
Search
keitaro2002
February 21, 2024
Technology
0
17
ゼロつく2 輪読会 3.1-3.3
keitaro2002
February 21, 2024
Tweet
Share
More Decks by keitaro2002
See All by keitaro2002
ゼロつく2 輪読会 3.4-3.6
keitaro2002
0
31
Other Decks in Technology
See All in Technology
クラウド関連のインシデントケースを収集して見えてきたもの
lhazy
7
1k
Aurora PostgreSQLがCloudWatch Logsに 出力するログの課金を削減してみる #jawsdays2025
non97
1
200
AWS Well-Architected Frameworkで学ぶAmazon ECSのセキュリティ対策
umekou
2
140
システム・ML活用を広げるdbtのデータモデリング / Expanding System & ML Use with dbt Modeling
i125
1
320
EDRの検知の仕組みと検知回避について
chayakonanaika
12
4.9k
アジャイルな開発チームでテスト戦略の話は誰がする? / Who Talks About Test Strategy?
ak1210
1
590
"TEAM"を導入したら最高のエンジニア"Team"を実現できた / Deploying "TEAM" and Building the Best Engineering "Team"
yuj1osm
1
170
OSS構成管理ツールCMDBuildを使ったAWSリソース管理の自動化
satorufunai
0
640
JavaにおけるNull非許容性
skrb
2
2.6k
AIエージェント元年@日本生成AIユーザ会
shukob
1
210
【5分でわかる】セーフィー エンジニア向け会社紹介
safie_recruit
0
19k
脳波を用いた嗜好マッチングシステム
hokkey621
0
290
Featured
See All Featured
Building Better People: How to give real-time feedback that sticks.
wjessup
367
19k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
366
25k
Raft: Consensus for Rubyists
vanstee
137
6.8k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
4
370
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
Embracing the Ebb and Flow
colly
84
4.6k
[RailsConf 2023] Rails as a piece of cake
palkan
53
5.3k
A Modern Web Designer's Workflow
chriscoyier
693
190k
The World Runs on Bad Software
bkeepers
PRO
67
11k
Music & Morning Musume
bryan
46
6.4k
Become a Pro
speakerdeck
PRO
26
5.2k
It's Worth the Effort
3n
184
28k
Transcript
ゼロつく2 輪読会 Part3 3.1~3.3 2024年 2⽉22⽇
‣ これ以降の図は以下より引⽤ 斎藤 康毅 「ゼロから作るDeep Learning ❷―⾃然⾔語処理編」 はじめに
‣ 前回の復習 ‣ カウントベースから推論ベースへ ‣ word2vec ‣ 次回に向けて ⽬次
前回の復習
‣ コサイン類似度→(⾃⼰)相互情報量 PMI ‣ 値が⼤きいほど共起(⼀緒に出現)しやすい ‣ SVD(特異値分解)による次元削減 前回の復習
カウントベースから推論ベー スへ
‣ ⼤規模なコーパスを扱いきれない. ‣ SVDまで⾏うと𝑂(𝑛!)の計算コストがかかる. ‣ 学習時に全てのデータを⽤いて1回の処理で分散表現を 獲得 カウントベースの問題点
‣ 推論ベース ‣ ミニバッチで学習 推論ベースの登場
‣ 周囲の単語から「?」に⼊る単語を推測する. ‣ 単語の出現確率を学習 推論ベースの概要
‣ one-hotベクトル 単語の処理
word2vec
‣ word2vecで提案されているモデルの1つ ‣ コンテキストからターゲットを推測するNN (学習の詳細は次回) CBOW(countinuous bag-of-word)
モデルの具体例 コンテキストとしてN個の単語 →⼊⼒層はN個 CrossEntropyLoss
‣ 3つの選択肢 1. ⼊⼒側の重み(𝑊"# )だけ 2. 出⼒側の重み(𝑊$%& )だけ 3. 2つの重みを両⽅
‣ 1.⼊⼒側の重みだけが最もポピュラー 単語の分散表現
次回に向けて
‣ 使⽤するコーパス ‣ 「You say goodbye and I say hello.」
学習データの準備
コンテキストとターゲット
ベクトルに変換
one-hotベクトル