Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
ゼロつく2 輪読会 3.1-3.3
Search
Sponsored
·
Your Podcast. Everywhere. Effortlessly.
Share. Educate. Inspire. Entertain. You do you. We'll handle the rest.
→
keitaro2002
February 21, 2024
Technology
54
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
ゼロつく2 輪読会 3.1-3.3
keitaro2002
February 21, 2024
Transcript
19 slides
ゼロつく2 輪読会 Part3 3.1~3.3 2024年 2⽉22⽇
‣ これ以降の図は以下より引⽤ 斎藤 康毅 「ゼロから作るDeep Learning ❷―⾃然⾔語処理編」 はじめに
‣ 前回の復習 ‣ カウントベースから推論ベースへ ‣ word2vec ‣ 次回に向けて ⽬次
前回の復習
‣ コサイン類似度→(⾃⼰)相互情報量 PMI ‣ 値が⼤きいほど共起(⼀緒に出現)しやすい ‣ SVD(特異値分解)による次元削減 前回の復習
カウントベースから推論ベー スへ
‣ ⼤規模なコーパスを扱いきれない. ‣ SVDまで⾏うと𝑂(𝑛!)の計算コストがかかる. ‣ 学習時に全てのデータを⽤いて1回の処理で分散表現を 獲得 カウントベースの問題点
‣ 推論ベース ‣ ミニバッチで学習 推論ベースの登場
‣ 周囲の単語から「?」に⼊る単語を推測する. ‣ 単語の出現確率を学習 推論ベースの概要
‣ one-hotベクトル 単語の処理
word2vec
‣ word2vecで提案されているモデルの1つ ‣ コンテキストからターゲットを推測するNN (学習の詳細は次回) CBOW(countinuous bag-of-word)
モデルの具体例 コンテキストとしてN個の単語 →⼊⼒層はN個 CrossEntropyLoss
‣ 3つの選択肢 1. ⼊⼒側の重み(𝑊"# )だけ 2. 出⼒側の重み(𝑊$%& )だけ 3. 2つの重みを両⽅
‣ 1.⼊⼒側の重みだけが最もポピュラー 単語の分散表現
次回に向けて
‣ 使⽤するコーパス ‣ 「You say goodbye and I say hello.」
学習データの準備
コンテキストとターゲット
ベクトルに変換
one-hotベクトル
More Decks by keitaro2002
See All by keitaro2002
ゼロつく2 輪読会 3.4-3.6
keitaro2002
0
80
Other Decks in Technology
See All in Technology
Agent Harnessはどう作る?事例から学ぶAI Agentの設計思想
sergicalsix
0
340
[関西Kaggler会 20261113] 続・コミュニティコンペのススメ
nejumi
0
130
文書画像からの情報抽出を行うエージェントを、軌跡の正解データ無しで作れるか
sansantech
PRO
2
170
個人ASを取得して、自宅Kubernetes上のVMをグローバルIPで公開した話
munenick
0
150
OpenTelemetryで変わった 新時代のCloudWatchメトリクス監視
tsukuboshi
0
390
少ない人手 限られた予算 それでも守る 消せない・見つける・戻れる オールハザード型BCP on AWS / 20261107 Mitsutoshi Matsuo
shift_evolve
PRO
0
410
AI対話型分析を作成し、リリースするまでの話 / The Road to Release: Buiding AI Conversational Analytics
yappli_developers
0
160
自動計装なしでECSサービスをApplication Signalsに載せるまで
ota1022
1
200
マネージャーをエスパーにしない マネジメントされる側から始める、働きやすい現場づくり
comi190327
1
730
IoTのデータ保存をSREの観点で考える
grimoh
1
110
BALLAS Technology Deck
ballas_inc
0
820
ぼくのClaude Codeの使い方
falken
PRO
5
7.5k
Featured
See All Featured
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
333
23k
Design of three-dimensional binary manipulators for pick-and-place task avoiding obstacles (IECON2024)
konakalab
0
660
16th Malabo Montpellier Forum Presentation
akademiya2063
PRO
0
470
Bridging the Design Gap: How Collaborative Modelling removes blockers to flow between stakeholders and teams @FastFlow conf
baasie
0
770
Claude Code のすすめ
schroneko
67
230k
How Fast Is Fast Enough? [PerfNow 2025]
tammyeverts
3
980
Build The Right Thing And Hit Your Dates
maggiecrowley
39
3.5k
The browser strikes back
jonoalderson
0
1.9k
How People are Using Generative and Agentic AI to Supercharge Their Products, Projects, Services and Value Streams Today
helenjbeal
2
400
We Analyzed 250 Million AI Search Results: Here's What I Found
joshbly
2
2.1k
A Modern Web Designer's Workflow
chriscoyier
699
190k
Money Talks: Using Revenue to Get Sh*t Done
nikkihalliwell
0
560