Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
対数線形モデル、ニューラルネット、RNN
Search
Ayumu
February 07, 2019
Technology
0
290
対数線形モデル、ニューラルネット、RNN
長岡技術科学大学
自然言語処理研究室 守谷歩
Ayumu
February 07, 2019
Tweet
Share
More Decks by Ayumu
See All by Ayumu
B3ゼミ_03_28_マルチモーダル学習_.pdf
ayumum
0
170
マルチモーダル学習
ayumum
0
160
B3ゼミ 自然言語処理におけるCNN
ayumum
0
100
言語処理年次大会報告
ayumum
0
98
ニューラルネット4
ayumum
0
110
文献紹介「二値符号予測と誤り訂正を用いたニューラル翻訳モデル」
ayumum
0
170
ニューラルネット3 誤差伝搬法,CNN,word2vec
ayumum
0
170
ニューラルネット実践
ayumum
0
120
文献紹介[Zero-Shot Dialog Generation with Cross-Domain Latent Action]
ayumum
0
190
Other Decks in Technology
See All in Technology
ビギナーであり続ける/beginning
ikuodanaka
3
730
改めてAWS WAFを振り返る~業務で使うためのポイント~
masakiokuda
2
250
生成AI時代の開発組織・技術・プロセス 〜 ログラスの挑戦と考察 〜
itohiro73
1
440
LangSmith×Webhook連携で実現するプロンプトドリブンCI/CD
sergicalsix
1
220
FOSS4G 2025 KANSAI QGISで点群データをいろいろしてみた
kou_kita
0
390
AIの全社活用を推進するための安全なレールを敷いた話
shoheimitani
2
490
ゼロからはじめる採用広報
yutadayo
3
780
品質と速度の両立:生成AI時代の品質保証アプローチ
odasho
1
250
タイミーのデータモデリング事例と今後のチャレンジ
ttccddtoki
6
2.4k
本が全く読めなかった過去の自分へ
genshun9
0
940
開発生産性を組織全体の「生産性」へ! 部門間連携の壁を越える実践的ステップ
sudo5in5k
2
6.5k
成長し続けるアプリのためのテストと設計の関係、そして意思決定の記録。
sansantech
PRO
0
110
Featured
See All Featured
Fireside Chat
paigeccino
37
3.5k
Build your cross-platform service in a week with App Engine
jlugia
231
18k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
53
2.9k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
44
2.4k
YesSQL, Process and Tooling at Scale
rocio
173
14k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
667
120k
Making the Leap to Tech Lead
cromwellryan
134
9.4k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
130
19k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
31
2.4k
Faster Mobile Websites
deanohume
307
31k
It's Worth the Effort
3n
185
28k
Building Flexible Design Systems
yeseniaperezcruz
328
39k
Transcript
言語モデル 2019/02/07 長岡技術科学大学 自然言語処理研究室 学部3年 守谷 歩 対数線形言語モデル、ニューラルネット,RNN
機械翻訳とか ⚫機械翻訳などでは翻訳したい文に対して単語の確率を見て、一番 合っていそうなものを翻訳後の文として出力する。 ⚫単語の確率はほんとに正しいのか?
単語の数を見た単純な確率計算 ⚫学習データ: 1.私 は 読書 が 好き だ </s> 2.私
の 本 は 1900年代 に 書かれた </s> 3.1900年代 は 20世紀 だ </s> ⚫ は < s > 私 = <>私は (<>私) = 1 2 = 0.5 それっぽい ⚫ 20世紀 < > 私の本は = <>私の本は20世紀 (私の本は) = 0 1 = 0
N-gramモデル ⚫2-gramモデルなら直前の1単語を使って学習 ⚫学習データ: 1.私 は 読書 が 好き だ </s>
2.私 の 本 は 1900年代 に 書かれた </s> 3.1900年代 は 20世紀 だ </s> ⚫Nを増やしていけば増やすだけ精度が上がる! ⚫精度が上がるが計算量がすごい増える
対数線形モデル ⚫履歴のデータを参考にスコア計算、その後スコアの指数を取って正規化する ⚫スコアs −+1 −1 = + σ=1 −1 ,−
(b:バイアス,d:学習データ ⚫正規化したモデル ( |−+1 −1 ) = |−+1 −1 σ |−+1 −1 ⚫尤度の勾配 = |−+1 −1 ( :単語,w:パラメータ) ⚫重みの更新 ≪ + ∗ (a:学習率= 1 + ,w:パラメータ,n:サンプル数)
Softmax関数 ⚫スコアsをベクトルとして考える場合スコアsを確立pとする関数を softmax関数と言う −+1 −1 = −+1 −1
ニューラルネットへの導入 ⚫対数線形モデルって結局どんな感じ? Soft max 1 2 1 −2 −1 =
( + =1 −1 − ) −1 = {1,0,0,0,0, … } −2 = {0,0,0,0,1, … }
ニューラルネットへの導入 ⚫ニューラルネットの概念 ⇒ 非線形関数を計算する隠れ層を追加 tanh 1 2 1 −2 −1
ℎ = tanh( + =1 −1 − ) = (ℎ ℎ ) soft max ℎ ℎ
逆伝搬 ⚫勾配を出力から逆順に伝搬する tanh 1 2 1 −2 −1 soft max
ℎ ℎ ℎ
リカレントニューラルネット(RNN) ⚫ノードの一部の出力を入力として戻す tanh 1 2 1 −2 −1 soft max
ℎ ℎ