Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
対数線形モデル、ニューラルネット、RNN
Search
Ayumu
February 07, 2019
Technology
0
200
対数線形モデル、ニューラルネット、RNN
長岡技術科学大学
自然言語処理研究室 守谷歩
Ayumu
February 07, 2019
Tweet
Share
More Decks by Ayumu
See All by Ayumu
B3ゼミ_03_28_マルチモーダル学習_.pdf
ayumum
0
150
マルチモーダル学習
ayumum
0
130
B3ゼミ 自然言語処理におけるCNN
ayumum
0
87
言語処理年次大会報告
ayumum
0
75
ニューラルネット4
ayumum
0
100
文献紹介「二値符号予測と誤り訂正を用いたニューラル翻訳モデル」
ayumum
0
140
ニューラルネット3 誤差伝搬法,CNN,word2vec
ayumum
0
160
ニューラルネット実践
ayumum
0
100
文献紹介[Zero-Shot Dialog Generation with Cross-Domain Latent Action]
ayumum
0
160
Other Decks in Technology
See All in Technology
DevIO2024_レガシー運用からの脱却 -クラウド活用の実践事例とベストプラクティス-
jun2882
0
210
Flutter研修【MIXI 24新卒技術研修】
mixi_engineers
PRO
0
160
What is DRE? - Road to SRE NEXT@広島
chanyou0311
3
620
頼られるのが大好きな 皆さんへ - 支援相手との期待の合わせ方、突き放し方 -/For_people_who_like_to_be_relied_on
naitosatoshi
1
290
スタートアップにおける組織設計とスクラムの長期戦略 / Scrum Fest Kanazawa 2024
yoshikiiida
13
3.6k
Classmethod Odyssey 登壇資料
yamahiro
0
390
さらに高品質・高速化を目指すAI時代のテスト設計支援と、めざす先 / AI Test Lab vol.1
shift_evolve
0
190
サービスの持続的な成長と技術負債について
siva_official
PRO
10
4.4k
AOAI Dev Day LLMシステム開発 Tips集
hirosatogamo
15
3.6k
GoとアクターモデルでES+CQRSを実践! / proto_actor_es_cqrs
ytake
1
150
大規模ドラレコデータ収集・機械学習基盤を支える AWS CDK 〜導入・運用事例紹介〜
pemugi
0
110
Git 研修 Basic【MIXI 24新卒技術研修】
mixi_engineers
PRO
0
310
Featured
See All Featured
The Power of CSS Pseudo Elements
geoffreycrofte
64
5.2k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
23
1.9k
Six Lessons from altMBA
skipperchong
24
3.2k
Imperfection Machines: The Place of Print at Facebook
scottboms
262
13k
How STYLIGHT went responsive
nonsquared
93
5k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
228
16k
Rails Girls Zürich Keynote
gr2m
93
13k
For a Future-Friendly Web
brad_frost
173
9.2k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
248
20k
The Pragmatic Product Professional
lauravandoore
29
6.1k
Building an army of robots
kneath
301
42k
A Philosophy of Restraint
colly
200
16k
Transcript
言語モデル 2019/02/07 長岡技術科学大学 自然言語処理研究室 学部3年 守谷 歩 対数線形言語モデル、ニューラルネット,RNN
機械翻訳とか ⚫機械翻訳などでは翻訳したい文に対して単語の確率を見て、一番 合っていそうなものを翻訳後の文として出力する。 ⚫単語の確率はほんとに正しいのか?
単語の数を見た単純な確率計算 ⚫学習データ: 1.私 は 読書 が 好き だ </s> 2.私
の 本 は 1900年代 に 書かれた </s> 3.1900年代 は 20世紀 だ </s> ⚫ は < s > 私 = <>私は (<>私) = 1 2 = 0.5 それっぽい ⚫ 20世紀 < > 私の本は = <>私の本は20世紀 (私の本は) = 0 1 = 0
N-gramモデル ⚫2-gramモデルなら直前の1単語を使って学習 ⚫学習データ: 1.私 は 読書 が 好き だ </s>
2.私 の 本 は 1900年代 に 書かれた </s> 3.1900年代 は 20世紀 だ </s> ⚫Nを増やしていけば増やすだけ精度が上がる! ⚫精度が上がるが計算量がすごい増える
対数線形モデル ⚫履歴のデータを参考にスコア計算、その後スコアの指数を取って正規化する ⚫スコアs −+1 −1 = + σ=1 −1 ,−
(b:バイアス,d:学習データ ⚫正規化したモデル ( |−+1 −1 ) = |−+1 −1 σ |−+1 −1 ⚫尤度の勾配 = |−+1 −1 ( :単語,w:パラメータ) ⚫重みの更新 ≪ + ∗ (a:学習率= 1 + ,w:パラメータ,n:サンプル数)
Softmax関数 ⚫スコアsをベクトルとして考える場合スコアsを確立pとする関数を softmax関数と言う −+1 −1 = −+1 −1
ニューラルネットへの導入 ⚫対数線形モデルって結局どんな感じ? Soft max 1 2 1 −2 −1 =
( + =1 −1 − ) −1 = {1,0,0,0,0, … } −2 = {0,0,0,0,1, … }
ニューラルネットへの導入 ⚫ニューラルネットの概念 ⇒ 非線形関数を計算する隠れ層を追加 tanh 1 2 1 −2 −1
ℎ = tanh( + =1 −1 − ) = (ℎ ℎ ) soft max ℎ ℎ
逆伝搬 ⚫勾配を出力から逆順に伝搬する tanh 1 2 1 −2 −1 soft max
ℎ ℎ ℎ
リカレントニューラルネット(RNN) ⚫ノードの一部の出力を入力として戻す tanh 1 2 1 −2 −1 soft max
ℎ ℎ