Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
対数線形モデル、ニューラルネット、RNN
Search
Ayumu
February 07, 2019
Technology
0
180
対数線形モデル、ニューラルネット、RNN
長岡技術科学大学
自然言語処理研究室 守谷歩
Ayumu
February 07, 2019
Tweet
Share
More Decks by Ayumu
See All by Ayumu
B3ゼミ_03_28_マルチモーダル学習_.pdf
ayumum
0
140
マルチモーダル学習
ayumum
0
120
B3ゼミ 自然言語処理におけるCNN
ayumum
0
86
言語処理年次大会報告
ayumum
0
72
ニューラルネット4
ayumum
0
95
文献紹介「二値符号予測と誤り訂正を用いたニューラル翻訳モデル」
ayumum
0
130
ニューラルネット3 誤差伝搬法,CNN,word2vec
ayumum
0
160
ニューラルネット実践
ayumum
0
97
文献紹介[Zero-Shot Dialog Generation with Cross-Domain Latent Action]
ayumum
0
150
Other Decks in Technology
See All in Technology
推しは推せるときに推せ! プロダクトにフィードバックしていこう
nakasho
0
310
LayerXにおけるLLMプロダクト開発の今までとこれから
layerx
PRO
1
300
エンジニアのキャリアをちょっと楽しくする3本の軸/Three Pillars to Make an Engineer's Career More Enjoyable
kwappa
0
2.7k
Delivering Millions of Messages within seconds @ Duolingo
pelelgrino
0
350
Azure犬駆動開発の記録/GlobalAzureFukuoka2024_20240420
nina01
1
210
リテール金融(キャッシュレス・ネット銀行・ネット証券)の競争環境と経済圏
8maki
0
1.2k
プロトタイピングによる不確実性の低減 / Reducing Uncertainty through Prototyping
ohbarye
5
390
プロンプトエンジニアリングでがんばらない-Agentic Workflow へ-近藤憲児
kenjikondobai
2
650
オーナーシップを持つ領域を明確にする
konifar
13
3.2k
Tellus の衛星データを見てみよう #mf_fukuoka
kongmingstrap
0
190
AOAI をきっかけに 社内の Azure 管理を見直した話
recruitengineers
PRO
1
290
本当のAWS基礎
toru_kubota
0
520
Featured
See All Featured
XXLCSS - How to scale CSS and keep your sanity
sugarenia
241
1.2M
GraphQLとの向き合い方2022年版
quramy
32
12k
YesSQL, Process and Tooling at Scale
rocio
164
13k
Navigating Team Friction
lara
178
13k
Thoughts on Productivity
jonyablonski
58
3.8k
Facilitating Awesome Meetings
lara
42
5.6k
What’s in a name? Adding method to the madness
productmarketing
PRO
16
2.6k
Building Applications with DynamoDB
mza
88
5.6k
Happy Clients
brianwarren
92
6.4k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
221
21k
Keith and Marios Guide to Fast Websites
keithpitt
408
22k
VelocityConf: Rendering Performance Case Studies
addyosmani
320
23k
Transcript
言語モデル 2019/02/07 長岡技術科学大学 自然言語処理研究室 学部3年 守谷 歩 対数線形言語モデル、ニューラルネット,RNN
機械翻訳とか ⚫機械翻訳などでは翻訳したい文に対して単語の確率を見て、一番 合っていそうなものを翻訳後の文として出力する。 ⚫単語の確率はほんとに正しいのか?
単語の数を見た単純な確率計算 ⚫学習データ: 1.私 は 読書 が 好き だ </s> 2.私
の 本 は 1900年代 に 書かれた </s> 3.1900年代 は 20世紀 だ </s> ⚫ は < s > 私 = <>私は (<>私) = 1 2 = 0.5 それっぽい ⚫ 20世紀 < > 私の本は = <>私の本は20世紀 (私の本は) = 0 1 = 0
N-gramモデル ⚫2-gramモデルなら直前の1単語を使って学習 ⚫学習データ: 1.私 は 読書 が 好き だ </s>
2.私 の 本 は 1900年代 に 書かれた </s> 3.1900年代 は 20世紀 だ </s> ⚫Nを増やしていけば増やすだけ精度が上がる! ⚫精度が上がるが計算量がすごい増える
対数線形モデル ⚫履歴のデータを参考にスコア計算、その後スコアの指数を取って正規化する ⚫スコアs −+1 −1 = + σ=1 −1 ,−
(b:バイアス,d:学習データ ⚫正規化したモデル ( |−+1 −1 ) = |−+1 −1 σ |−+1 −1 ⚫尤度の勾配 = |−+1 −1 ( :単語,w:パラメータ) ⚫重みの更新 ≪ + ∗ (a:学習率= 1 + ,w:パラメータ,n:サンプル数)
Softmax関数 ⚫スコアsをベクトルとして考える場合スコアsを確立pとする関数を softmax関数と言う −+1 −1 = −+1 −1
ニューラルネットへの導入 ⚫対数線形モデルって結局どんな感じ? Soft max 1 2 1 −2 −1 =
( + =1 −1 − ) −1 = {1,0,0,0,0, … } −2 = {0,0,0,0,1, … }
ニューラルネットへの導入 ⚫ニューラルネットの概念 ⇒ 非線形関数を計算する隠れ層を追加 tanh 1 2 1 −2 −1
ℎ = tanh( + =1 −1 − ) = (ℎ ℎ ) soft max ℎ ℎ
逆伝搬 ⚫勾配を出力から逆順に伝搬する tanh 1 2 1 −2 −1 soft max
ℎ ℎ ℎ
リカレントニューラルネット(RNN) ⚫ノードの一部の出力を入力として戻す tanh 1 2 1 −2 −1 soft max
ℎ ℎ