Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
対数線形モデル、ニューラルネット、RNN
Search
Ayumu
February 07, 2019
Technology
0
290
対数線形モデル、ニューラルネット、RNN
長岡技術科学大学
自然言語処理研究室 守谷歩
Ayumu
February 07, 2019
Tweet
Share
More Decks by Ayumu
See All by Ayumu
B3ゼミ_03_28_マルチモーダル学習_.pdf
ayumum
0
160
マルチモーダル学習
ayumum
0
150
B3ゼミ 自然言語処理におけるCNN
ayumum
0
100
言語処理年次大会報告
ayumum
0
97
ニューラルネット4
ayumum
0
110
文献紹介「二値符号予測と誤り訂正を用いたニューラル翻訳モデル」
ayumum
0
160
ニューラルネット3 誤差伝搬法,CNN,word2vec
ayumum
0
170
ニューラルネット実践
ayumum
0
120
文献紹介[Zero-Shot Dialog Generation with Cross-Domain Latent Action]
ayumum
0
190
Other Decks in Technology
See All in Technology
AIエージェント最前線! Amazon Bedrock、Amazon Q、そしてMCPを使いこなそう
minorun365
PRO
15
5.3k
生成AI活用の組織格差を解消する 〜ビジネス職のCursor導入が開発効率に与えた好循環〜 / Closing the Organizational Gap in AI Adoption
upamune
5
3.5k
Node-REDのFunctionノードでMCPサーバーの実装を試してみた / Node-RED × MCP 勉強会 vol.1
you
PRO
0
120
【TiDB GAME DAY 2025】Shadowverse: Worlds Beyond にみる TiDB 活用術
cygames
0
1.1k
2年でここまで成長!AWSで育てたAI Slack botの軌跡
iwamot
PRO
4
730
Абьюзим random_bytes(). Фёдор Кулаков, разработчик Lamoda Tech
lamodatech
0
350
GeminiとNotebookLMによる金融実務の業務革新
abenben
0
230
セキュリティの民主化は何故必要なのか_AWS WAF 運用の 10 の苦悩から学ぶ
yoh
1
170
Delegating the chores of authenticating users to Keycloak
ahus1
0
120
変化する開発、進化する体系時代に適応するソフトウェアエンジニアの知識と考え方(JaSST'25 Kansai)
mizunori
1
230
rubygem開発で鍛える設計力
joker1007
2
210
AIの最新技術&テーマをつまんで紹介&フリートークするシリーズ #1 量子機械学習の入門
tkhresk
0
140
Featured
See All Featured
[RailsConf 2023] Rails as a piece of cake
palkan
55
5.6k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
48
5.4k
Become a Pro
speakerdeck
PRO
28
5.4k
Gamification - CAS2011
davidbonilla
81
5.3k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
331
22k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
44
2.4k
Designing for humans not robots
tammielis
253
25k
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
Build your cross-platform service in a week with App Engine
jlugia
231
18k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
29
9.5k
A designer walks into a library…
pauljervisheath
207
24k
4 Signs Your Business is Dying
shpigford
184
22k
Transcript
言語モデル 2019/02/07 長岡技術科学大学 自然言語処理研究室 学部3年 守谷 歩 対数線形言語モデル、ニューラルネット,RNN
機械翻訳とか ⚫機械翻訳などでは翻訳したい文に対して単語の確率を見て、一番 合っていそうなものを翻訳後の文として出力する。 ⚫単語の確率はほんとに正しいのか?
単語の数を見た単純な確率計算 ⚫学習データ: 1.私 は 読書 が 好き だ </s> 2.私
の 本 は 1900年代 に 書かれた </s> 3.1900年代 は 20世紀 だ </s> ⚫ は < s > 私 = <>私は (<>私) = 1 2 = 0.5 それっぽい ⚫ 20世紀 < > 私の本は = <>私の本は20世紀 (私の本は) = 0 1 = 0
N-gramモデル ⚫2-gramモデルなら直前の1単語を使って学習 ⚫学習データ: 1.私 は 読書 が 好き だ </s>
2.私 の 本 は 1900年代 に 書かれた </s> 3.1900年代 は 20世紀 だ </s> ⚫Nを増やしていけば増やすだけ精度が上がる! ⚫精度が上がるが計算量がすごい増える
対数線形モデル ⚫履歴のデータを参考にスコア計算、その後スコアの指数を取って正規化する ⚫スコアs −+1 −1 = + σ=1 −1 ,−
(b:バイアス,d:学習データ ⚫正規化したモデル ( |−+1 −1 ) = |−+1 −1 σ |−+1 −1 ⚫尤度の勾配 = |−+1 −1 ( :単語,w:パラメータ) ⚫重みの更新 ≪ + ∗ (a:学習率= 1 + ,w:パラメータ,n:サンプル数)
Softmax関数 ⚫スコアsをベクトルとして考える場合スコアsを確立pとする関数を softmax関数と言う −+1 −1 = −+1 −1
ニューラルネットへの導入 ⚫対数線形モデルって結局どんな感じ? Soft max 1 2 1 −2 −1 =
( + =1 −1 − ) −1 = {1,0,0,0,0, … } −2 = {0,0,0,0,1, … }
ニューラルネットへの導入 ⚫ニューラルネットの概念 ⇒ 非線形関数を計算する隠れ層を追加 tanh 1 2 1 −2 −1
ℎ = tanh( + =1 −1 − ) = (ℎ ℎ ) soft max ℎ ℎ
逆伝搬 ⚫勾配を出力から逆順に伝搬する tanh 1 2 1 −2 −1 soft max
ℎ ℎ ℎ
リカレントニューラルネット(RNN) ⚫ノードの一部の出力を入力として戻す tanh 1 2 1 −2 −1 soft max
ℎ ℎ