Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
探索アルゴリズムと派生文法について
Search
Ayumu
January 17, 2019
Technology
1
260
探索アルゴリズムと派生文法について
長岡技術科学大学
自然言語処理研究室
学部3年 守谷歩
Ayumu
January 17, 2019
Tweet
Share
More Decks by Ayumu
See All by Ayumu
B3ゼミ_03_28_マルチモーダル学習_.pdf
ayumum
0
170
マルチモーダル学習
ayumum
0
160
B3ゼミ 自然言語処理におけるCNN
ayumum
0
110
言語処理年次大会報告
ayumum
0
100
ニューラルネット4
ayumum
0
120
文献紹介「二値符号予測と誤り訂正を用いたニューラル翻訳モデル」
ayumum
0
170
ニューラルネット3 誤差伝搬法,CNN,word2vec
ayumum
0
170
ニューラルネット実践
ayumum
0
120
文献紹介[Zero-Shot Dialog Generation with Cross-Domain Latent Action]
ayumum
0
190
Other Decks in Technology
See All in Technology
AIドリブンのソフトウェア開発 - うまいやり方とまずいやり方
okdt
PRO
9
660
新卒(ほぼ)専業Kagglerという選択肢
nocchi1
1
2.4k
アジャイルテストで高品質のスプリントレビューを
takesection
0
120
帳票Vibe Coding
terurou
0
140
Yahoo!ニュースにおけるソフトウェア開発
lycorptech_jp
PRO
0
390
Go で言うところのアレは TypeScript で言うとコレ / Kyoto.なんか #7
susisu
7
1.9k
DuckDB-Wasmを使って ブラウザ上でRDBMSを動かす
hacusk
1
110
LLM時代の検索とコンテキストエンジニアリング
shibuiwilliam
2
1.2k
あなたの知らない OneDrive
murachiakira
0
240
Goでマークダウンの独自記法を実装する
lag129
0
220
第4回 関東Kaggler会 [Training LLMs with Limited VRAM]
tascj
12
1.8k
夢の印税生活 / Life on Royalties
tmtms
0
290
Featured
See All Featured
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
30
9.6k
Writing Fast Ruby
sferik
628
62k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
29
1.9k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
44
2.5k
Rebuilding a faster, lazier Slack
samanthasiow
83
9.1k
A Tale of Four Properties
chriscoyier
160
23k
Connecting the Dots Between Site Speed, User Experience & Your Business [WebExpo 2025]
tammyeverts
8
480
Side Projects
sachag
455
43k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
8
900
Designing for humans not robots
tammielis
253
25k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
283
13k
Making the Leap to Tech Lead
cromwellryan
134
9.5k
Transcript
派生文法と 探索アルゴリズム 2019/01/17 長岡技術科学大学 自然言語処理研究室 学部3年 守谷 歩 派生文法とは/「深さ優先探索、幅優先探索、 ビームサーチ、グリーディサーチ」
派生文法とは 動詞の語形変化について
派生文法とは 日本語は活用していないといった考えの文法。 ひらがなやカタカナを文字単位でなく音素単位で日本語の変化を考える。 学校文法では動詞の「書く」の語幹は「書」としているが、派生文法では「kak」 を語幹として見て、未然形、連用形、終止形、連体形、仮定形、命令形にして いる。 学校文法 派生文法 未然形 書か・ない
Kak-(a)na-I 連用形 書き・ます Kak-imas-u 終止形 書く Kak-(r)u 連体形 書く Kak-(r)u 仮定形 書け・ば Kak-eba 命令形 書け Kak-e
Kak:書k (r)are:受動・可能・尊厳 (r)u:非完了態 語幹 派生接尾辞 終止形、連体形の統語接尾辞 派生文法での動詞の形状変化 Tabe:食べ (i)mas:丁寧 (i)ta:完了態
探索アルゴリズム 探索アルゴリズムの基礎と言語処理への展開
幅優先探索 ノードの深さが同じものを優先的に探索する探索手法 1 3 2 5 4 9 10 6
7 8
ビームサーチ B個の仮説からなるビームを使った探索方法 ビタビアルゴリズムを行うが格ノードでB個の仮説しか展開しない Bがすべての仮説を包括するばあい幅優先探索と同じになる。
ビームサーチ 例 「彼 だけ が 走った 」で考える B=2の場合 <S> 名詞
動詞 前置詞 彼 だけ が 走った 後置詞 ・ ・ ・ 名詞 動詞 前置詞 後置詞 ・ ・ ・ 名詞 動詞 前置詞 後置詞 ・ ・ ・ 名詞 動詞 前置詞 後置詞 ・ ・ ・ </S>
ビームサーチ 例 「彼 だけ が 走った 」で考える B=2の場合 <S> 名詞
動詞 前置詞 彼 後置詞 ・ ・ ・ 1文字目が彼である点数 Score[“1 名詞”] =−(名詞|<S>)+ -logP(彼|名詞) Score[“1 動詞”] =−(動詞|<S>)+ -logP(彼|動詞) Score[“1 前置詞”] =−(名詞|<S>)+ -logP(彼|前置詞) Score[“1 後置詞”] =−(名詞|<S>)+ -logP(彼|後置詞) この2つのスコア がいいっぽい
ビームサーチ 例 「彼 だけ が 走った 」で考える B=2の場合 名詞 動詞
前置詞 彼 後置詞 ・ ・ ・ 2文字目が「だけ」である点数 Score[“2 名詞”] = min( Score[“1 名詞”] + -logP(名詞|名詞) + -log P(だけ|名詞), Score[“1 動詞”] + -logP(名詞|動詞) + -log P(だけ|名詞), Score[“1 前置詞”] + -logP(名詞|前置詞) + -log P(だけ|名詞), Score[“1 後置詞”] + -logP(名詞|後置詞) + -log P(だけ|名詞), ・・・ ) Score[“2 動詞”] =min( ・・・ 名詞 動詞 前置詞 だけ 後置詞 ・ ・ ・
深さ優先探索 ノードを進める深さまで進み、最大の深さになったら1つ戻りまた探 索を始める手法 1 8 2 6 3 5 7
9 10 4
グリーディサーチ あるノードの深さでの点数が一番大きい仮説だけを選択していく 手法 ノード深さを考えずに点数が大きい仮説を探索することで深さ優先 探索と同じような処理を行うことができる。
グリーディサーチ 例 「彼 だけ が 走った 」で考える <S> 名詞 動詞
前置詞 彼 だけ が 走った 後置詞 ・ ・ ・ 名詞 動詞 前置詞 後置詞 ・ ・ ・ 名詞 動詞 前置詞 後置詞 ・ ・ ・ 名詞 動詞 前置詞 後置詞 ・ ・ ・ </S>
グリーディサーチ 例 「彼 だけ が 走った 」で考える <S> 名詞 動詞
前置詞 彼 後置詞 ・ ・ ・ 1文字目が彼である点数 Score[“1 名詞”] =−(名詞|<S>)+ -logP(彼|名詞) Score[“1 動詞”] =−(動詞|<S>)+ -logP(彼|動詞) Score[“1 前置詞”] =−(名詞|<S>)+ -logP(彼|前置詞) Score[“1 後置詞”] =−(名詞|<S>)+ -logP(彼|後置詞) このスコアが いいっぽい
グリーディサーチ 例 「彼 だけ が 走った 」で考える 名詞 動詞 前置詞
彼 後置詞 ・ ・ ・ 2文字目が「だけ」である点数 Score[“2 名詞”] = Score[“1 名詞”] + -logP(名詞|名詞) + -log P(だけ|名詞) 名詞 動詞 前置詞 だけ 後置詞 ・ ・ ・ Score[“2 動詞”] = Score[“1 動詞”] + -logP(動詞|名詞) + -log P(だけ|動詞) Score[“2前置詞”] = Score[“1 前置詞”] + -logP(前置詞|名詞) + -log P(だけ|前置詞) Score[“2 後置詞”] = Score[“1後置詞”] + -logP(後置詞|名詞) + -log P(だけ|後置詞) このスコアが いいっぽい