Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
20150109 発表資料
Search
Sponsored
·
Your Podcast. Everywhere. Effortlessly.
Share. Educate. Inspire. Entertain. You do you. We'll handle the rest.
→
Yuta
January 09, 2015
Education
0
150
20150109 発表資料
Yuta
January 09, 2015
Tweet
Share
More Decks by Yuta
See All by Yuta
20160422 文献紹介
sudo
0
180
NLP2016 報告
sudo
0
200
NLP2016 発表スライド
sudo
0
220
20160218 文献紹介
sudo
0
270
20150909 発表資料
sudo
0
150
20150820 文献紹介
sudo
0
190
20150708 文献紹介
sudo
0
160
20150610 文献紹介
sudo
0
200
20150512 文献紹介
sudo
0
190
Other Decks in Education
See All in Education
IHLヘルスケアリーダーシップ研究会17期説明資料
ihlhealthcareleadership
0
890
Evaluation Methods - Lecture 6 - Human-Computer Interaction (1023841ANR)
signer
PRO
0
1.3k
Security, Privacy and Trust - Lecture 11 - Web Technologies (1019888BNR)
signer
PRO
0
3.2k
Activité_5_-_Les_indicateurs_du_climat_global.pdf
bernhardsvt
0
140
1111
cbtlibrary
0
270
1014
cbtlibrary
0
530
XML and Related Technologies - Lecture 7 - Web Technologies (1019888BNR)
signer
PRO
0
3.2k
俺と地方勉強会 - KomeKaigi・地方勉強会への期待 -
pharaohkj
1
1.6k
Flinga
matleenalaakso
3
15k
1021
cbtlibrary
0
400
多様なメンター、多様な基準
yasulab
PRO
5
19k
核軍備撤廃に向けた次の大きな一歩─核兵器を先には使わないと核保有国が約束すること
hide2kano
0
240
Featured
See All Featured
Effective software design: The role of men in debugging patriarchy in IT @ Voxxed Days AMS
baasie
0
230
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
133
19k
Ethics towards AI in product and experience design
skipperchong
2
190
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
35
2.4k
Design of three-dimensional binary manipulators for pick-and-place task avoiding obstacles (IECON2024)
konakalab
0
350
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
196
71k
Done Done
chrislema
186
16k
Mind Mapping
helmedeiros
PRO
0
87
GraphQLの誤解/rethinking-graphql
sonatard
74
11k
Optimizing for Happiness
mojombo
379
71k
Everyday Curiosity
cassininazir
0
130
Making the Leap to Tech Lead
cromwellryan
135
9.7k
Transcript
形態素解析について 自然言語処理研究室 B3 須戸悠太 1
形態素解析とは • 意味を持つ最小の言語単位(形態素)を対象と した解析プロセス。 • 単語分割・品詞付与・原型の復元の大きく三つ の処理に分けられる。 • 日本語の形態素解析では単語分割が主要な処理 となる。
2
日本語の形態素解析 • 単語辞書と連接可能性行列の二つが知識として 用いられる。 • 次の二つのステップを繰り返すことで単語を ノードとしその間をリンクでつないだグラフ (ラティス)が得られる。 1.各文字の位置から始まる単語を取り出す 2.相前後する2単語で連接可能なものをつなぐ
3
身近な応用例 • 仮名漢字変換 例:ていあんしたいけん 1.ていあん/し/たい/けん→提案したい件 2.ていあん/した/いけん →提案した意見 3.ていあん/し/たいけん →提案し体験 4
選好の紹介 • 最長一致法 できるだけ長い単語で構成される解析結果を優先 して選択する。 • 形態素数(文節数)最小法 入力文字列を構成する形態素数が少ない解析結果 を優先して選択する。 5
プログラムでは • コスト最小法 ノードとリンクにそれぞれ単語コスト、連接コス トを与え、コスト最小のパスを最適解として選択 する。 • ビタビアルゴリズム ラティス中の各ノードにおいて、部分コストの最 小値及びそのリンクを記憶する。
6
形態素解析の欠点 • 単語辞書に登録されていない未知後を含む場合、 解析性能を劣化させる可能性がある。 • コスト最小法では、コストを人手で与える必要 がある。 7
解析ツール • JUMAN 辞書や品詞体系、連接規則などを外部化し、カス タマイズを可能にした。 • 茶筌 コスト推定を統計的な手法によって行う。 • MeCab
辞書や定義ファイルを入れ替えることで日本語形 態素解析以外にも応用可能。 8