Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
B3勉強会(2015年1月9日)辞書とコーパスについて
Search
MIKAMI-YUKI
January 09, 2015
Education
0
97
B3勉強会(2015年1月9日)辞書とコーパスについて
MIKAMI-YUKI
January 09, 2015
Tweet
Share
More Decks by MIKAMI-YUKI
See All by MIKAMI-YUKI
2016年_年次大会_発表資料
mikamiy
0
110
文献紹介_10_意味的類似性と多義解消を用いた文書検索手法
mikamiy
0
260
文献紹介_9_コーパスに基づく動詞の多義解消
mikamiy
0
98
文献紹介_8_単語単位による日本語言語モデルの検討
mikamiy
0
77
文献紹介_7_自動獲得した未知語の読み・文脈情報による仮名漢字変換
mikamiy
0
79
文献紹介_6_複数の言語的特徴を用いた日本語述部の同義判定
mikamiy
0
92
文献紹介_5_マイクロブログにおける感情・コミュニケーション・動作タイプの推定に基づく顔文字の推薦
mikamiy
0
120
文献紹介_4_結合価パターンを用いた仮名漢字変換候補の選択
mikamiy
0
380
文献紹介_3_絵本のテキストを対象とした形態素解析
mikamiy
1
400
Other Decks in Education
See All in Education
week6@tcue2024
nonxxxizm
0
450
AWS認定試験 DEA受験記
nnydtmg
1
300
プロジェクト型学習とそれを支える生成AI利用プログラミング/pbl-and-ai-assisted-programming
okana2ki
0
150
Human-AI Interaction - Lecture 11 - Next Generation User Interfaces (4018166FNR)
signer
PRO
0
110
2024年度 サイバーエージェント新卒社内研修の「データモデリング」の資料公開
chiba_katsu
2
3.4k
【ServiceNow SNUG Meetup LT deck】Washington D.C. 新機能 Time-Limited Rolesを触ってみた
senon
0
160
Ch8_-_Partie_3.pdf
bernhardsvt
0
110
week12@tcue2024
nonxxxizm
0
530
CULTURA I VALORS
cumclavis
PRO
1
170
Introduction - Lecture 1 - Next Generation User Interfaces (4018166FNR)
signer
PRO
1
3.3k
3Dプリンターの使い方(Sovol 06 Plus)
404background
0
150
Before You Create Something
nandenjin
0
210
Featured
See All Featured
What’s in a name? Adding method to the madness
productmarketing
PRO
21
2.9k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
12
3.8k
Faster Mobile Websites
deanohume
303
30k
How to name files
jennybc
67
96k
Into the Great Unknown - MozCon
thekraken
20
1.3k
How to Think Like a Performance Engineer
csswizardry
4
590
Being A Developer After 40
akosma
72
580k
KATA
mclloyd
20
13k
From Idea to $5000 a Month in 5 Months
shpigford
377
46k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
44
4.7k
Code Review Best Practice
trishagee
58
16k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
360
22k
Transcript
長岡技術科学大学 B3 三上侑城 B3勉強会 2015年1月9日 辞書とコーパスについて 自然言語処理研究室
辞書 人間が言語を読み書きする際、その言 語に関する様々な知識を利用する。 ↓ コンピュータが言語を処理するには、その 言語の知識が必要。 ↓ 言語に関する知識である「辞書」を使う。
単語辞書 単語辞書には形態情報と意味情報が 記述されている。 形態情報には「読み」「品詞」「活用 形」が含まれる。 意味情報には「単語の意味」「格フレー ム」が含まれる。
シソーラス 単語や概念を、木構造の階層に体 系的に分類した辞書。 単語間の類似度を計算する上で重 要な役割をはたす。
シソーラス 抽象的 もの 行動 ・・・・・ ・・・・・ ・・・・・ 人工物 ・・・・・ ・・・・・
乗り物 陸上の乗り物 海上の乗り物 空中の乗り物 飛行機 ・・ ヘリコプタ バイク 鉄道 自動車 船 ・・・ ヨット シソーラスのイメージ図
シソーラス 類似度の計算 調べたい2つの単語を と として、 シソーラス中での根からの深さをそれ ぞれ , 、2つの共通の上位語の 根からの深さを
とした時、式は以下 のようになる。 sim( , ) = × + ※ 0 ≦ sim( , ) ≦ 1
シソーラス 類似度の計算 「船」と「ヨット」は、それぞれ 根から5の深さがあるため、 = , =5 にする。
お互いの共通する一番最初の語 は「海上の乗り物」であり、 根から4の深さがあるため、 = 4 にする。 先ほどの式に代入すると、 sim(船,ヨット) = × + = × + = 0.8 抽象的 もの 行動 ・・・・・ ・・・・・ ・・・・・ 人工物 ・・・・・ ・・・・・ 乗り物 陸上の乗り物 海上の乗り物 空中の乗り物 飛行機 ・・ ヘリコプタ バイク 鉄道 自動車 船 ・・・ ヨット 左図のシソーラスにおいて「船」と「ヨット」の類似度を求める 1 2 3 4 5
コーパス 言語データの蓄積物を 「コーパス(corpus)」という。 収集したままの状態で、 何も情報を付加していないコーパスを 「生コーパス(raw corpus)」という。
何らかの情報を付加したコーパスを 「タグ付きコーパス(tagged corpus)」 という。
タグ付きコーパス タグ付きコーパスは、 「品詞」 「構文構造」 「語義」 「テキスト構造」 の、4つの情報が付加されているものが多 い。
言語処理ではこのタグ付きコーパスを使用 する。
言語の統計 文字がある条件下で現れる確率を計算 することで、その文章や、その国の言語の 傾向がわかる。 あるワード(−1 )の次にワード( )が来る 確率の計算は次で求まる。
P( |− ) = C(− , ) C(− ) ※ 0 ≦ P( |−1 ) ≦ 1
言語の統計 確率計算 以下の文章でP(N|Det)を求めてみる。 A/Det cat/N sat/V on/P the/Det mat/N.
A/Det girl/N read/V a/Det book/N. A/Det dog/N chased/V a/Det cat/N. P(N|Det) = C(Det,N) C(Det) = 6 6 = 1
機械学習 タグ付きコーパスを訓練データとして、 機械学習の手法である教師あり学習 を行なうことで、分類器を学習させる。 分類器はデータを入れると、データの 所属するクラスを出力する。
機械学習 教師あり学習のプロセス図 クラス ラベル データ 訓練データ データ テストデータ 機械学習 アルゴリズム
分類器 クラス ラベル
まとめ 辞書やコーパスなどの、あらかじめ整 理された文字データを使うことで、生 データを処理することができる。 類似度や確率の計算を行うことで、 そのデータの評価をおこなったり、傾向 を見ることができる。
ご静聴ありがとうございました 参考文献 自然言語処理の基礎 著:奥村学 コロナ社 2010年10月