B3勉強会(2015年1月9日)辞書とコーパスについて

Transcript

1. 長岡技術科学大学 B3 三上侑城 B3勉強会 2015年1月9日 辞書とコーパスについて 自然言語処理研究室
2. 辞書 人間が言語を読み書きする際、その言 語に関する様々な知識を利用する。 ↓ コンピュータが言語を処理するには、その 言語の知識が必要。 ↓ 言語に関する知識である「辞書」を使う。
3. 単語辞書 単語辞書には形態情報と意味情報が 記述されている。 形態情報には「読み」「品詞」「活用 形」が含まれる。 意味情報には「単語の意味」「格フレー ム」が含まれる。
4. シソーラス 単語や概念を、木構造の階層に体 系的に分類した辞書。 単語間の類似度を計算する上で重 要な役割をはたす。
5. シソーラス 抽象的 もの 行動 ・・・・・ ・・・・・ ・・・・・ 人工物 ・・・・・ ・・・・・ 乗り物 陸上の乗り物 海上の乗り物 空中の乗り物 飛行機 ・・ ヘリコプタ バイク 鉄道 自動車 船 ・・・ ヨット シソーラスのイメージ図
6. シソーラス 類似度の計算 調べたい２つの単語を と として、 シソーラス中での根からの深さをそれ ぞれ , 、２つの共通の上位語の 根からの深さを とした時、式は以下 のようになる。 sim( , ) = × + ※ 0 ≦ sim( , ) ≦ 1
7. シソーラス 類似度の計算  「船」と「ヨット」は、それぞれ 根から5の深さがあるため、 = , =5 にする。  お互いの共通する一番最初の語 は「海上の乗り物」であり、 根から4の深さがあるため、 = 4 にする。  先ほどの式に代入すると、 sim(船,ヨット) = × + = × + = 0.8 抽象的 もの 行動 ・・・・・ ・・・・・ ・・・・・ 人工物 ・・・・・ ・・・・・ 乗り物 陸上の乗り物 海上の乗り物 空中の乗り物 飛行機 ・・ ヘリコプタ バイク 鉄道 自動車 船 ・・・ ヨット 左図のシソーラスにおいて「船」と「ヨット」の類似度を求める 1 2 3 4 5
8. コーパス  言語データの蓄積物を 「コーパス(corpus)」という。  収集したままの状態で、 何も情報を付加していないコーパスを 「生コーパス(raw corpus)」という。  何らかの情報を付加したコーパスを 「タグ付きコーパス(tagged corpus)」 という。
9. タグ付きコーパス  タグ付きコーパスは、 「品詞」 「構文構造」 「語義」 「テキスト構造」 の、４つの情報が付加されているものが多 い。  言語処理ではこのタグ付きコーパスを使用 する。
10. 言語の統計  文字がある条件下で現れる確率を計算 することで、その文章や、その国の言語の 傾向がわかる。  あるワード(−1 )の次にワード( )が来る 確率の計算は次で求まる。 P( |− ) = C(− , ) C(− ) ※ 0 ≦ P( |−1 ) ≦ 1
11. 言語の統計 確率計算  以下の文章でP(N|Det)を求めてみる。 A/Det cat/N sat/V on/P the/Det mat/N. A/Det girl/N read/V a/Det book/N. A/Det dog/N chased/V a/Det cat/N. P(N|Det) = C(Det,N) C(Det) = 6 6 = 1
12. 機械学習 タグ付きコーパスを訓練データとして、 機械学習の手法である教師あり学習 を行なうことで、分類器を学習させる。 分類器はデータを入れると、データの 所属するクラスを出力する。
13. 機械学習 教師あり学習のプロセス図 クラス ラベル データ 訓練データ データ テストデータ 機械学習 アルゴリズム 分類器 クラス ラベル
14. まとめ 辞書やコーパスなどの、あらかじめ整 理された文字データを使うことで、生 データを処理することができる。 類似度や確率の計算を行うことで、 そのデータの評価をおこなったり、傾向 を見ることができる。
15. ご静聴ありがとうございました 参考文献 自然言語処理の基礎 著：奥村学 コロナ社 2010年10月