B3 コアタイム 第9回目 ( 2014年12月19日(金) )

Transcript

1. 「自然言語処理の基礎」 2章：辞書とコーパス B3 三上侑城
2. 概念階層 シソーラスのイメージ図 抽象的 もの 行動 ・・・・・ ・・・・・ ・・・・・ 人工物 ・・・・・ ・・・・・ 乗り物 陸上の乗り物 海上の乗り物 空中の乗り物 飛行機 ・・・ ヘリコプタ バイク 鉄道 自動車 船 ・・・ ヨット
3. 類似度の計算 • 類似度はシソーラスにおいて、近くに位置する単語 同士ほど類似度は高いとする。 • 調べたい２つの単語のシソーラス中での根か らの深さをそれぞれ , とし、２つの共通の 上位語の根からの深さを とした時、式は以 下のようになる。 sim( , ) = × + ※ 0 ≦ sim( , ) ≦ 1
4. 類似度の計算例 • 「船」と「ヨット」は、それぞれ 根から5の深さがあるため、 = , =5 にする。 • お互いの共通する一番最初の 語は「海上の乗り物」であり、 根から4の深さがあるため、 = 4 にする。 • 先ほどの式に代入すると、 sim( , ) = × + = × + = 0.8 となる。 抽象的 もの 行動 ・・・・・ ・・・・・ ・・・・・ 人工物 ・・・・・ ・・・・・ 乗り物 陸上の乗り物 海上の乗り物 空中の乗り物 飛行機 ・・・ ヘリコプタ バイク 鉄道 自動車 船 ・・・ ヨット 左図のシソーラスにおいて「船」と「ヨット」の類似度を求める
5. コーパス •電子化された言語データの蓄積物を 「コーパス(corpus)」という。 •収集したままの状態で、何も情報を付 加していないコーパスを 「生コーパス(raw corpus)」という。 •何らかの情報を付加したコーパスを 「タグ付きコーパス(tagged corpus)」と いう。
6. タグ付きコーパス •何らかの情報を付加したコーパス であり、 「品詞」 「構文構造」 「語義」 「テキスト構造」 の、４つの情報が付加されているも のが多い。
7. 言語の統計 •文字の連続を考えてみる。 →nグラム •通常n=2,3とすることが多い。 •ある文章や、その国の言語の 傾向がわかる。 •例題2.1をやるとわかりやすい。
8. 機械学習 •訓練データを用いて機械学習を させ、分類器を用いて生データを 分類させることができる。 •機械学習手法として、 「サポートベクトルマシン」 「ナイーブベイズ分類器」 「決定木学習」 などがある。
9. 機械学習 機械学習のプロセス図 クラス ラベル データ 訓練データ データ テストデータ 機械学習 アルゴリズム 分類器 クラス ラベル