B3 勉強会 第二回

Transcript

1. B3 勉強会 第二回 (2016/01/08) 長岡技術科学大学 B3 桾澤 優希 日本文の意味の解析 (1)
2. 意味の解析とは ▪ 文の意味的な妥当性を判断し、意味的に異常な文を排 除するプロセス。 ▪ 同時に文中の単語間の意味的関係を同定する。 ▪ 文の解析の前に語の意味の定義が重要になる。
3. 語の意味の定義 ▪ 言語における意味の基本単位 → 語 ▪ 語の意味、語によって表現される概念は内包 (intension)と外延(extension)によって表現 生物 植物 動物 シダ植物 種子植物 コケ植物 内包 外延 差
4. 語の意味の定義 ▪ 内包的定義 ▪ 概念の本質的な特徴、性質を示すもの ▪ 最近類と種差を示せば良い ▪ (例) 植物 ▪ 最近類 → 「生物」 ▪ 種差 → 「動物」との種差は「光合成を行う」ということ ▪ 外延的定義 ▪ その概念の属す具体例 ▪ (例) 植物 ▪ 種子植物、シダ植物、コケ植物
5. 語の意味の定義 ▪ 国語辞典などの見出し語の語釈文 →内包的定義と外延的定義によって表現 ▪ 一文目 : 内包的定義 (種差 + 最近類) ▪ 二文目 : 外延的定義 ▪ (例) 植物 ▪ 光合成を行う生物. 種子植物, シダ植物, コケ植物などがある. ▪ 構成要素や機能目的などの観点からも定義が可能であ る。
6. シソーラス ▪ 意味の上位下位関係、同義関係を中心に語を体系的 にまとめた辞書 名詞 具体 場所 抽象 主体 具体物 生物 無生物 自然物 人工物 シソーラスの例 (日本語語彙体系)
7. シソーラスの例 ▪ 英語 ▪ WordNet ▪ synsetと呼ばれる同義語の集合 ▪ 語が多義である場合は複数のsynsetに語が属す ▪ 12万synset , 15万語を収録 ▪ 日本語 ▪ 分類語彙表 ▪ 国立国語研究所作成 ▪ 総レコード数 約10万 ▪ 日本語語彙体系 ▪ NTT作成 ▪ 30万語の収録語を3000種のカテゴリに分類
8. 同義性と多義性 ▪ 同義性 ▪ ある意味を持つ語が複数存在する ▪ 同義語の例 ▪ りんご , リンゴ , 林檎 ▪ center , centre ▪ 多義性 ▪ ある語が複数の意味を持つ ▪ 多義語の例 ▪ こうえん (公園 , 講演) ▪ bank (銀行 , 利子)
9. 同義語 ▪ 形が異なるが意味がほぼ同じ語 ▪ 同じ語で表記が異なる場合 ▪ りんご , リンゴ , 林檎 ▪ 受け付け , 受付 ▪ 語が異なるもの ▪ コンピュータ , 計算機 ▪ 美しい , きれいだ ▪ シソーラスからも得ることが可能だが、カバレッジは高くない ▪ 「落ち込む」と「冷え込む」は類義とはいえない ▪ 「景気が落ち込む」と「景気が冷え込む」は類義と考えられる。 → 言い換え表現
10. 分布類似度 ▪ 類義語の関係を大規模なコーパスから 自動獲得する方法 ▪ ある語とよく共起する語を関連語と考える。 ▪ 共起の強さの度合い → 自己相互情報量(PMI) PMI(, ) = log (, ) () , () : それぞれの語の出現頻度 , : ある範囲にxとyが共起する確率
11. 分布類似度 ▪ 2つの語が同じような関連語をもてば、それらは類似してい るといえる ▪ 2つの語に対する関連語の集合X,Yを考え、その重複の 割合を類似度の尺度とする。 ▪ 重複の割合の計算 ▪ Jaccard係数 ▪ Simpson係数 ▪ Dice係数 |X ∩ Y| |X ∪ Y| Jaccard係数
12. 多義語 ▪ 表記が同じで複数の異なる意味を持つ語 ▪ 語源が異なるもの → 同音異義語 ▪ 語源が同じもの → 多義語 ▪ ここではこれらを多義語とする ▪ 英語には多義性が多数ある ▪ bank (銀行 , 土手 など) ▪ 日本語ではひらがな,カタカナ表記のものが多い ▪ こうえん (公園 , 講演 など)
13. 語義曖昧性解消 ▪ ある文脈における語義を選択するという問題 ▪ 国語辞書の語義(見出し)を用いて曖昧性を解消する ▪ 見出しの最初の語義を選ぶ ▪ 語義の説明文と解析対象の語の文脈の重複が 大きい語義を選択する
14. 語義曖昧性解消 ▪ “I have little money in the bank” という文が与え られた時のbankの意味 辞書 bank1 : an institution that keeps and lends money bank2 : land along the side of a river or lake ▪ 見出しの最初の語義を選ぶ方法では bank1 と判断 ▪ 文脈の重複が大きい方を選ぶ方法であれば、辞書の語義にmoney と重複する bank1 と判断
15. 語義曖昧性解消 ▪ 注釈付与コーパスによって付与 ▪ 各語に対する分類器を各出現の文脈中の語を素性として学習 ▪ Bankの例では文章中にcheckやfinanceがあればbank1の方であ ると予め学習 ▪ 実際の文章が来た場合はこれらの学習データに基づき判断 ▪ 主な注釈付与コーパス ▪ 日本語 ▪ 岩波国語辞典タグ付きコーパス ▪ 英語 ▪ SemCor
16. 参考文献 ▪ 黒橋 禎夫, 自然言語処理, 放送大学教育振興会 (2015.3.20) ▪ 奥村 学, 自然言語処理の基礎 , コロナ社 (2010.10.28)