n-gramを用いた日本語テキスト含意認識の検討

Transcript

1. n-gramを用いた テキスト含意認識の検討 長岡技術科学大学 電気系 山本研究室 宇高 邦弘，山本 和英 ① このPDFはpdfFactory試用版で作成されました

   www.nsd.co.jp/share/pdffact

2. テキスト含意認識とは ・言語表現Ａが言語表現Ｂの意味を含むか （＝含意）を判断するタスク ・言語表現Ａを「テキスト」，言語表現Ｂを「仮説」 テキスト ：「日本の大豆生産量は世界16位だ」 仮説 ：「日本は大豆を生産している」 含意認識 ：含意

   ② このPDFはpdfFactory試用版で作成されました www.nsd.co.jp/share/pdffact

3. テキスト含意認識とは ・含意認識 ⇒ 要素技術の塊 ・各要素技術 ⇒ 実現が困難 ・実現が容易な技術の日本語含意認識有用性 ⇒ 議論されていない

   述語項構造解析 換言知識 推論 含意認識 ETC ③ このPDFはpdfFactory試用版で作成されました www.nsd.co.jp/share/pdffact

4. n-gramを用いた テキスト含意認識 ・n-gramによるテキスト比較 ⇒ 実装が容易 ・日本語テキスト含意認識において， n-gramのみを用いた含意認識研究はない n-gramから得られる情報のみを利用して 含意認識 ⇒

   認識精度評価 ④ このPDFはpdfFactory試用版で作成されました www.nsd.co.jp/share/pdffact

5. ・言い換え表現の述語項構造解析への正規化と テキスト含意関係認識での利用 [小谷ら 09] ・言語表現を述語項構造に正規化 「数学を勉強する」 → 勉強する <ヲ格>数学 ・述語項構造を単位に2文間の一致をとる

   先行研究 ⑤ このPDFはpdfFactory試用版で作成されました www.nsd.co.jp/share/pdffact

6. 使用するn-gram ・単語，自立語，文節の３つの要素を使用 言語表現「私は働く」 １）単語 → 私 は 働く ２）自立語 →

   私 働く ３）文節 → 私は 働く ・要素数（n） １～３まで使用 ⑥ このPDFはpdfFactory試用版で作成されました www.nsd.co.jp/share/pdffact

7. 含意判定方法 ⑦ テキスト n-gram 生成 n-gram 生成 仮説 両n-gram 完全一致数

   を計算 仮説n-gram 完全一致率 を計算 閾値より 高い？ 含意 非含意 Y N このPDFはpdfFactory試用版で作成されました www.nsd.co.jp/share/pdffact

8. 本システムでの 含意認識例 テキスト ：太郎 に 本 を 借り た が

   無く し た 仮説 ：太郎 に 本 を 借り た 単語2グラム，閾値50%の場合 a h a:両n-gram完全一致数 h：完全一致するn-gramと仮説n-gramの被覆数 ⑧ ×100 ＝ 100 > 50 含意している このPDFはpdfFactory試用版で作成されました www.nsd.co.jp/share/pdffact

9. 評価実験 ・テストセットを人手で作成 （テキストと仮説のペアを１０４個作成） ・テストセットは予め人間によって含意判定済み （含意，非含意ペア５２個ずつで構成） ・閾値は１０％～１００％まで１０％刻みで設定 ⑨ このPDFはpdfFactory試用版で作成されました www.nsd.co.jp/share/pdffact

10. 実験結果 ⑩ 55.8 104 50 ２ 自立語 55.8 104 50

    ３ 単語 55.8 104 70 ２ 単語 56.7 104 70 ２ 自立語 精度 [％] ペア数[個] 閾値[％] 要素数 要素 ⇒精度は最高で50%後半 このPDFはpdfFactory試用版で作成されました www.nsd.co.jp/share/pdffact

11. 含意認識傾向についての考察 ⑪ 非含意 要素 形態素 自立語 文節 要素数 大 閾値

    高 含意 小 低 要素，要素数，閾値の変化によって 含意判断傾向も変化 このPDFはpdfFactory試用版で作成されました www.nsd.co.jp/share/pdffact

12. 含意認識傾向についての考察 ・含意認識傾向から判定結果の重要度を計算 非含意傾向にある状態で含意と判断 ⇒重要度：高 ・要素、要素数、閾値ごとの含意認識結果から 総合して再判断 ⇒ 認識精度向上 ⑫ 結果から

    重要度を 計算 重要度から 総合的に 含意判定 各含意認識結果 このPDFはpdfFactory試用版で作成されました www.nsd.co.jp/share/pdffact

13. 認識失敗例についての考察 ・換言知識を必要とする例 テキスト：芭蕉布作りは労多くて骨の折れる仕事です 仮説 ：芭蕉布は作るのが難しい ・否定表現が存在する例 テキスト ：岡下さんに大きな怪我はなかった 仮説 ：岡下さんは大きな怪我をした

    ⇒共に特別な処理，知識を必要とする ⑬ このPDFはpdfFactory試用版で作成されました www.nsd.co.jp/share/pdffact

14. 結論 ・n-gramを用いてテキスト含意認識を行った →精度は最高で5割程度 ・生じる問題を理解 →換言関係や否定表現などの問題 今回の検討を下に，更なる精度向上を 目指す ⑭ このPDFはpdfFactory試用版で作成されました www.nsd.co.jp/share/pdffact