語彙知識を用いた日本語テキスト含意認識の評価セット構築と認識実験

村松 祐希, 山本 和英. 語彙知識を用いた日本語テキスト含意認識の評価セット構築と認識実験. 言語処理学会第16回年次大会, pp.514-517 (2010.3)

Transcript

1. 語彙知識を用いた 語彙知識を用いた 語彙知識を用いた 語彙知識を用いた 語彙知識を用いた 語彙知識を用いた 語彙知識を用いた 語彙知識を用いた 日本語テキスト含意認識の 日本語テキスト含意認識の 日本語テキスト含意認識の 日本語テキスト含意認識の 日本語テキスト含意認識の 日本語テキスト含意認識の 日本語テキスト含意認識の 日本語テキスト含意認識の 評価セット構築と認識実験 評価セット構築と認識実験 評価セット構築と認識実験 評価セット構築と認識実験 評価セット構築と認識実験 評価セット構築と認識実験 評価セット構築と認識実験 評価セット構築と認識実験 長岡技術科学大学 長岡技術科学大学 電気系 電気系 村松 村松 祐希 祐希 山本 山本 和英 和英 ①
2. ② 背景 背景 ・ ・テキスト含意認識が注目されている テキスト含意認識が注目されている → →海外ではワークショップを開催 海外ではワークショップを開催 → →質問応答や要約の基礎 質問応答や要約の基礎 ・ ・国内でテキスト含意認識の研究が少数 国内でテキスト含意認識の研究が少数 → →評価セット構築のコストが高い 評価セット構築のコストが高い → →含意関係を判断する資源が少ない 含意関係を判断する資源が少ない
3. 目的 目的 ・ ・語彙知識による評価セットの構築を提案 語彙知識による評価セットの構築を提案 → →評価セットの構築を低コスト 評価セットの構築を低コスト → →テキスト含意認識の問題を明確化 テキスト含意認識の問題を明確化 ・ ・本手法の評価セットによる認識実験 本手法の評価セットによる認識実験 → →評価セットの新規性を調査 評価セットの新規性を調査 ③
4. ④ テキスト含意認識 テキスト含意認識 本文と仮説から含意関係の判断を行うタスク 本文と仮説から含意関係の判断を行うタスク 含意判定 真 本文 朝青龍は相撲を辞めた。 仮説 朝青龍は相撲界を引退した。 テキスト含意認識の例
5. ⑤ 関連研究 関連研究 ・ ・Dagan Daganら ら[2005] [2005] - -新聞コーパスから評価セットを構築 新聞コーパスから評価セットを構築 - -7 7つの手法を使用（質問応答、情報抽出等） つの手法を使用（質問応答、情報抽出等） ・ ・小谷ら 小谷ら[2008] [2008] - -推論要因を基に 推論要因を基に5 5つの要因に分類 つの要因に分類 - -同義・上位下位関係から含意判定 同義・上位下位関係から含意判定
6. ⑥ アプローチ アプローチ ・ ・語彙知識の利用 語彙知識の利用 - -含意認識で発生する問題に制約 含意認識で発生する問題に制約 - -語彙知識の種類よる評価セットの分類化 語彙知識の種類よる評価セットの分類化 ・ ・評価セットの重要度 評価セットの重要度 - -語彙知識の使用頻度 語彙知識の使用頻度 - -文の自然さ（連接確率） 文の自然さ（連接確率）
7. ⑦ 日本語 日本語WordNet WordNet inference hype relations entailment, implication, deduction eng 暗示、含み、内含、含意、含蓄 jpn words something that is ingerred ・・・. eng definitions entailment(05780885-n) synset 表１日本語WordNetの例 日本語WordNetはＮＩＣＴ が開発した階層型辞書 日本語WordNetから語彙知識を獲得
8. ⑧ システム図 システム図 システム図 システム図 システム図 システム図 システム図 システム図 語彙知識の獲得 仮説の生成 本文と仮説の出力 日本語 WordNet 新聞 コーパス 仮説の フィードバック Ⅰ Ⅲ Ⅱ 資源 処理
9. ⑨ 手法 手法 （語彙知識の獲得） （語彙知識の獲得） 語彙知識は上位下位語、同義語を使用 entailment inference ・ ・暗示 暗示 ・ ・含み 含み ・ ・内容 内容 ・ ・含意 含意 ・ ・含蓄 含蓄 ・ ・推測 推測 ・ ・推理 推理 ・ ・推論 推論 derivation ・ ・導出 導出 上位概念 単語 単語 単語 単語 下位概念 同義語 上位下位語
10. ⑩ 手法 手法（仮説の生成） （仮説の生成） 本文 OSの欠陥が修正されていないパソコンに感染 仮説 OSの欠陥が改善されていないパソコンに感染 が 修正 する 10 が 改定 する 5 が 改善 する 20 が ・・・・ する 連接確率の向上率に注目 本文に対する仮説を生成 向上率の高い語に置換
11. ⑪ 手法（仮説のフィードバック） 手法（仮説のフィードバック） 生成した仮説を本文としてフィードバック 本文 OSの欠陥が修正されていないパソコンに感染 仮説 OSの欠陥が改善されていないパソコンに感染 本文 OSの欠陥が改善されていないパソコンに感染 仮説 OSの不具合が改善されていないパソコンに感染 フィードバックした仮説から 新しい評価セットを生成
12. 評価実験 評価実験 ・ ・評価セット構築 評価セット構築 - -フィードバック回数を フィードバック回数を4 4回まで 回まで - -本文と仮説が含意関係であるか人手判定 本文と仮説が含意関係であるか人手判定 ・ ・認識実験 認識実験 - - Perez and Alfonseca、Glickman et al.の手法 - - 上位語、下位語、 上位語、下位語、同義語ごとに実験 ⑫
13. 実験結果（評価セット構築） 実験結果（評価セット構築） ・ ・上位 上位100 100件の含意文に対して人手評価 件の含意文に対して人手評価 ⑬同義語が最も含意文として生成可能 0% 0% 0% 0% 10% 10% 10% 10% 20% 20% 20% 20% 30% 30% 30% 30% 40% 40% 40% 40% 50% 50% 50% 50% 60% 60% 60% 60% 70% 70% 70% 70% 80% 80% 80% 80% 90% 90% 90% 90% 0 0 0 0 1 1 1 1 2 2 2 2 3 3 3 3 4 4 4 4 フィードバック回数 フィードバック回数 フィードバック回数 フィードバック回数 含意率[%] 含意率[%] 含意率[%] 含意率[%] 上位語 上位語 上位語 上位語 下位語 下位語 下位語 下位語 同義語 同義語 同義語 同義語
14. 実験結果（認識実験） 実験結果（認識実験） ・ ・評価セット各 評価セット各500 500件の含意判定結果 件の含意判定結果 上位語 上位語の評価セットが一番難しい の評価セットが一番難しい ⑭ 59% 51% 63% 64% 48% 56% Glickman et al. 71% 51% 60% 64% 46% 56% Perez and Alfonseca CWS 精度 CWS 精度 CWS 精度 手法 同義語 下位語 上位語 上位語(210:290)、下位語(179:321)、同義語(251:249) 語彙知識（真の数:偽の数）
15. 考察 考察 （評価セット構築） （評価セット構築） ・ ・連接確率だけでは判断が難しい 連接確率だけでは判断が難しい 上位語の例 上位語の例 本文 本文 超大型旅客機の開発 超大型旅客機の開発延期 延期を発表。 を発表。 仮説 仮説 超大型旅客機の開発 超大型旅客機の開発中止 中止を発表。 を発表。 含意判定 含意判定 偽 偽 ⑮ 語彙知識以外の知識が必要
16. 考察（認識実験） 考察（認識実験） ⑯ ・ ・Perez and Perez and Alfonseca Alfonsecaは はBLEU BLEUを使用 を使用 - -表層が似ている評価セットは難しい 表層が似ている評価セットは難しい ・ ・Glickman et al.はWebの検索件数を基に計算 - -上位下位語、同義語は検索件数が高くなる 上位下位語、同義語は検索件数が高くなる 人間の知識に基づく含意知識が必要
17. 結論 結論 ⑰ ・ ・認識実験により既存手法で解くことが難しい 認識実験により既存手法で解くことが難しい - -述語項構造や別の語彙知識が必要 述語項構造や別の語彙知識が必要 ・ ・語彙知識を用いてテキスト含意認識の 語彙知識を用いてテキスト含意認識の 評価セットが構築可能 評価セットが構築可能 - -同義語 同義語> >上位語 上位語> >下位語で作ることが容易 下位語で作ることが容易