Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
語彙知識を用いた日本語テキスト含意認識の評価セット構築と認識実験
Search
自然言語処理研究室
March 31, 2010
Research
1
140
語彙知識を用いた日本語テキスト含意認識の評価セット構築と認識実験
村松 祐希, 山本 和英. 語彙知識を用いた日本語テキスト含意認識の評価セット構築と認識実験. 言語処理学会第16回年次大会, pp.514-517 (2010.3)
自然言語処理研究室
March 31, 2010
Tweet
Share
More Decks by 自然言語処理研究室
See All by 自然言語処理研究室
データサイエンス14_システム.pdf
jnlp
0
330
データサイエンス13_解析.pdf
jnlp
0
380
データサイエンス12_分類.pdf
jnlp
0
290
データサイエンス11_前処理.pdf
jnlp
0
400
Recurrent neural network based language model
jnlp
0
100
自然言語処理研究室 研究概要(2012年)
jnlp
0
100
自然言語処理研究室 研究概要(2013年)
jnlp
0
69
自然言語処理研究室 研究概要(2014年)
jnlp
0
64
自然言語処理研究室 研究概要(2015年)
jnlp
0
120
Other Decks in Research
See All in Research
3D Human Mesh Estimationについていくつかまとめてみた / Survey about 3D Human Mesh Estimation
nttcom
0
170
ゼロからわかるリザバーコンピューティング
kurotaky
1
260
Alexander Mielke Hellinger--Kantorovich (a.k.a. Wasserstein-Fisher-Rao) Spaces and Gradient Flows
jjzhu
3
180
DeepCrysTet: A Deep Learning Approach Using Tetrahedral Mesh for Predicting Properties of Crystalline Materials
tsurubee
0
360
デフスポーツにおける支援技術 〜競技特性・ルールと技術との関係〜
slab
0
200
200名の育児中男性の声 「僕たちは、キャリアとライフをトレードオフにしたくない」共働き3.0世代の男性が 本当に求める働き方とは【ワーキングペアレンツの転職意識調査2023|XTalent株式会社】
xtalent
0
460
VAR モデルによる OSS プロジェクト同士が生存性に与える 影響の分析
noppoman
0
130
SCOPE-RL: オフライン強化学習とオフ方策評価のライブラリ
aiueola
0
100
第4回ナレッジグラフ勉強会:ISWC2023論文読み会
kg_wakate
1
200
LLMマルチエージェントを俯瞰する
masatoto
26
15k
Active Retrieval Augmented Generation
kiyohiro8
3
440
Sosiaalisen median katsaus 02/2024
hponka
0
2.3k
Featured
See All Featured
Code Review Best Practice
trishagee
54
15k
Facilitating Awesome Meetings
lara
40
5.6k
[RailsConf 2023] Rails as a piece of cake
palkan
21
3.9k
StorybookのUI Testing Handbookを読んだ
zakiyama
10
4.5k
Reflections from 52 weeks, 52 projects
jeffersonlam
343
19k
Large-scale JavaScript Application Architecture
addyosmani
502
110k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
20
1.6k
Design by the Numbers
sachag
274
18k
In The Pink: A Labor of Love
frogandcode
137
21k
Java REST API Framework Comparison - PWX 2021
mraible
PRO
18
6.9k
Fontdeck: Realign not Redesign
paulrobertlloyd
75
4.9k
The MySQL Ecosystem @ GitHub 2015
samlambert
242
12k
Transcript
語彙知識を用いた 語彙知識を用いた 語彙知識を用いた 語彙知識を用いた 語彙知識を用いた 語彙知識を用いた 語彙知識を用いた 語彙知識を用いた 日本語テキスト含意認識の 日本語テキスト含意認識の
日本語テキスト含意認識の 日本語テキスト含意認識の 日本語テキスト含意認識の 日本語テキスト含意認識の 日本語テキスト含意認識の 日本語テキスト含意認識の 評価セット構築と認識実験 評価セット構築と認識実験 評価セット構築と認識実験 評価セット構築と認識実験 評価セット構築と認識実験 評価セット構築と認識実験 評価セット構築と認識実験 評価セット構築と認識実験 長岡技術科学大学 長岡技術科学大学 電気系 電気系 村松 村松 祐希 祐希 山本 山本 和英 和英 ①
② 背景 背景 ・ ・テキスト含意認識が注目されている テキスト含意認識が注目されている → →海外ではワークショップを開催 海外ではワークショップを開催 →
→質問応答や要約の基礎 質問応答や要約の基礎 ・ ・国内でテキスト含意認識の研究が少数 国内でテキスト含意認識の研究が少数 → →評価セット構築のコストが高い 評価セット構築のコストが高い → →含意関係を判断する資源が少ない 含意関係を判断する資源が少ない
目的 目的 ・ ・語彙知識による評価セットの構築を提案 語彙知識による評価セットの構築を提案 → →評価セットの構築を低コスト 評価セットの構築を低コスト → →テキスト含意認識の問題を明確化
テキスト含意認識の問題を明確化 ・ ・本手法の評価セットによる認識実験 本手法の評価セットによる認識実験 → →評価セットの新規性を調査 評価セットの新規性を調査 ③
④ テキスト含意認識 テキスト含意認識 本文と仮説から含意関係の判断を行うタスク 本文と仮説から含意関係の判断を行うタスク 含意判定 真 本文 朝青龍は相撲を辞めた。 仮説
朝青龍は相撲界を引退した。 テキスト含意認識の例
⑤ 関連研究 関連研究 ・ ・Dagan Daganら ら[2005] [2005] - -新聞コーパスから評価セットを構築
新聞コーパスから評価セットを構築 - -7 7つの手法を使用(質問応答、情報抽出等) つの手法を使用(質問応答、情報抽出等) ・ ・小谷ら 小谷ら[2008] [2008] - -推論要因を基に 推論要因を基に5 5つの要因に分類 つの要因に分類 - -同義・上位下位関係から含意判定 同義・上位下位関係から含意判定
⑥ アプローチ アプローチ ・ ・語彙知識の利用 語彙知識の利用 - -含意認識で発生する問題に制約 含意認識で発生する問題に制約 -
-語彙知識の種類よる評価セットの分類化 語彙知識の種類よる評価セットの分類化 ・ ・評価セットの重要度 評価セットの重要度 - -語彙知識の使用頻度 語彙知識の使用頻度 - -文の自然さ(連接確率) 文の自然さ(連接確率)
⑦ 日本語 日本語WordNet WordNet inference hype relations entailment, implication, deduction
eng 暗示、含み、内含、含意、含蓄 jpn words something that is ingerred ・・・. eng definitions entailment(05780885-n) synset 表1日本語WordNetの例 日本語WordNetはNICT が開発した階層型辞書 日本語WordNetから語彙知識を獲得
⑧ システム図 システム図 システム図 システム図 システム図 システム図 システム図 システム図 語彙知識の獲得
仮説の生成 本文と仮説の出力 日本語 WordNet 新聞 コーパス 仮説の フィードバック Ⅰ Ⅲ Ⅱ 資源 処理
⑨ 手法 手法 (語彙知識の獲得) (語彙知識の獲得) 語彙知識は上位下位語、同義語を使用 entailment inference ・ ・暗示
暗示 ・ ・含み 含み ・ ・内容 内容 ・ ・含意 含意 ・ ・含蓄 含蓄 ・ ・推測 推測 ・ ・推理 推理 ・ ・推論 推論 derivation ・ ・導出 導出 上位概念 単語 単語 単語 単語 下位概念 同義語 上位下位語
⑩ 手法 手法(仮説の生成) (仮説の生成) 本文 OSの欠陥が修正されていないパソコンに感染 仮説 OSの欠陥が改善されていないパソコンに感染 が 修正
する 10 が 改定 する 5 が 改善 する 20 が ・・・・ する 連接確率の向上率に注目 本文に対する仮説を生成 向上率の高い語に置換
⑪ 手法(仮説のフィードバック) 手法(仮説のフィードバック) 生成した仮説を本文としてフィードバック 本文 OSの欠陥が修正されていないパソコンに感染 仮説 OSの欠陥が改善されていないパソコンに感染 本文 OSの欠陥が改善されていないパソコンに感染
仮説 OSの不具合が改善されていないパソコンに感染 フィードバックした仮説から 新しい評価セットを生成
評価実験 評価実験 ・ ・評価セット構築 評価セット構築 - -フィードバック回数を フィードバック回数を4 4回まで 回まで
- -本文と仮説が含意関係であるか人手判定 本文と仮説が含意関係であるか人手判定 ・ ・認識実験 認識実験 - - Perez and Alfonseca、Glickman et al.の手法 - - 上位語、下位語、 上位語、下位語、同義語ごとに実験 ⑫
実験結果(評価セット構築) 実験結果(評価セット構築) ・ ・上位 上位100 100件の含意文に対して人手評価 件の含意文に対して人手評価 ⑬同義語が最も含意文として生成可能 0% 0%
0% 0% 10% 10% 10% 10% 20% 20% 20% 20% 30% 30% 30% 30% 40% 40% 40% 40% 50% 50% 50% 50% 60% 60% 60% 60% 70% 70% 70% 70% 80% 80% 80% 80% 90% 90% 90% 90% 0 0 0 0 1 1 1 1 2 2 2 2 3 3 3 3 4 4 4 4 フィードバック回数 フィードバック回数 フィードバック回数 フィードバック回数 含意率[%] 含意率[%] 含意率[%] 含意率[%] 上位語 上位語 上位語 上位語 下位語 下位語 下位語 下位語 同義語 同義語 同義語 同義語
実験結果(認識実験) 実験結果(認識実験) ・ ・評価セット各 評価セット各500 500件の含意判定結果 件の含意判定結果 上位語 上位語の評価セットが一番難しい の評価セットが一番難しい
⑭ 59% 51% 63% 64% 48% 56% Glickman et al. 71% 51% 60% 64% 46% 56% Perez and Alfonseca CWS 精度 CWS 精度 CWS 精度 手法 同義語 下位語 上位語 上位語(210:290)、下位語(179:321)、同義語(251:249) 語彙知識(真の数:偽の数)
考察 考察 (評価セット構築) (評価セット構築) ・ ・連接確率だけでは判断が難しい 連接確率だけでは判断が難しい 上位語の例 上位語の例 本文
本文 超大型旅客機の開発 超大型旅客機の開発延期 延期を発表。 を発表。 仮説 仮説 超大型旅客機の開発 超大型旅客機の開発中止 中止を発表。 を発表。 含意判定 含意判定 偽 偽 ⑮ 語彙知識以外の知識が必要
考察(認識実験) 考察(認識実験) ⑯ ・ ・Perez and Perez and Alfonseca Alfonsecaは
はBLEU BLEUを使用 を使用 - -表層が似ている評価セットは難しい 表層が似ている評価セットは難しい ・ ・Glickman et al.はWebの検索件数を基に計算 - -上位下位語、同義語は検索件数が高くなる 上位下位語、同義語は検索件数が高くなる 人間の知識に基づく含意知識が必要
結論 結論 ⑰ ・ ・認識実験により既存手法で解くことが難しい 認識実験により既存手法で解くことが難しい - -述語項構造や別の語彙知識が必要 述語項構造や別の語彙知識が必要 ・
・語彙知識を用いてテキスト含意認識の 語彙知識を用いてテキスト含意認識の 評価セットが構築可能 評価セットが構築可能 - -同義語 同義語> >上位語 上位語> >下位語で作ることが容易 下位語で作ることが容易