大規模テキストを用いた２文接続関係の同定

大規模テキストを用いた２文間接続関係の同定齋藤真実（長岡技術科学大学）山本和英（長岡技術科学大学）関根聡（ランゲージクラフト・NYU）

Introduction 概要  2文間の接続関係を大量のコーパスから統計的に判断  1文目と2文目に含まれる単語ペアの利用  構文パタンによる判定応用 
談話解析、修辞構造解析  ドキュメント要約：2文→1文の要約等  QAシステム：原因を尋ねる質問等

関連研究 Marcu and Echihabi[2002]  大規模コーパスから接続詞のある2文を抽出  2文に含まれる単語のペアを素性とし、ナイーブベイズ分類器を用いて分類 
6分類（本研究とは異なる）で49.7% 横山ら[2003]  SVMを用いた談話構造解析  談話構造を付与した訓練データが必要

接続関係の分類 1.2% 例えば、たとえば（2個のみ）例示 5.1% さて、ところで、では転換 6.0% 一方、もしくは、つまり並列
12.1% だから、すると、ゆえに因果 32.2% しかし、でも、ところが、だが加反 43.0% また、そして、しかも累加出現頻度接続詞の例接続関係

システムの流れ

単語要素による判定① 例1）1．世界の国々がお互いの独立を認め、対等の立場で交際するのが理想である。　 2．そうならないのが現実でもある。「理想⇔現実」 → 加反「一般名詞｣｢サ変名詞」｢動詞｣｢形容詞」のみ同一品詞、「サ変名詞」＆「動詞」、｢動詞」＆「形容詞」の組み
合わせのみ使用

単語要素による判定② 例2）1．町にはいっぱいお店があります。　　2．服屋さん、お土産屋さん、デパート、スーパーマーケットが主なお店です。　　上位語：「店」　　下位語：「服屋」「土産屋」「デパート」「スーパーマーケット」 ↓ 例示抽出した単語ペアのコーパス中の頻度からスコアを計算し、
尤もらしい接続関係を選択

スコアの計算各接続関係に対してスコアを計算 Score1(DR) Score2(DR) 2つのスコアで共に一位になった場合のみ利用の総和する各単語ペアの頻度すべての接続関係に対アの頻度の総和であるときの各単語ペ
接続関係がDR = ( ) のコーパス中での割合接続関係DR DR Score1 =

構文パタン構文情報のみから接続関係を判定　＜パタン例＞ 1．「～は～だった。（しかし）～というわけではない。」 2．「～には～である。（例えば）～などなど。」単語ペアをパタンに置き換えて同様にスコアを計算（それぞれScore3, Score4とする）両スコアで一位になる場合のみ利用 ※コーパス中で1000回以上マッチする文があるパタンは使用
しない

Step1: 不要な文節の削除  「助詞-連体化」の「の」で終わる文節とその文節の係り元すべて  並列助詞で終わる文節 Step2: パタンの構成要素の取得→パタンの追加 
(内容語)？(助詞|助動詞|。)+＄  副詞＄例3） 1．彼女の心にどんな思いがあったかはわからない。　　2．それはとても勇気がいることだったに違いない。構文パタンの作成①

Step3: 要素を順に削除→パタンの追加  ｢サ変名詞｣、｢固有名詞」を削除彼女の心にどんな思いがあったかはわからない。それはとても勇気がいることだったに違いない。  ｢動詞」、「形容詞」を削除彼女の心にどんな思いがあったかはわからない。それはとても勇気がいることだったに違いない。
 ｢副詞」、「名詞」を削除彼女の心にどんな思いがあったかはわからない。それはとても勇気がいることだったに違いない。構文パタンの作成②

構文情報追加による向上 0.65 0.53 出現頻度を考慮 0.64 (192/300) 0.57(171/300) 合計 0.60 (30/50)
0.56 (28/50) 例示 0.72 (36/50) 0.66 (33/50) 転換 0.58 (29/50) 0.58 (29/50) 並列 0.56 (28/50) 0.56 (28/50) 因果 0.86 (43/50) 0.62 (31/50) 加反 0.52 (26/50) 0.44 (22/50) 累加構文情報を追加単語ペアのみ接続関係

人間による接続判定 3人の人間に同じ問題を与え、最大3個まで許可し接続関係を判定結果はそれぞれ63%,54%,48% ※人の出力N個の中に正解が含まれている場合は1/N個の正解とする 2人の人間の出力の一致率の平均は69％ 47% 60% 63%
71% システムの正解率 0 1 2 3 正解した人の数

結論 2文間の接続関係を同定するため、単語情報に加え、構文パタンを利用構文情報を用いることで、単語のみで判断した場合より精度が12%向上（53%→65%）今後の課題  機械学習の適用（単語と構文からの情報を同時に考慮することで、精度の向上を期待） 
さらに広い文脈からの情報を利用

大規模テキストを用いた２文接続関係の同定

大規模テキストを用いた２文接続関係の同定

自然言語処理研究室

More Decks by 自然言語処理研究室

Other Decks in Research

Featured

Transcript

大規模テキストを用いた２文間接続関係の同定齋藤真実（長岡技術科学大学）山本和英（長岡技術科学大学）関根聡（ランゲージクラフト・NYU）

Introduction 概要  2文間の接続関係を大量のコーパスから統計的に判断  1文目と2文目に含まれる単語ペアの利用  構文パタンによる判定応用 

関連研究 Marcu and Echihabi[2002]  大規模コーパスから接続詞のある2文を抽出  2文に含まれる単語のペアを素性とし、ナイーブベイズ分類器を用いて分類 

接続関係の分類 1.2% 例えば、たとえば（2個のみ）例示 5.1% さて、ところで、では転換 6.0% 一方、もしくは、つまり並列

システムの流れ

スコアの計算各接続関係に対してスコアを計算 Score1(DR) Score2(DR) 2つのスコアで共に一位になった場合のみ利用の総和する各単語ペアの頻度すべての接続関係に対アの頻度の総和であるときの各単語ペ

Step1: 不要な文節の削除  「助詞-連体化」の「の」で終わる文節とその文節の係り元すべて  並列助詞で終わる文節 Step2: パタンの構成要素の取得→パタンの追加 

構文情報追加による向上 0.65 0.53 出現頻度を考慮 0.64 (192/300) 0.57(171/300) 合計 0.60 (30/50)

人間による接続判定 3人の人間に同じ問題を与え、最大3個まで許可し接続関係を判定結果はそれぞれ63%,54%,48% ※人の出力N個の中に正解が含まれている場合は1/N個の正解とする 2人の人間の出力の一致率の平均は69％ 47% 60% 63%