文書生成のための文の並べ替え

 文書生成のための文の並べ替え

大田 浩志, 山本 和英. 文書生成のための文の並べ替え. 言語処理学会第15回年次大会, pp.813-816 (2009.3)

Transcript

  1. 文書生成のための 文の並べ替え 長岡技術科学大学 電気系 大田浩志, 山本和英 1

  2. 背景と目的 • 文の並び順は文書の読みやすさに影響をあたえる [Barzilay et al.,02] • 自動で文を尤もらしい順に並べる = 文書生成

    文脈を統計的にとらえることを考える 並べ替え対象による異なりを調査する 2
  3. 問題設定:文を元の並びに戻す • • • • 1.人手実験 • 人間はどの程度並べ替えができるか • 新聞記事・レビューによる差異があるか

    2.自動並べ替え • 文脈をとらえることができるか 3 1ーーーーーー。 2ーーーーーー。 3ーーーーーー。 3ーーーーー。 1ーーーーー。 2ーーーーー。 ?ーーーーーー。 ?ーーーーーー。 ?ーーーーーー。 バラバラ 並べる
  4. 関連研究 複数文書要約 • 要約元文書の時間情報等を用いた並べ替え [Mckeown et al.,1999] • 複数の手法を組み合わせることで並べ替え精度向上 [Bollegala

    et al.,05] 4
  5. 予備実験・人手による文の並べ替え(1) • 目的 • 2つの対象の性質の違いを確認 新聞記事 レビュー • 実験方法 •

    文順序をバラバラにして提示、並べ替え • 並べ替えを行ったあと自己評価 5
  6. 予備実験・人手による文の並べ替え(2) • 並べ替えた結果を評価 評価(1) 並べ替えた順序以外では読みにくい 評価(2) 他の順序でも読めるが、並べ替えた順序が     尤もらしい 評価(3)

    順序を持たない文を含む 6
  7. 予備実験・人手による文の並べ替え(3) • 相関値:元々の順序 - 並べ替え順序 • ケンドールの順位相関係数τ 文順序の尤もらしさの自動評価に有効[Lapata,05] 7

  8. 予備実験・人手による文の並べ替え(4) • レビューは新聞記事と比較して、 • 文の並びの自由度が高い =決まった構成がない(or少ない) • 統計的にとらえることができるもの • 新聞:新聞の構造、文書らしさ

    • レビュー:文書らしさ(文脈) 8
  9. 既存手法 • 統計による文の並べ替え[Lapata,03] • 文の連接しやすさ • 文の連接確率 を 単語の連接確率の積 で表す

    Sentence S i : S j : Word 9
  10. 提案:文の連接しにくさの尺度 文の連接しにくさ • 単語の連接しにくさの総加平均 • 単語の連接しにくさ 連続する2文における共起 1文書内での共起 f(a,b): a,bの共起頻度

    N:文書数 10
  11. 実験:文の連接しにくさの尺度 • a文離れた文同士のスコアを算出 ーーーーーーーー。 ーーーーーー。 ーーーーーー。 ーーーーーーー。 a=3 +a 11

  12. 提案手法による文の並べ替え • 文の連接しにくさ だけでは並べ替えはできない • 相互情報量に基づく指標 • 方向を持たない • 単語の連接しやすさと単語の連接しにくさを

    併せて用いる 12
  13. 実験:異なる文数のレビュー • 学習はレビュー • 相関係数τ 13

  14. 実験:学習データと並べ替え対象 • 文脈をとらえることができたか 14

  15. まとめ • 統計情報を用いた文の並べ替え手法を提案 • 文の連接しにくさの尺度を提案 • 既存手法とは異なる結果 • 新聞記事とレビュー記事を並べ替え •

    レビューの文順序は自由度が高い • 生成したい文書を考慮した学習データの選択が必要 15
  16. 計算式:ケンドールの順位相関係数 • 文書1:1,2,3 • 文書2:2,1,3 • I=1

  17. 計算式:PMI • f(a <i,j> ):i文目のj個目の単語aの出現回数 • N d :文書dの総数