要約事例を用例として模倣利用したニュース記事要約

1.

要約事例を用例として模倣利用したニュース記事要約 06516891　牧野　恵山本研究室（2008/1/24 予備審査）

2.

発表の流れ 1. 研究の背景 2. 自動要約の既存研究 3. 本研究の目的 4. 提案手法 5.
評価実験及び考察 6. まとめ

3.


4.

電子化文書が膨大に  情報爆発時代の到来 ✔ インターネットの普及 ✔ 企業に対するe-文書法の施行  人間の文書処理能力の限界 ✔
多くの時間を費やしている • 必要な情報を探す、 • 情報を取捨選択する

5.

情報へ効率よくアクセスするために  現在の言語処理技術において ✔ ユーザに対する支援技術のシステム • 情報検索 • 文書クラスタリング　
　　　　　　 ✔ システムが提示した候補（文書） • 本当に探している情報なのか？ • その候補（文書）の中を読まなくてはならないのが現状･･･

6.

ユーザへの支援技術 ~自動要約~  ユーザの負荷を減らすことができる ✔ 文書の要約文を提示、 ✔ ユーザはそれを見て必要な情報か判断  自動要約の研究
✔ 50年近くの歴史がある ✔ 近年、より盛んに研究が行われている

7.


8.

重要文抽出と文圧縮  対象別にみる要約手法 ✔ ①　文書　⇒　1文または複数文へ　　 ✔ 重要文抽出手法 [Brandow+,95; Zechner,96] タイトル情報
１２３４５６７８９ 1 2 3 4 5 … 文の位置単語の頻度情報１３２入力：文書文に対して　　重要度を計算要約出力：最も重要だと　判定された文。

9.

重要文抽出と文圧縮  対象別にみる要約手法 ✔ ②　1文　⇒　1文へ圧縮　　 ✔ 文圧縮手法 [Jing+,99; Mani+,04] １
２３４５６７８９入力：1文単語や文節に対して　　重要度を計算要約出力：１文金融機関の破たん時に、　預金などの払い戻し保証を　一定額までとする「ペイオフ」の　凍結解除を1年延期することが　決まった。冗長な表現を削除（不要部分の削除）単語の頻度情報「ペイオフ」の凍結解除を1 年延期。

10.

文や文節、単語に重要度  既存研究の多くは ✔ 文や文節、単語に重要度を付与して要約 ✔ 文を抽出 or 文を圧縮 
人間が要約するときには ✔ 多くの情報を考慮している • 経験（どんな内容で要約したらよいのか） • 知識（文法、語の繋がりの知識）　... etc. ✔ 複数文の情報を含んだ要約を作成する  人間と同じような重要度の設定ができるのか？  文抽出や文圧縮では、複数文の情報を含む要約を作ることができない

11.

評価実験及び考察 6. まとめと今後の予定

12.

人間が作成するような要約を  Goal ✔ 重要度の設定なしで、 ✔ 複数文の情報を含んだ、要約文を作成したい  Idea ✔
入力は１文書 ✔ 複数の文から文節を取ってきて組み合わせる ✔ 要約事例を用例として使用し、 ✔ それを模倣して要約を作成する • 要約事例：人間が作った要約文　　　　　　　　　人間の経験、知識を含んでいる

13.


14.

比較 a b c d e 。 A B C
D E。 F G H I J K L。 M N O P。要約事例DB 入力ニュース記事。。 … 類似用例文 a b c d e 。 a b c d e。 A D E I P J N O B E L H E 対応文節 a b c d e。 A D E I P J N O B E L H E 出力要約文　J D O B P。 1. 類似用例文の検索　要約事例DBから　入力の内容に類似した　用例文を探す２．文節の　　　　　　　　　　対応付け　類似用例文の　　文節に類似した入力の　文節を対応付ける３．対応文節の　　　　　　　　　　組合せ　全体で最もスコアの　高くなるパスを　見つける

15.


16.

類似用例文の検索  どのような用例文を類似用例文とするか？ ✔ 入力ニュース記事の内容に類似した用例文 ➔ 入力のどの部分を要約文に入れたらよいか判断できる。  内容の類似性：どこに注目して測るか？ ✔
① 述語　 • 文の主題となる • 文の形（格）を決める ✔ ② 内容語　（名詞、動詞、形容詞などの語） • 文の具体的な内容を表す

17.

類似用例文の検索方法参入拡大入力ニュース記事要約事例DB 。。。。。
。入力の述語群参入改善決める着工類似単語データベース[Lin,98] 参入：[進出|出店|上場] 拡大：[強化|増加|改善] 完成：[開業|開通|着工] 完成用例文の述語群＋[開業|開通|着工] ＋[進出|出店|上場] ＋[強化|増加|改善] 比較～参入、...拡大。～完成。入力と述語が一致した用例文述語一致数　　　用例文３３２２１。。。。。・・・・・・・・・・・・  ①　述語に注目して検索

18.

類似用例文の検索方法  ②　内容語に注目して検索入力と述語が一致した用例述語一致数　用例文３３　２
２１。。。。。入力ニュース記事。。。。入力の内容語群社長日狙い事業 … 社長, 日, 会社, 狙い ... 用例文の内容語群　と　内容語数半導体,業種, 事業, ... 比較９形態素８形態素類似用例文の出力順位　述語一致数　内容語一致率　　　　　用例文１２３４５３３２２１０.８０.６０.７０.５０.４。。。。。・・・・・・・・・・・・・・・。

19.


20.

文節の対応付け  類似用例文と入力ニュース記事の文節を比較 ✔ 類似している文節を対応付ける ✔ １対多　で対応付け 
3つの対応付け尺度 ✔ 助詞の一致 ✔ 固有表現タグの一致 ✔ 単語間類似度類似用例文の文節入力ニュース記事の文節

21.

文節の対応付け  助詞の一致 ✔ 目的 • 同じような使われ方をしている文節を対応付ける • （主語、目的語など） 
固有表現タグの一致 ✔ 目的 • 固有表現のまとまりが同じ単語を含む文節を対応付ける私が　　　彼が（ガ格）計画を　　予定を　（ヲ格）ソニーを Panasonicに　(ORGANIZATION) 21日、　　昨年 (DATE) 　　

22.

文節の対応付け  単語間類似度 ✔ 目的 • 意味の似ている単語、使われ方の似ている単語を含む文節を対応付ける ✔ 類似単語データベース[Lin,98]を使用
• 新聞10年分のテキストを使用し、あらかじめDBを自動作成した • 同じような係り受けをもつ単語は類似度が高い ✔ 類似用例文の文節１つに対して、　類似度の高かった入力の文節上位３つを対応付ける事務所 :: 支店(0.22)、室 (0.22)、センター(0.21)、… 値上げ :: 引き上げ(0.24)、値下げ(0.22)、引き下げ(0.22)、… スポーツ :: サッカー(0.16)、ゴルフ(0.15)、ビジネス(0.14)、… 類似度

23.

文節の対応付け例 NTTは光通信並みの無線ネット技術を開発、今秋にもサービスを開始する。東芝はがん診断に活用できるヘリカル CTを実用化した。同社は来年六月に発売を始め、年商三百億円を目指す。 … ＜入力ニュース記事＞
＜類似用例文＞比較 … 助詞の一致: 東芝は　同社は固有表現タグの一致：東芝は単語間類似度：東芝は NTTは ~の無線ネット技術を開発、今秋にもサービスを開始する。

24.

NTTは光通信並みの無線ネット技術を開発、今秋にもサービスを開始する。東芝はがん診断に活用できるヘリカル CTを実用化した。同社は来年六月に発売を始め、年商三百億円を目指す。 … ＜入力ニュース記事＞＜類似用例文＞
比較 … 助詞の一致: ~CTを　発売を　~三百億円を固有表現タグの一致：（なし）単語間類似度：　　　~CTを　文節の対応付け例 NTTは ~の無線ネット技術を開発、今秋にもサービスを開始する。

25.

比較 … 助詞の一致: （なし）固有表現タグの一致：（なし）単語間類似度：実用化した。　文節の対応付け例 NTTは ~の無線ネット技術を開発、今秋にもサービスを開始する。

26.

比較 … 助詞の一致: （なし）固有表現タグの一致：来年六月に単語間類似度：来年六月に文節の対応付け例 NTTは ~の無線ネット技術を開発、今秋にもサービスを開始する。

27.

比較 … NTTは ~の無線ネット技術を開発、今秋にもサービスを開始する。助詞の一致: ~CTを　発売を　~三百億円を固有表現タグの一致：（なし）単語間類似度：発売を文節の対応付け例

28.

比較 … NTTは ~の無線ネット技術を開発、今秋にもサービスを開始する。助詞の一致: （なし）固有表現タグの一致：（なし）単語間類似度：始め、文節の対応付け例

29.

文節の対応付け例 NTTは　~技術を　開発、　今秋にも　サービスを開始する東芝は同社は実用化　　　した来年六月に始め、
~CTを発売を ~円を ~CTを発売を ~円を類似用例文の文節入力記事からの対応文節

30.


31.

対応文節の組合せ  文節の対応付け ✔ 1 対多　の文節対応  得られた対応文節を組み合わせて要約文を出力 
どんな要約文を作るか？（目的） ✔ 内容がまとまっている方が良い ✔ ①　要約文は類似用例文の文節に似ている文節で構成されていること。 ✔ 読みやすい方が良い ✔ ②　要約文は文節間の繋がりが良く、日本語としての連接が良いこと。

32.

 ラティスを作る類似用例文類似用例文の文節 “a”に対応する入力の文節 <s> a c d </s>
e b A L D O E Best path : <s> A L O D E </s> 対応文節の組合せ G

33.

 どんな要約文を作るか？（目的） ✔ 内容がまとまっている方がよい ✔ ①　要約文は類似用例文の文節に似ている文節で構成されていること。  ノードスコア対応文節の組合せ

34.

 どんな要約文を作るか？（目的） ✔ 読みやすい方が良い ✔ ②　要約文は文節間の繋がりが良く、日本語としての連接が良いこと。  エッジスコア対応文節の組合せ

35.

 どんな要約文を作るか？（目的） ✔ 読みやすい方が良い ✔ ②　要約文は文節間の繋がりが良く、日本語としての連接が良いこと。  エッジスコア対応文節の組合せ
ノードniの文節が入力記事の何文目に含まれているかノードni-1が3文目　⇒　ノードniが1文目　のように文節が逆に戻る

36.

 ラティスを作る類似用例文 <s> a c d </s> e b
A L D O E Best path : <s> A L O D E </s> 対応文節の組合せ１１１１２２２２２２５５７７１０１０１１

37.

 ノード + エッジで最大となるパスを見つける  要約文の出力対応文節の組合せ

38.


39.

評価実験　~実験条件~  どのくらいの精度で要約文が作れるのか？ ✔ 自動評価 ✔ 人手による評価  テストデータ ✔
要約事例データベース • 27036文の用例文（メール配信されているニュース速報の文） ✔ 入力するニュース記事（日経新聞98年版） • １から３文（短めの記事）で構成されているニュース記事100件 • ４から１０文（長めの記事）で構成されているニュース記事100件  比較手法 [Hori,02] ✔ 複数文の語を組み合わせて要約文を作成 • 重要度（tf*idf）＋ • 語の繋がり（2gram）　　を最大にするパスを見つける未　現在、被験者3人で評価を実施しているところ。

40.

 自動評価 ✔ 評価型Workshop[DUC;TSC]で用いられている評価尺度 ✔ BLEUスコア (Min:0, Max:1) • 正解文との類似度を測る（１~4
gram までの適合率） ✔ ROUGE-N (Min:0, Max:1) • 正解文との類似度を測る • ROUGE-1（１gramの再現率） • ROUGE-2（2gramの再現率） ✔ 複数の正解文に対応した尺度 ✔ ３人それぞれがテストデータを読み、正解文を作成評価実験　~実験条件~

41.

 BLEUスコアによる評価結果  短めの入力、長めの入力 ✔ どちらに対しても本手法の方が良好な結果  テストデータの種類比較手法本手法
0.299 0.598 0.131 0.424 １-３文：短めの入力データ４-１０文：長めの入力データ評価結果

42.

評価結果  BLEUスコアによる評価結果  短めの入力、長めの入力 ✔ どちらに対しても本手法の方が良好な結果  長めの記事を入力 ✔
精度低下率が少ないテストデータの種類比較手法本手法 0.299 0.598 0.131 0.424 １-３文：短めの入力データ４-１０文：長めの入力データ５６％２９％

43.

評価結果  ROUGE-1、ROUGE-2の結果  短めの入力、長めの入力 ✔ どちらに対しても本手法の方が良好な結果評価尺度テストデータの種類比較手法
本手法 ROUGE-1 0.462 0.631 0.318 0.509 ROUGE-2 0.345 0.536 0.193 0.381 １-３文：短めの入力データ４-１０文：長めの入力データ１-３文：短めの入力データ４-１０文：長めの入力データ

44.

作成された要約文について  何文の情報を含んでいるか ✔ （何文の情報を１文に圧縮できているのか？） ✔ システム出力の要約文と入力記事との単語比較  テストデータ：１から３文で構成されている入力記事 
テストデータ：４から１０文で構成されている入力記事圧縮された文数 1 40 2 47 3 13 入力記事数(100件中) 圧縮された文数 1 20 2 27 3 21 4 17 5 12 6 2 7 1 入力記事数(100件中)

45.

 何文の情報を含んでいるか ✔ （何文の情報を１文に圧縮できているのか？） ✔ システム出力の要約文と入力記事との単語比較  テストデータ：１から３文で構成されている入力記事  テストデータ：４から１０文で構成されている入力記事
圧縮された文数 1 40 2 47 3 13 入力記事数(100件中) 圧縮された文数 1 20 2 27 3 21 4 17 5 12 6 2 7 1 入力記事数(100件中) 作成された要約文について 60%が2文以上から作成された要約文 80%が2文以上から作成された要約文

46.

 何文の情報を含んでいるか ✔ （何文の情報を１文に圧縮できているのか？） ✔ システム出力の要約文と入力記事との単語比較  テストデータ：１から３文で構成されている入力記事  テストデータ：４から１０文で構成されている入力記事
圧縮された文数 1 40 2 47 3 13 入力記事数(100件中) 圧縮された文数 1 20 2 27 3 21 4 17 5 12 6 2 7 1 入力記事数(100件中) 60%が2文以上から作成された要約文 80%が2文以上から作成された要約文作成された要約文について複数の文を１文に圧縮することができた

47.

出力した要約文の観察より  現在の手法 ✔ 類似用例文1文を検索、それを真似て要約文作成  1位の類似用例文だけが本当にいいのか？  まずは観察してみた ✔
上位N位の類似用例文を検索 ✔ それぞれから要約文を作成 ✔ 観察により、1位以外の類似用例文に模倣利用して作った要約文でもよいのはある

48.

 BLEUスコアで比較 ✔ 類似用例文上位1件のみを使用した場合 ✔ 類似用例文上位10件を使用した場合出力した要約文の観察よりシステム出力 1. A
B C D E 2. A E Y S E 3. E Y H 4. 5. 6. 7. 8. 9. 10. 。。。。。。。。。。正解データ Ref.1 Ref.2 Ref.3

49.

 BLEUスコアで比較 ✔ 類似用例文上位1件のみを使用した場合 ✔ 類似用例文上位10件を使用した場合システム出力 1. A B
C D E 2. A E Y S E 3. E Y H 4. 5. 6. 7. 8. 9. 10. 。。。。。。。。。。正解データ Ref.1 Ref.2 Ref.3 出力した要約文の観察より BLEUスコア０．４６２

50.

 BLEUスコアで比較 ✔ 類似用例文上位1件のみを使用した場合 ✔ 類似用例文上位10件を使用した場合システム出力 1. A B
C D E 2. A E Y S E 3. E Y H 4. 5. 6. 7. 8. 9. 10. 。。。。。。。。。。正解データ Ref.1 Ref.2 Ref.3 BLEUスコア０．５４２出力した要約文の観察より … ０．４８２０．542 ０．523

51.

 BLEUスコアで比較 ✔ 類似用例文上位1件のみを使用した場合 ✔ 類似用例文上位10件を使用した場合  上位10件まで用いた方が良い結果に。 ✔ 文を作成してから、
✔ その文がどれだけ良いのか（異なる尺度で測る） ✔ リランキング出力した要約文の観察よりテストデータの種類 0.598 0.807 1位上位10位まで１-３文：短めの入力データ未 Skip2gram, 2gram, 品詞2gramを使った尺度で実装中

52.


53.

結論  人間が要約文を作成するときはいろいろな知識、経験を生かしている  そのため重要度の設定は難しい  重要度の設定をせずに、要約事例を用例として使った要約手法を提案 
結果  複数文の文節を組み合わせて１文へ要約することができた  自動評価BLEU、ROUGEを行った結果、比較手法より優れた結果が得られた

54.

 発表おわり

55.

BLEUスコア • BLEUスコアの式システム出力の要約文のn-gram k番目の正解文のn-gram

56.

ROUGEスコア • ROUGEスコアの式 k番目の正解文のn-gram システム出力の要約文のn-gram

57.

類似単語データベース • 相互情報量を用いた単語類似度 • （I, subj, have） ⇒　（私, は, 学生）　
• 3つ組に対してMIを計算

58.

人手による評価結果 • 4段階評価:　１（Good）　＞　２　＞　３　＞　４（Bad） • 可読性の評価（すらすら読めるのか） • 内容適切性の評価（要約文）

59.


60.


61.


62.

得られた要約文の例１ • 複数文を一文へ複数文を一文へ • 三十日午後二時十分ごろ、剣淵町の国道４０号で、旭川市東旭川町下兵村二二八、農業南部正さんの乗用車と、旭川市流通団地二条二ノ四三、運転手原政運さんのトラックが正面衝突した。乗用車の四人のうち、南部さんと妻の喜美子さん、士別市東山町三〇二、無職池沢一郎さんの三人が頭を打つなどして死亡、旭
川市東旭川北一条四ノ一ノ二八、無職真岩高子さんも左足の骨を折る重傷を負った。原さんにけがはなかった。　 • イラク中部で２８日深夜、油送管が爆発し７４人が死亡　 • 剣淵町の国道４０号で三十日午後二時十分ごろ、旭川市流通団地二条二ノ四三、運転手原政運さんのトラックが正面衝突し南部さんと妻の喜美子さん、士別市東山町三〇二、無職池沢一郎さんの三人が死亡

63.

得られた要約文の例２ • 一文を一文へ一文を一文へ • 欧州通貨統合が来年一月からスタートするのに伴い、十八銀行は一月四日からユーロ建て旅行小切手の取り扱いを始める。取扱券種は五十、百、二百ユーロの三種類で、当面、本店営業部が販売窓口となる。販売状況を見て取扱店舗を増やす。 •
富士通は移動通信事業を始める • 十八銀行はユーロ建て旅行小切手の取り扱いを始める

要約事例を用例として模倣利用したニュース記事要約

要約事例を用例として模倣利用したニュース記事要約

Want more?

Transcript