Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Fast Abstractive Summarization With Reinforce S...
Search
sobamchan
April 09, 2019
Science
0
130
Fast Abstractive Summarization With Reinforce Selected Sentence Rewriting
Not detailed.
sobamchan
April 09, 2019
Tweet
Share
More Decks by sobamchan
See All by sobamchan
Knowledge Supports Visual Language Grounding_ A Case Study on Colour Terms
sobamchan
1
930
Event Representations for Automated Story Generation with Deep Neural Nets
sobamchan
0
80
Fader Networks: Manipulating Images by Sliding Attributes
sobamchan
1
320
Other Decks in Science
See All in Science
データベース05: SQL(2/3) 結合質問
trycycle
PRO
0
810
データマイニング - グラフデータと経路
trycycle
PRO
1
220
データベース09: 実体関連モデル上の一貫性制約
trycycle
PRO
0
990
SciPyDataJapan 2025
schwalbe10
0
260
データベース12: 正規化(2/2) - データ従属性に基づく正規化
trycycle
PRO
0
980
生成検索エンジン最適化に関する研究の紹介
ynakano
2
1.3k
Masseyのレーティングを用いたフォーミュラレースドライバーの実績評価手法の開発 / Development of a Performance Evaluation Method for Formula Race Drivers Using Massey Ratings
konakalab
0
190
実力評価性能を考慮した弓道高校生全国大会の大会制度設計の提案 / (konakalab presentation at MSS 2025.03)
konakalab
2
200
ド文系だった私が、 KaggleのNCAAコンペでソロ金取れるまで
wakamatsu_takumu
2
1.4k
07_浮世満理子_アイディア高等学院学院長_一般社団法人全国心理業連合会代表理事_紹介資料.pdf
sip3ristex
0
620
01_篠原弘道_SIPガバニングボード座長_ポスコロSIPへの期待.pdf
sip3ristex
0
690
CV_5_3dVision
hachama
0
150
Featured
See All Featured
Connecting the Dots Between Site Speed, User Experience & Your Business [WebExpo 2025]
tammyeverts
9
580
YesSQL, Process and Tooling at Scale
rocio
173
14k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
358
30k
Building an army of robots
kneath
306
46k
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
34
6.1k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
Become a Pro
speakerdeck
PRO
29
5.5k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
162
15k
Build your cross-platform service in a week with App Engine
jlugia
232
18k
Producing Creativity
orderedlist
PRO
347
40k
GraphQLの誤解/rethinking-graphql
sonatard
73
11k
Transcript
Fast Abstractive Summarization With Reinforce Selected Sentence Rewriting M2 竹下
颯太郎
Abstract どんなもの? Abstractive summarizationに対して policy gradient法を適応して、階層的に積 み上げた2つのNNsで取り組んだ。 2 先行研究と比較してなにがすごい? salient
sentenceを選択するのと、 それを短くして書き換えるっていう微分不可能な 2つのタスクを、 Sentence-level policy gradientで同時に最適 化した。
“Summarization” Abstractive 山田は彼の犬と踊るのが好きだ。 ある日、山田は彼の犬に隠れて六本木の ダンスクラブに遊びに行った。 それを知った犬は激怒した。 ↓ 山田はダンス好きの犬を怒らせた。 • より内容を汲んだ要約文を生成する
ことができる。 • 生成自体が困難。 3 Extractive 山田は彼の犬と踊るのが好きだ。 ある日、山田は彼の犬に隠れて六本木の ダンスクラブに遊びに行った。 それを知った犬は激怒した。 ↓ それを知った犬は激怒した。 • 文が崩壊することはない。 • 柔軟性に限りがある。
技術や手法のキモはどこ? 1. CNN, RNNで階層的にDocumentをencode (Extractor)。 2. 得られた特徴量から重要な文を選択。 3. 2. を受け取ったAbstractorはEncoder-Decoder
w/ attn, copy mechanismで要 約文(gt)に変換。 Maximum Likelihood • Extractor: 入力D内の文中でgtに最も近い(Rouge)文を教師として分類問題として 学習。 • Abstractor: 普通にcross-entropy lossを最小化するように学習。 Reinforce • Rougeを直接最大化するように、報酬として Extractorを最適化。 4
技術や手法のキモはどこ? 1. CNN, RNNで階層的にDocumentをencode (Extractor)。 2. 得られた特徴量から重要な文を選択。 3. 2. を受け取ったAbstractorはEncoder-Decoder
w/ attn, copy mechanismで要 約文(gt)に変換。 Maximum Likelihood • Extractor: 入力D内の文中でgtに最も近い(Rouge)文を教師として分類問題として 学習。 • Abstractor: 普通にcross-entropy lossを最小化するように学習。 Reinforce • Rougeを直接最大化するように、報酬として Extractorを最適化。 5
技術や手法のキモはどこ? 1. CNN, RNNで階層的にDocumentをencode (Extractor)。 2. 得られた特徴量から重要な文を選択。 3. 2. を受け取ったAbstractorはEncoder-Decoder
w/ attn, copy mechanismで要 約文(gt)に変換。 Maximum Likelihood • Extractor: 入力D内の文中でgtに最も近い(Rouge)文を教師として分類問題として 学習。 • Abstractor: 普通にcross-entropy lossを最小化するように学習。 Reinforce • Rougeを直接最大化するように、報酬として Extractorを最適化。 6
SOTA CNN/Daily Mail for training DUC-2002 for testing 7
SOTA CNN/Daily Mail for training DUC-2002 for testing 8