Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Fast Abstractive Summarization With Reinforce S...
Search
sobamchan
April 09, 2019
Science
0
130
Fast Abstractive Summarization With Reinforce Selected Sentence Rewriting
Not detailed.
sobamchan
April 09, 2019
Tweet
Share
More Decks by sobamchan
See All by sobamchan
Knowledge Supports Visual Language Grounding_ A Case Study on Colour Terms
sobamchan
1
930
Event Representations for Automated Story Generation with Deep Neural Nets
sobamchan
0
80
Fader Networks: Manipulating Images by Sliding Attributes
sobamchan
1
320
Other Decks in Science
See All in Science
NDCG is NOT All I Need
statditto
2
600
DMMにおけるABテスト検証設計の工夫
xc6da
1
1.2k
凸最適化からDC最適化まで
santana_hammer
1
310
なぜ21は素因数分解されないのか? - Shorのアルゴリズムの現在と壁
daimurat
0
120
高校生就活へのDA導入の提案
shunyanoda
0
6k
サイゼミ用因果推論
lw
1
7.6k
データマイニング - ウェブとグラフ
trycycle
PRO
0
190
NASの容量不足のお悩み解決!災害対策も兼ねた「Wasabi Cloud NAS」はここがスゴイ
climbteam
1
190
2025-06-11-ai_belgium
sofievl
1
170
蔵本モデルが解き明かす同期と相転移の秘密 〜拍手のリズムはなぜ揃うのか?〜
syotasasaki593876
1
120
KH Coderチュートリアル(スライド版)
koichih
1
49k
機械学習 - 決定木からはじめる機械学習
trycycle
PRO
0
1.1k
Featured
See All Featured
4 Signs Your Business is Dying
shpigford
185
22k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
46
7.7k
For a Future-Friendly Web
brad_frost
180
10k
How to Ace a Technical Interview
jacobian
280
24k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
37
2.6k
How to Think Like a Performance Engineer
csswizardry
27
2.1k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
253
22k
Statistics for Hackers
jakevdp
799
220k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
31
9.7k
Writing Fast Ruby
sferik
630
62k
What's in a price? How to price your products and services
michaelherold
246
12k
RailsConf 2023
tenderlove
30
1.3k
Transcript
Fast Abstractive Summarization With Reinforce Selected Sentence Rewriting M2 竹下
颯太郎
Abstract どんなもの? Abstractive summarizationに対して policy gradient法を適応して、階層的に積 み上げた2つのNNsで取り組んだ。 2 先行研究と比較してなにがすごい? salient
sentenceを選択するのと、 それを短くして書き換えるっていう微分不可能な 2つのタスクを、 Sentence-level policy gradientで同時に最適 化した。
“Summarization” Abstractive 山田は彼の犬と踊るのが好きだ。 ある日、山田は彼の犬に隠れて六本木の ダンスクラブに遊びに行った。 それを知った犬は激怒した。 ↓ 山田はダンス好きの犬を怒らせた。 • より内容を汲んだ要約文を生成する
ことができる。 • 生成自体が困難。 3 Extractive 山田は彼の犬と踊るのが好きだ。 ある日、山田は彼の犬に隠れて六本木の ダンスクラブに遊びに行った。 それを知った犬は激怒した。 ↓ それを知った犬は激怒した。 • 文が崩壊することはない。 • 柔軟性に限りがある。
技術や手法のキモはどこ? 1. CNN, RNNで階層的にDocumentをencode (Extractor)。 2. 得られた特徴量から重要な文を選択。 3. 2. を受け取ったAbstractorはEncoder-Decoder
w/ attn, copy mechanismで要 約文(gt)に変換。 Maximum Likelihood • Extractor: 入力D内の文中でgtに最も近い(Rouge)文を教師として分類問題として 学習。 • Abstractor: 普通にcross-entropy lossを最小化するように学習。 Reinforce • Rougeを直接最大化するように、報酬として Extractorを最適化。 4
技術や手法のキモはどこ? 1. CNN, RNNで階層的にDocumentをencode (Extractor)。 2. 得られた特徴量から重要な文を選択。 3. 2. を受け取ったAbstractorはEncoder-Decoder
w/ attn, copy mechanismで要 約文(gt)に変換。 Maximum Likelihood • Extractor: 入力D内の文中でgtに最も近い(Rouge)文を教師として分類問題として 学習。 • Abstractor: 普通にcross-entropy lossを最小化するように学習。 Reinforce • Rougeを直接最大化するように、報酬として Extractorを最適化。 5
技術や手法のキモはどこ? 1. CNN, RNNで階層的にDocumentをencode (Extractor)。 2. 得られた特徴量から重要な文を選択。 3. 2. を受け取ったAbstractorはEncoder-Decoder
w/ attn, copy mechanismで要 約文(gt)に変換。 Maximum Likelihood • Extractor: 入力D内の文中でgtに最も近い(Rouge)文を教師として分類問題として 学習。 • Abstractor: 普通にcross-entropy lossを最小化するように学習。 Reinforce • Rougeを直接最大化するように、報酬として Extractorを最適化。 6
SOTA CNN/Daily Mail for training DUC-2002 for testing 7
SOTA CNN/Daily Mail for training DUC-2002 for testing 8