Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Fast Abstractive Summarization With Reinforce Selected Sentence Rewriting
Search
sobamchan
April 09, 2019
Science
0
110
Fast Abstractive Summarization With Reinforce Selected Sentence Rewriting
Not detailed.
sobamchan
April 09, 2019
Tweet
Share
More Decks by sobamchan
See All by sobamchan
Knowledge Supports Visual Language Grounding_ A Case Study on Colour Terms
sobamchan
1
800
Event Representations for Automated Story Generation with Deep Neural Nets
sobamchan
0
57
Fader Networks: Manipulating Images by Sliding Attributes
sobamchan
1
210
Other Decks in Science
See All in Science
iRIC v4 New Function
nkmr_rl
0
2.5k
O ChatGPT e outras IAs vão mudar toda a pesquisa científica
cardososampaio
0
170
『データ可視化学入門』を PythonからRに翻訳した話
bob3bob3
1
360
BMI 研究はなぜ同じ失敗を繰り返すのか(日本BMI研究会, 2021.11.5)
ykamit
1
1.9k
バックアップ『しながら』ランサムウェア検出も!? セキュリティ強化が満載 Veeam 12.1
climbteam
0
290
Transformer系機械学習モデルを取り巻くライブラリや用語を整理する
bobfromjapan
2
470
Machine Learning for Materials (Lecture 3)
aronwalsh
0
820
Machine Learning for Materials (Lecture 5)
aronwalsh
0
550
論文を批判的に読むときのチェックリスト
koro485
1
22k
A Theory of Scrum Team Effectiveness 〜『ゾンビスクラムサバイバルガイド』の裏側にある科学〜
bonotake
12
5k
2023-10-03-FOGBoston
lcolladotor
0
160
KDD2023学会参加報告
tereka114
2
340
Featured
See All Featured
Testing 201, or: Great Expectations
jmmastey
27
6.3k
Happy Clients
brianwarren
91
6.4k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
319
20k
Creatively Recalculating Your Daily Design Routine
revolveconf
209
11k
A designer walks into a library…
pauljervisheath
199
23k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
6
990
Build your cross-platform service in a week with App Engine
jlugia
224
17k
Practical Orchestrator
shlominoach
180
9.7k
Design by the Numbers
sachag
274
18k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
24
2.3k
Rebuilding a faster, lazier Slack
samanthasiow
72
8.2k
What's in a price? How to price your products and services
michaelherold
237
11k
Transcript
Fast Abstractive Summarization With Reinforce Selected Sentence Rewriting M2 竹下
颯太郎
Abstract どんなもの? Abstractive summarizationに対して policy gradient法を適応して、階層的に積 み上げた2つのNNsで取り組んだ。 2 先行研究と比較してなにがすごい? salient
sentenceを選択するのと、 それを短くして書き換えるっていう微分不可能な 2つのタスクを、 Sentence-level policy gradientで同時に最適 化した。
“Summarization” Abstractive 山田は彼の犬と踊るのが好きだ。 ある日、山田は彼の犬に隠れて六本木の ダンスクラブに遊びに行った。 それを知った犬は激怒した。 ↓ 山田はダンス好きの犬を怒らせた。 • より内容を汲んだ要約文を生成する
ことができる。 • 生成自体が困難。 3 Extractive 山田は彼の犬と踊るのが好きだ。 ある日、山田は彼の犬に隠れて六本木の ダンスクラブに遊びに行った。 それを知った犬は激怒した。 ↓ それを知った犬は激怒した。 • 文が崩壊することはない。 • 柔軟性に限りがある。
技術や手法のキモはどこ? 1. CNN, RNNで階層的にDocumentをencode (Extractor)。 2. 得られた特徴量から重要な文を選択。 3. 2. を受け取ったAbstractorはEncoder-Decoder
w/ attn, copy mechanismで要 約文(gt)に変換。 Maximum Likelihood • Extractor: 入力D内の文中でgtに最も近い(Rouge)文を教師として分類問題として 学習。 • Abstractor: 普通にcross-entropy lossを最小化するように学習。 Reinforce • Rougeを直接最大化するように、報酬として Extractorを最適化。 4
技術や手法のキモはどこ? 1. CNN, RNNで階層的にDocumentをencode (Extractor)。 2. 得られた特徴量から重要な文を選択。 3. 2. を受け取ったAbstractorはEncoder-Decoder
w/ attn, copy mechanismで要 約文(gt)に変換。 Maximum Likelihood • Extractor: 入力D内の文中でgtに最も近い(Rouge)文を教師として分類問題として 学習。 • Abstractor: 普通にcross-entropy lossを最小化するように学習。 Reinforce • Rougeを直接最大化するように、報酬として Extractorを最適化。 5
技術や手法のキモはどこ? 1. CNN, RNNで階層的にDocumentをencode (Extractor)。 2. 得られた特徴量から重要な文を選択。 3. 2. を受け取ったAbstractorはEncoder-Decoder
w/ attn, copy mechanismで要 約文(gt)に変換。 Maximum Likelihood • Extractor: 入力D内の文中でgtに最も近い(Rouge)文を教師として分類問題として 学習。 • Abstractor: 普通にcross-entropy lossを最小化するように学習。 Reinforce • Rougeを直接最大化するように、報酬として Extractorを最適化。 6
SOTA CNN/Daily Mail for training DUC-2002 for testing 7
SOTA CNN/Daily Mail for training DUC-2002 for testing 8