Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
文献紹介: Generating Sentences from a Continuous Space
Search
Yumeto Inaoka
May 11, 2018
Research
0
360
文献紹介: Generating Sentences from a Continuous Space
2018/05/11の文献紹介で発表
Yumeto Inaoka
May 11, 2018
Tweet
Share
More Decks by Yumeto Inaoka
See All by Yumeto Inaoka
文献紹介: Quantity doesn’t buy quality syntax with neural language models
yumeto
1
190
文献紹介: Open Domain Web Keyphrase Extraction Beyond Language Modeling
yumeto
0
240
文献紹介: Self-Supervised_Neural_Machine_Translation
yumeto
0
160
文献紹介: Comparing and Developing Tools to Measure the Readability of Domain-Specific Texts
yumeto
0
170
文献紹介: PAWS: Paraphrase Adversaries from Word Scrambling
yumeto
0
160
文献紹介: Beyond BLEU: Training Neural Machine Translation with Semantic Similarity
yumeto
0
280
文献紹介: EditNTS: An Neural Programmer-Interpreter Model for Sentence Simplification through Explicit Editing
yumeto
0
340
文献紹介: Decomposable Neural Paraphrase Generation
yumeto
0
230
文献紹介: Analyzing the Limitations of Cross-lingual Word Embedding Mappings
yumeto
0
230
Other Decks in Research
See All in Research
2025年度人工知能学会全国大会チュートリアル講演「深層基盤モデルの数理」
taiji_suzuki
25
18k
SSII2025 [TS2] リモートセンシング画像処理の最前線
ssii
PRO
7
3.1k
日本語新聞記事を用いた大規模言語モデルの暗記定量化 / LLMC2025
upura
0
190
EcoWikiRS: Learning Ecological Representation of Satellite Images from Weak Supervision with Species Observation and Wikipedia
satai
3
140
集合間Bregmanダイバージェンスと置換不変NNによるその学習
wasyro
0
140
Language Models Are Implicitly Continuous
eumesy
PRO
0
230
Hiding What from Whom? A Critical Review of the History of Programming languages for Music
tomoyanonymous
0
160
SSII2025 [TS1] 光学・物理原理に基づく深層画像生成
ssii
PRO
4
4.2k
AI エージェントを活用した研究再現性の自動定量評価 / scisci2025
upura
1
150
とあるSREの博士「過程」 / A Certain SRE’s Ph.D. Journey
yuukit
10
4.2k
AlphaEarth Foundations: An embedding field model for accurate and efficient global mapping from sparse label data
satai
1
220
多言語カスタマーインタビューの“壁”を越える~PMと生成AIの共創~ 株式会社ジグザグ 松野 亘
watarumatsuno
0
120
Featured
See All Featured
Visualization
eitanlees
148
16k
A designer walks into a library…
pauljervisheath
207
24k
Building a Scalable Design System with Sketch
lauravandoore
462
33k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
35
3.1k
A better future with KSS
kneath
239
17k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
285
14k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
[RailsConf 2023] Rails as a piece of cake
palkan
57
5.8k
RailsConf 2023
tenderlove
30
1.2k
Into the Great Unknown - MozCon
thekraken
40
2k
Agile that works and the tools we love
rasmusluckow
330
21k
Raft: Consensus for Rubyists
vanstee
140
7.1k
Transcript
Generating Sentences from a Continuous Space Samuel R. Bowman, Luke
Vilnis, Oriol Vinyals, Andrew M. Dai, Rafal Jozefowicz & Samy Bengio. Proceedings of the 20th SIGNLL Conference on Computational Natural Language Learning (CoNLL), pages 10–21, 2016. 文献紹介 2018/05/11 長岡技術科学大学 自然言語処理研究室 稲岡 夢人
Abstract •文全体の分散表現を組込んだRNNベースの Variational AutoEncoderに関する研究 •スタイル、話題、構文的特徴などの文全体の特徴をモデル化 •文間の潜在空間の経路を調べることで、その間にある文を 新たに生成することができる !2
Abstract •提案モデルを学習させる際の問題を解決する手法の提案 •欠落した語を復元させる効果を実証 •文の潜在空間について興味深い特性について調査 •提案モデルを言語モデルとして使用することについて 否定的な結果を提示 !3
Introduction •RNNLMは状態に基づいて文を単語毎に生成 ← トピックや構文的特徴など文全体の特徴を解釈可能な 状態で出力しない •Variational AutoEncoderの構造を用いたモデルに 実用的な訓練手法を利用 → 文全体の特徴を連続潜在変数として捕捉
!4
Unsupervised sentence encoding •Sequence AutoEncoder → 中間の表現からは妥当な文が出力できない •Skip-thought model •Paragraph
Vector !5
Variational AutoEncoder •潜在変数を確率分布に落とし込んだモデル •潜在変数を単一の点としてではなく潜在空間の領域と なるように学習 → 一般にはガウス分布になるよう近づける •学習では真の分布とEncoderの分布のKL divergenceと 入出力の差を損失としてそれを小さくする
!6
VAE for sentences •single-layer LSTMをencoder, decoderに用いる テキストのVAEを提案 !7
Optimization •非ゼロなKL-divergence項と小さなcross entropyを 持つようなエンコーダが理想的 •普通の実装ではKL-divergence項は0になる •KL cost annealingを用いる !8
Optimization •エンコーダに対して強いデコーダを弱めるために Word dropout and historyless decodingを行う •入力系列の単語を確率的にUNKに置換 !9
Experiments (Language Modeling) •Penn Treebankを用いて言語モデルを学習 •NLLとPPLで評価 •VAEの方が悪い結果であるが、Inputless Decoderでは KL lossを含めても性能が向上
!10
Experiments (Imputing missing words) •VAEは欠落語の入力に適している !11
Impact of word dropout •100% word keepでは典型的な文が出力 0% word keepでは文法的でない文が出力
!12
Sampling from the posterior •エンコーダの出力分布の平均、3つのサンプルをデコード •文長とトピックは捉えられている •文が長くなると出力は多様になる !13
Homotopies •variationalの方が中間の文が 文法的でトピックが一貫する !14
Conclusion •自然言語文にVAEを使用する方法の提案 •提案モデルによる欠落語の復元の効果を示した •潜在変数間のサンプリングから一貫性のある多様な文を 生成できることを示した !15