Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Split and Rephrase: Better Evaluation and a Str...
Search
katsutan
November 12, 2018
Technology
0
170
Split and Rephrase: Better Evaluation and a Stronger Baseline
文献紹介
katsutan
November 12, 2018
Tweet
Share
More Decks by katsutan
See All by katsutan
What does BERT learn about the structure of language?
katsutan
0
220
Simple and Effective Paraphrastic Similarity from Parallel Translations
katsutan
0
200
Simple task-specific bilingual word embeddings
katsutan
0
210
Retrofitting Contextualized Word Embeddings with Paraphrases
katsutan
0
240
Character Eyes: Seeing Language through Character-Level Taggers
katsutan
1
190
Improving Word Embeddings Using Kernel PCA
katsutan
0
210
Better Word Embeddings by Disentangling Contextual n-Gram Information
katsutan
0
300
Rotational Unit of Memory: A Novel Representation Unit for RNNs with Scalable Applications
katsutan
0
250
A robust self-learning method for fully unsupervised cross-lingual mappings of word embeddings
katsutan
0
280
Other Decks in Technology
See All in Technology
[kickflow]20250319_少人数チームでのAutify活用
otouhujej
0
210
人と組織に偏重したEMへのアンチテーゼ──なぜ、EMに設計力が必要なのか/An antithesis to the overemphasis of people and organizations in EM
dskst
4
490
LLMエージェント時代に適応した開発フロー
hiragram
1
380
Evolution on AI Agent and Beyond - AGI への道のりと、シンギュラリティの3つのシナリオ
masayamoriofficial
0
130
R-SCoRe: Revisiting Scene Coordinate Regression for Robust Large-Scale Visual Localization
takmin
0
400
AIエージェントの開発に必須な「コンテキスト・エンジニアリング」とは何か──プロンプト・エンジニアリングとの違いを手がかりに考える
masayamoriofficial
0
320
モノレポにおけるエラー管理 ~Runbook自動生成とチームメンションの最適化
biwashi
0
540
Goss: New Production-Ready Go Binding for Faiss #coefl_go_jp
bengo4com
0
1.1k
つくって納得、つかって実感! 大規模言語モデルことはじめ
recruitengineers
PRO
8
1.5k
第64回コンピュータビジョン勉強会@関東(後編)
tsukamotokenji
0
220
コミュニティと計画的偶発性理論 - 出会いが人生を変える / Life-Changing Encounters
soudai
PRO
7
1.3k
あとはAIに任せて人間は自由に生きる
kentaro
3
1.1k
Featured
See All Featured
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
15
1.6k
Typedesign – Prime Four
hannesfritz
42
2.8k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
18
1.1k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
30
9.6k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
110
20k
RailsConf 2023
tenderlove
30
1.2k
GitHub's CSS Performance
jonrohan
1031
460k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
33
2.4k
Designing Experiences People Love
moore
142
24k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
23
1.4k
Navigating Team Friction
lara
188
15k
The Language of Interfaces
destraynor
160
25k
Transcript
Split and Rephrase: Better Evaluation and a Stronger Baseline Roee
Aharoni & Yoav Goldberg Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Short Papers), pages 719–724 Melbourne, Australia, July 15 - 20, 2018. 長岡技術科学大学 自然言語処理研究室 勝田 哲弘
Abstract Split and Rephrase • 複数の文が含まれている文から意味を保持したまま、分割と言い換えを行う 新たな分割データセット、モデルの提案 2
Introduction “Split-and-Rephrase” by Narayan et al. (2017) • データセット、評価方法、ベースラインの設定 •
BlEU ◦ 48.9 for the best text-to-text system. ◦ 78.7 for the best RDF-aware one. text-to-textモデルに注目 3
Introduction • より困難なデータセットの提案 ◦ 既存のデータセットには問題がある ◦ new split : Githubで公開
• より優れたモデルを構築 ◦ copy mechanismの拡張 4
Preliminary Experiments Task Definition • Complex sentence: Cが与えられたときに全ての情報を含む ように平易文を生成 ◦
Simple sentence: • 各文をRDF triplesと関連付ける 5
Preliminary Experiments Experimental Details • vanilla sequence-to-sequence models with attention
(Bahdanau et al., 2015) ◦ OPENNMT-PY toolkit (Klein et al., 2017) ◦ LSTM cell size (128, 256 and 512, respectively) 6
Results RDFを用いるベースラインより優れている Narayan et al. (2017)のモデルは 過剰に分割を行っている 7
Analysis 手動でいくつかの結果を分析 • 入力側にない • 重複 • 欠落 (97.16%)の予測文が、訓練セットにおいて そのまま出現している
8
Analysis 9
New Data-split 今のデータセットは問題を一般化するために適していない、より良 いデータセットの構築を行う RDFを使用し、以下の条件でランダムに文を分割する(5,554 sentences) • 全てのRDF relationを学習データに含める •
全てのRDF triplesは分割した1文で表現される 10
New Data-split 11
Experiments and Results 新しいデータセットによる評価 • new data split • v1.0
モデルの拡張: Copy • copy-enhanced models of varying LSTM widths ◦ (128, 256 and 512) 12
Results 13
Analysis 14
Analysis SEQ2SEQ512では学習データから文を生成する傾向が強くなる 15
Conclusions • SEQ2SEQモデルがsplit-and-rephraseを学習していなくても 高いスコアを得ていることを確認した • 新たに構築したデータセットでは不当に高くなる問題を改善 • どちらのモデルに対してもcopy-mechanismがパフォーマンス を向上させる 16