Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Simple and Effective Paraphrastic Similarity from Parallel Translations
Search
katsutan
January 27, 2020
Technology
0
160
Simple and Effective Paraphrastic Similarity from Parallel Translations
文献紹介
https://www.aclweb.org/anthology/P19-1453.pdf
長岡技術科学大学
勝田 哲弘
katsutan
January 27, 2020
Tweet
Share
More Decks by katsutan
See All by katsutan
What does BERT learn about the structure of language?
katsutan
0
180
Simple task-specific bilingual word embeddings
katsutan
0
180
Retrofitting Contextualized Word Embeddings with Paraphrases
katsutan
0
200
Character Eyes: Seeing Language through Character-Level Taggers
katsutan
1
150
Improving Word Embeddings Using Kernel PCA
katsutan
0
180
Better Word Embeddings by Disentangling Contextual n-Gram Information
katsutan
0
250
Rotational Unit of Memory: A Novel Representation Unit for RNNs with Scalable Applications
katsutan
0
220
A robust self-learning method for fully unsupervised cross-lingual mappings of word embeddings
katsutan
0
250
DSGAN: Generative Adversarial Training for Distant Supervision Relation Extraction
katsutan
0
220
Other Decks in Technology
See All in Technology
成長期に歩みを止めないための創業期の開発文化形成
mayah
6
420
初中級者用如何使用backlog -VALE TUDOEDITION-
in0u
0
140
年間一億円削減した時系列データベースのアーキテクチャ改善~不確実性の高いプロジェクトへの挑戦~
lycorptech_jp
PRO
3
2.9k
AI研修【MIXI 24新卒技術研修】
mixi_engineers
PRO
0
130
E2Eテスト自動化プラットフォームにおけるAIの活用
shift_evolve
0
190
開発生産性をむしろ向上させる セキュリティパートナーの作り方 / Dev Productivity Con 2024
flatt_security
0
390
VPoEの視点から見た、ヘンリーがサーバーサイドKotlinを使う理由 / Why Server-side Kotlin 2024
cho0o0
1
420
ABEMAにおけるLLMを用いたコンテンツベース推薦システム導入と効果検証
cyberagentdevelopers
PRO
1
760
Git 研修 Basic【MIXI 24新卒技術研修】
mixi_engineers
PRO
0
310
AOAI Dev Day - Opening Session
yoshidashingo
2
470
What if...? 처음부터 다시 LLM 어플리케이션을 개발한다면
huffon
0
1k
大規模ドラレコデータ収集・機械学習基盤を支える AWS CDK 〜導入・運用事例紹介〜
pemugi
0
110
Featured
See All Featured
Fantastic passwords and where to find them - at NoRuKo
philnash
42
2.7k
Fontdeck: Realign not Redesign
paulrobertlloyd
79
5.1k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
228
16k
Clear Off the Table
cherdarchuk
89
320k
jQuery: Nuts, Bolts and Bling
dougneiner
61
7.4k
4 Signs Your Business is Dying
shpigford
178
21k
10 Git Anti Patterns You Should be Aware of
lemiorhan
652
58k
It's Worth the Effort
3n
181
27k
Designing the Hi-DPI Web
ddemaree
276
34k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
78
15k
GitHub's CSS Performance
jonrohan
1026
450k
Side Projects
sachag
451
42k
Transcript
Simple and Effective Paraphrastic Similarity from Parallel Translations 長岡技術科学大学 自然言語処理研究室
勝田 哲弘 文献紹介 Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 4602–4608 Florence, Italy, July 28 - August 2, 2019
Abstract ➢言い換え文の埋め込みを学習するためのモデル ➢時間のかかる言い換えコーパスの作成ステップを削除 ➢bitextから直接学習 ➢結果 ➢このモデルは最先端の複雑なモデルよりも優れている ➢高速であり、クロスリンガルタスクに適用できる 2
Introduction ➢これまでの文の類似性 ➢言い換えフレーズのデータセットで学習 ➢大きなバイリンガルコーパスから言い換えデータセット を誘導する ➢本論文 ➢文の埋め込みをbitextで直接学習 ➢高速に文章をエンコードするシンプルなモデル 3
Learning Sentence Embeddings ➢Training ⚫ トレーニングデータ ⚫ それぞれソース言語とターゲット言語の一連の並列文 ペア (
, ) ⚫ ネガティブサンプリング ⚫ の翻訳ではないターゲット文′ をランダムに選択 ⚫ ( , )を( , ′ )よりもマージンδ近づける 4 目的関数 (; ): 各言語のパラメーターを持つ センテンスエンコーダー
Learning Sentence Embeddings ➢Negative Sampling ➢ mega-batching, Wieting and Gimpel(2018)
➢Mが大きいほど困難な例を提供 ➢Mega-batching ➢M個のミニバッチを集約して1つのメガバッチを作成し、 メガバッチから負の例を選択 ➢メガバッチの各ペアに負の例があれば、メガバッチはM 個のミニバッチに分割 5
Learning Sentence Embeddings Encoders ➢SP ➢sentencepiece のサブワードを平均 ➢TRIGRAM ➢文字トライグラムの平均 ➢WORD
➢単語の平均 ➢LSTM-SP ➢Sentencepieceを用いた双方向LSTM 6
Experiments ➢並列データと逆翻訳された並列データの学習 を比較 ➢2012-2016年のSemEval Semantic Textual Similarity (STS) ➢2つのsemantic cross-lingual
tasksでの最良の モデルSPを比較 ➢2017 SemEval STS ➢2018 Building and Using Parallel Corpora (BUCC) 7
Back-Translated Text vs. Parallel Text ➢En-EnはEn-CS(1M) より、 SPを除いて高い相関 ➢同数の英文を用意すれば 同程度の性能
➢En-CS設定でSPは最高の パフォーマンスを発揮
Monolingual and Cross-Lingual Similarity 従来の深層学習モデル を上回る精度
Monolingual and Cross-Lingual Similarity ランダム設定ではTRIGRAMが強い ※語彙の重複がないと精度が低い
Mining Bitext ➢異なる各言語の大規模なコーパスから正しい対訳 ペアを見つける 11
Encoding Speed 12
Does Language Choice Matter? 13
Conclusion ➢bitextを直接使用することにより精度の高い文の埋 め込みを作成 ➢ピボットや逆翻訳などを使用する必要がない ➢言語横断的表現が生成可能 ➢比較可能な従来の方法と比べて圧倒的に高速 14