Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
An Effective Approach to Unsupervised Machine T...
Search
Ryusuke_Tanaka
November 21, 2019
Technology
0
120
An Effective Approach to Unsupervised Machine Translationの紹介
An Effective Approach to Unsupervised Machine Translationの紹介です。
教師なし翻訳に関するお話です。
Ryusuke_Tanaka
November 21, 2019
Tweet
Share
More Decks by Ryusuke_Tanaka
See All by Ryusuke_Tanaka
医師向けQAサイトのための推薦システム開発
ryusuketa
1
1.7k
Universal Decompositional Semantics on Universal Dependencies
ryusuketa
0
85
Learning Dual Retrieval Module for Semi-supervised Relation Extractionの紹介
ryusuketa
0
79
動画視聴を整数倍(最大値)で_効率化するchrome extension作った
ryusuketa
0
80
双曲空間への単語埋め込みと QAサービスでの自然言語処理を 用いた推薦システムについて
ryusuketa
0
570
Other Decks in Technology
See All in Technology
会社紹介資料 / Sansan Company Profile
sansan33
PRO
6
380k
【実演版】カンファレンス登壇者・スタッフにこそ知ってほしいマイクの使い方 / 大吉祥寺.pm 2025
arthur1
1
890
プラットフォーム転換期におけるGitHub Copilot活用〜Coding agentがそれを加速するか〜 / Leveraging GitHub Copilot During Platform Transition Periods
aeonpeople
1
160
これでもう迷わない!Jetpack Composeの書き方実践ガイド
zozotech
PRO
0
990
250905 大吉祥寺.pm 2025 前夜祭 「プログラミングに出会って20年、『今』が1番楽しい」
msykd
PRO
1
970
AIのグローバルトレンド2025 #scrummikawa / global ai trend
kyonmm
PRO
1
300
DroidKaigi 2025 Androidエンジニアとしてのキャリア
mhidaka
2
360
まずはマネコンでちゃちゃっと作ってから、それをCDKにしてみよか。
yamada_r
2
120
KotlinConf 2025_イベントレポート
sony
1
140
Snowflake Intelligenceにはこうやって立ち向かう!クラシルが考えるAI Readyなデータ基盤と活用のためのDataOps
gappy50
0
270
react-callを使ってダイヤログをいろんなとこで再利用しよう!
shinaps
2
250
新規プロダクトでプロトタイプから正式リリースまでNext.jsで開発したリアル
kawanoriku0
1
150
Featured
See All Featured
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
32
1.6k
Producing Creativity
orderedlist
PRO
347
40k
Building a Modern Day E-commerce SEO Strategy
aleyda
43
7.6k
Testing 201, or: Great Expectations
jmmastey
45
7.7k
Building Flexible Design Systems
yeseniaperezcruz
329
39k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
229
22k
Imperfection Machines: The Place of Print at Facebook
scottboms
268
13k
Mobile First: as difficult as doing things right
swwweet
224
9.9k
Reflections from 52 weeks, 52 projects
jeffersonlam
352
21k
Fantastic passwords and where to find them - at NoRuKo
philnash
52
3.4k
The Pragmatic Product Professional
lauravandoore
36
6.9k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
7
840
Transcript
An Effective Approach to Unsupervised Machine Translation
None
?/= 8E 45": 3'209 40G0AIoT< :+;F<%$6 B@-(,F.
!)#7*&>12FM2 D1 CD!)#7ML
Unsupervised Machine Translation • 87=@16Statistical Machine Translation (SMT) Neural Machine
Translation (NMT))(95/&%$ ◦ .@.0:2?>! • -B"*< .@;3,A=@4+ ◦ Word translation without parallel data.[Alexis 2017], ◦ Learning bilingual word embeddings with (almost) no bilingual data [Artetxe 2017] • !#'5/ 87=@ NMT>!4+ ◦ UNSUPERVISED MACHINE TRANSLATION USING MONOLINGUAL CORPORA ONLY [Lample2018] ◦ Unsupervised statistical machine translation [Artetxe 2018]
Supervised Machine Translation NMT Back-translation !
#"BLEU http://deeplearning.hatenablog.com/entry/back_translation#f-726c04a7
!! • D8?8B;=/@[Alexis 2017] ◦ /@*;="%$#1: ◦ ;=B/@)3& A404 6
- 5.+=A'9C9 7> ◦ +=A( , +=2<EF
SMT https://www.nhk.or.jp/strl/publica/rd/rd168/pdf/P14-25.pdf
' 1. % $ 2. &! 3. SMT$
" 4. " refinement 5. NMT(#
&9 3+ • bi-gram embedding+A8: #6>$<[Artetxe 2018] • :
100=0/ softmax &952"* (e,f8: 4 :, τ1( ?.',%!7 ) ;- …@@
2<0K,A • 3N*6 5/2<0KPO • ex. “Sunday Telegraph”
→ “The Times of London” • =H. %'#& $"&MQ4 R(8-C WaveNet:1D+@9> IF !) 2<G@7JB; LS 7JE?/ T
Unsupervised SMT • Back-translation.CE/;> ◦ DF%"&*8L @3 DFB<+4DF%"&.C •
9H7Cycle GAN !#K65= ◦ -:02I ?HA M 1 : DF'! : ,G(#'$)'! : DF7J'!
+% • '$ SMT+% .0 .0 (), +% • SMT+%
.0!/1-*&# ()2"
NMT$ • "SMT$ %# NMT$ • % NMT#
: SMT%! : NMT%!
WMT2014 seq2seq
…