Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
An Effective Approach to Unsupervised Machine T...
Search
Ryusuke_Tanaka
November 21, 2019
Technology
0
120
An Effective Approach to Unsupervised Machine Translationの紹介
An Effective Approach to Unsupervised Machine Translationの紹介です。
教師なし翻訳に関するお話です。
Ryusuke_Tanaka
November 21, 2019
Tweet
Share
More Decks by Ryusuke_Tanaka
See All by Ryusuke_Tanaka
医師向けQAサイトのための推薦システム開発
ryusuketa
1
1.7k
Universal Decompositional Semantics on Universal Dependencies
ryusuketa
0
85
Learning Dual Retrieval Module for Semi-supervised Relation Extractionの紹介
ryusuketa
0
81
動画視聴を整数倍(最大値)で_効率化するchrome extension作った
ryusuketa
0
80
双曲空間への単語埋め込みと QAサービスでの自然言語処理を 用いた推薦システムについて
ryusuketa
0
580
Other Decks in Technology
See All in Technology
プレーリーカードを活用しよう❗❗デジタル名刺交換からはじまるイベント会場交流のススメ
tsukaman
0
190
生成AI時代のセキュアコーディングとDevSecOps
yuriemori
0
140
dbtとBigQuery MLで実現する リクルートの営業支援基盤のモデル開発と保守運用
recruitengineers
PRO
3
130
大規模サーバーレスAPIの堅牢性・信頼性設計 〜AWSのベストプラクティスから始まる現実的制約との向き合い方〜
maimyyym
10
5k
Introduction to Bill One Development Engineer
sansan33
PRO
0
300
リセラー企業のテクサポ担当が考える、生成 AI 時代のトラブルシュート 2025
kazzpapa3
1
370
[2025年10月版] Databricks Data + AI Boot Camp
databricksjapan
1
140
技育祭2025【秋】 企業ピッチ/登壇資料(高橋 悟生)
hacobu
PRO
0
120
AWSでAgentic AIを開発するための前提知識の整理
nasuvitz
2
220
Bill One 開発エンジニア 紹介資料
sansan33
PRO
4
14k
物体検出モデルでシイタケの収穫時期を自動判定してみた。 #devio2025
lamaglama39
0
240
衛星画像超解像化によって実現する2D, 3D空間情報の即時生成と“AI as a Service”/ Real-time generation spatial data enabled_by satellite image super-resolution
lehupa
0
190
Featured
See All Featured
Optimising Largest Contentful Paint
csswizardry
37
3.5k
The Art of Programming - Codeland 2020
erikaheidi
56
14k
Designing for Performance
lara
610
69k
Unsuck your backbone
ammeep
671
58k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
46
2.5k
KATA
mclloyd
PRO
32
15k
Code Reviewing Like a Champion
maltzj
526
40k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
508
140k
Building Applications with DynamoDB
mza
96
6.7k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
115
20k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
21
1.2k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
30
2.9k
Transcript
An Effective Approach to Unsupervised Machine Translation
None
?/= 8E 45": 3'209 40G0AIoT< :+;F<%$6 B@-(,F.
!)#7*&>12FM2 D1 CD!)#7ML
Unsupervised Machine Translation • 87=@16Statistical Machine Translation (SMT) Neural Machine
Translation (NMT))(95/&%$ ◦ .@.0:2?>! • -B"*< .@;3,A=@4+ ◦ Word translation without parallel data.[Alexis 2017], ◦ Learning bilingual word embeddings with (almost) no bilingual data [Artetxe 2017] • !#'5/ 87=@ NMT>!4+ ◦ UNSUPERVISED MACHINE TRANSLATION USING MONOLINGUAL CORPORA ONLY [Lample2018] ◦ Unsupervised statistical machine translation [Artetxe 2018]
Supervised Machine Translation NMT Back-translation !
#"BLEU http://deeplearning.hatenablog.com/entry/back_translation#f-726c04a7
!! • D8?8B;=/@[Alexis 2017] ◦ /@*;="%$#1: ◦ ;=B/@)3& A404 6
- 5.+=A'9C9 7> ◦ +=A( , +=2<EF
SMT https://www.nhk.or.jp/strl/publica/rd/rd168/pdf/P14-25.pdf
' 1. % $ 2. &! 3. SMT$
" 4. " refinement 5. NMT(#
&9 3+ • bi-gram embedding+A8: #6>$<[Artetxe 2018] • :
100=0/ softmax &952"* (e,f8: 4 :, τ1( ?.',%!7 ) ;- …@@
2<0K,A • 3N*6 5/2<0KPO • ex. “Sunday Telegraph”
→ “The Times of London” • =H. %'#& $"&MQ4 R(8-C WaveNet:1D+@9> IF !) 2<G@7JB; LS 7JE?/ T
Unsupervised SMT • Back-translation.CE/;> ◦ DF%"&*8L @3 DFB<+4DF%"&.C •
9H7Cycle GAN !#K65= ◦ -:02I ?HA M 1 : DF'! : ,G(#'$)'! : DF7J'!
+% • '$ SMT+% .0 .0 (), +% • SMT+%
.0!/1-*&# ()2"
NMT$ • "SMT$ %# NMT$ • % NMT#
: SMT%! : NMT%!
WMT2014 seq2seq
…