Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
文献紹介「二値符号予測と誤り訂正を用いたニューラル翻訳モデル」
Search
Ayumu
March 05, 2019
Technology
0
170
文献紹介「二値符号予測と誤り訂正を用いたニューラル翻訳モデル」
2019/03/05
長岡技術科学大学 自然言語処理研究室
学部4年 守谷 歩
Ayumu
March 05, 2019
Tweet
Share
More Decks by Ayumu
See All by Ayumu
B3ゼミ_03_28_マルチモーダル学習_.pdf
ayumum
0
160
マルチモーダル学習
ayumum
0
160
B3ゼミ 自然言語処理におけるCNN
ayumum
0
100
言語処理年次大会報告
ayumum
0
98
ニューラルネット4
ayumum
0
110
ニューラルネット3 誤差伝搬法,CNN,word2vec
ayumum
0
170
ニューラルネット実践
ayumum
0
120
文献紹介[Zero-Shot Dialog Generation with Cross-Domain Latent Action]
ayumum
0
190
パーセプトロンとニューラルネット1
ayumum
0
110
Other Decks in Technology
See All in Technology
Connect 100+を支える技術
kanyamaguc
0
190
Lazy application authentication with Tailscale
bluehatbrit
0
160
2025-06-26_Lightning_Talk_for_Lightning_Talks
_hashimo2
2
120
B2C&B2B&社内向けサービスを抱える開発組織におけるサービス価値を最大化するイニシアチブ管理
belongadmin
1
5.7k
Flutter向けPDFビューア、pdfrxのpdfium WASM対応について
espresso3389
0
120
OPENLOGI Company Profile
hr01
0
67k
KubeCon + CloudNativeCon Japan 2025 Recap Opening & Choose Your Own Adventureシリーズまとめ
mmmatsuda
0
260
AI導入の理想と現実~コストと浸透〜
oprstchn
0
190
Tokyo_reInforce_2025_recap_iam_access_analyzer
hiashisan
0
170
ドメイン特化なCLIPモデルとデータセットの紹介
tattaka
2
570
低レイヤを知りたいPHPerのためのCコンパイラ作成入門 完全版 / Building a C Compiler for PHPers Who Want to Dive into Low-Level Programming - Expanded
tomzoh
4
3.4k
Zephyr RTOSを使った開発コンペに参加した件
iotengineer22
1
190
Featured
See All Featured
Building Flexible Design Systems
yeseniaperezcruz
328
39k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
34
3.1k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.4k
Java REST API Framework Comparison - PWX 2021
mraible
31
8.7k
Art, The Web, and Tiny UX
lynnandtonic
299
21k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
45
7.5k
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
For a Future-Friendly Web
brad_frost
179
9.8k
Why Our Code Smells
bkeepers
PRO
337
57k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
46
9.6k
Rails Girls Zürich Keynote
gr2m
94
14k
Testing 201, or: Great Expectations
jmmastey
42
7.6k
Transcript
二値符号予測と誤り訂正を 用いたニューラル翻訳モデル 2019/03/05 長岡技術科学大学 自然言語処理研究室 学部4年 守谷 歩 1
文献 ⚫「二値符号予測と誤り訂正を用いたニューラル翻訳モデル」 ⚫小田 悠介, Philip Arthur, Graham Neubig, 吉野 幸一郎,
中村 哲 ⚫二値符号予測と誤り訂正を用いたニューラル翻訳モデル, 自然言 語処理, 2018, 25 巻, 2 号, p. 167-199, 公開日 2018/06/15, Online ISSN 2185-8314, Print ISSN 1340- 7619, https://doi.org/10.5715/jnlp.25.167, https://www.jstage.jst.go .jp/article/jnlp/25/2/25_167/_article/-char/ja, 抄録: 2
概要 ⚫近年の機械翻訳ではエンコーダ、デコーダ、注釈機構からなる ニューラル翻訳モデルが研究されている。 ⚫既存の方法で表現力の高いニューラル翻訳モデルの出力層では ソフトマックス演算を行っており、これは、語彙に含まれる全単語の スコアを隠れ層の一次結合として計算するため、計算量が語彙サ イズに比例するため軽量化したい。 ⚫また、単純に二値符号のみを用いる方法だと翻訳精度が従来の 手法と比べて大幅に低下してしまう。 3
概要 ⚫従来の方法でも以下の4つの観点が計算量を軽量化するために 需要だと考えられる。 ⚫翻訳精度 ⚫空間効率(使用メモリ量) ⚫時間効率(実行速度) ⚫並列計算との親和性 ⚫軽量化をするために従来のソフトマックスモデルを部分的に導入 し、高頻度語と低頻度語を分離し、学習させる手法を提案。また、 二値符号の頑健性を向上させるため、誤り訂正符号、畳み込み符
号による冗長化を施す。 4
単純なソフトマックスモデルの定式化 ⚫語彙サイズV、同じ数の次元の連続空間ℝ ⚫単語ID ∈ { ∈ ℕ|1 ≤ ≤ }に対応する次元を1、それ以外の次元を
0とする単位ベクトル () ∈ ℝを単語の表現とみなす ⚫部分空間 ℝ = ∈ ℝ ∧ ∀. 0 ≤ < 1 ∧ σ =1 = 1 ⚫損失関数の計算 , = , = − + log =1 = σ =1 = ℎ ℎ + 5
二値符号を用いた単語の表現手法 6
二値符号を用いた単語の表現手法 ⚫単語に対応するビット列 = b1 w , b2 w , …
, bB w V = 0,1 B ⚫各ビットが1となる確率 ℎ = 1 ℎ , 2 ℎ , … , ℎ ∈ 0,1 ⚫ロジスティック回帰モデル ℎ = ℎ ℎ + , = 1 1 + exp(−) ⚫確率q(h)における各ビットごとの確率の積 Pr ℎ = ෑ =1 ℎ + 1 − 1 − ℎ 7
二値符号モデルの損失関数、計算量 ⚫損失関数 損失関数の満たすべき条件 , ቊ =∈ = ≥∈ ℎ 損失関数は、先行研究より二乗誤差を用いるほうが精度が向上
, = =1 B − 2 ⚫計算量 8
ソフトマックスと二値符号予測の 混合モデル ⚫生成確率 Pr ℎ = ቊ , < ∗
, ℎ ℎ = exp σ =1 exp , = ℎ ℎ + , ℎ = ෑ =1 ( + 1 − 1 − ) ⚫損失関数 = ൝ , < + , ℎ = , , = , 9
誤り訂正符号の適用 ⚫単純な二値符号予測モデル、混合モデルは二値符号自体の頑健性 を考慮していないため、ビット誤りを許さない形となっている。 ⚫ビット列に対して、何らかの冗長性を導入する 10
実験設定 ⚫コーパスはASPECとBTECを使用 ⚫英語のトークン化にはMoses、日本語のトークン化に はKyTeaを使用した。 ⚫ニューラルネットワークの構築にはDyNetを使用した。 ⚫すべてのモデルは1つのGPUを用いて学習した。また、 実行時間を検証するためにGPU上とCPU上の両方で 行った。 ⚫翻訳モデルのエンコーダには双方向RNN、注意機構 及びデコーダはConcat
Global Attention モデルを使 用した。また、RNNには入力、忘却、出力ゲートを含 む1層のLSTMを使用した。 ⚫ニューラルネットワークの学習にはAdam最適化機を 使用し、そのハイパーパラメータは = 0.001, 1 = 0.9, 2 = 0.999, = 10−8 ⚫モデルの評価にはBLUEを使用 11
実験結果 BLEUと計算速度 12
実験結果 学習の推移 13
翻訳精度への影響 14
単語出現頻度と推定精度の関係 15
今後への展開 ⚫翻訳モデルにより適した単語のビット列への割り当て手法 ⚫ニューラル翻訳モデルの学習により適した形の誤り訂正手法の 開発 ⚫入力装側の単語ベクトルも二値符号に制約し、モデルのパラメー タを削った場合の翻訳精度は同様に達成できるのか ⚫翻訳モデルの内部状態やパラメータが獲得した表現に関する調 査 16