Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
文献紹介「二値符号予測と誤り訂正を用いたニューラル翻訳モデル」
Search
Ayumu
March 05, 2019
Technology
0
160
文献紹介「二値符号予測と誤り訂正を用いたニューラル翻訳モデル」
2019/03/05
長岡技術科学大学 自然言語処理研究室
学部4年 守谷 歩
Ayumu
March 05, 2019
Tweet
Share
More Decks by Ayumu
See All by Ayumu
B3ゼミ_03_28_マルチモーダル学習_.pdf
ayumum
0
160
マルチモーダル学習
ayumum
0
150
B3ゼミ 自然言語処理におけるCNN
ayumum
0
100
言語処理年次大会報告
ayumum
0
97
ニューラルネット4
ayumum
0
110
ニューラルネット3 誤差伝搬法,CNN,word2vec
ayumum
0
170
ニューラルネット実践
ayumum
0
120
文献紹介[Zero-Shot Dialog Generation with Cross-Domain Latent Action]
ayumum
0
190
パーセプトロンとニューラルネット1
ayumum
0
110
Other Decks in Technology
See All in Technology
Node-RED × MCP 勉強会 vol.1
1ftseabass
PRO
0
140
なぜ私はいま、ここにいるのか? #もがく中堅デザイナー #プロダクトデザイナー
bengo4com
0
410
AWS アーキテクチャ作図入門/aws-architecture-diagram-101
ma2shita
29
11k
変化する開発、進化する体系時代に適応するソフトウェアエンジニアの知識と考え方(JaSST'25 Kansai)
mizunori
1
210
AWS Summit Japan 2025 Community Stage - App workflow automation by AWS Step Functions
matsuihidetoshi
1
260
OpenHands🤲にContributeしてみた
kotauchisunsun
1
430
BrainPadプログラミングコンテスト記念LT会2025_社内イベント&問題解説
brainpadpr
1
160
mrubyと micro-ROSが繋ぐロボットの世界
kishima
2
260
米国国防総省のDevSecOpsライフサイクルをAWSのセキュリティサービスとOSSで実現
syoshie
2
1.1k
250627 関西Ruby会議08 前夜祭 RejectKaigi「DJ on Ruby Ver.0.1」
msykd
PRO
2
270
Snowflake Summit 2025 データエンジニアリング関連新機能紹介 / Snowflake Summit 2025 What's New about Data Engineering
tiltmax3
0
310
Wasm元年
askua
0
140
Featured
See All Featured
How to Think Like a Performance Engineer
csswizardry
24
1.7k
The Straight Up "How To Draw Better" Workshop
denniskardys
234
140k
Automating Front-end Workflow
addyosmani
1370
200k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
45
7.4k
The Cost Of JavaScript in 2023
addyosmani
51
8.4k
Java REST API Framework Comparison - PWX 2021
mraible
31
8.6k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
53
2.8k
Facilitating Awesome Meetings
lara
54
6.4k
Why Our Code Smells
bkeepers
PRO
337
57k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
Docker and Python
trallard
44
3.4k
Measuring & Analyzing Core Web Vitals
bluesmoon
7
490
Transcript
二値符号予測と誤り訂正を 用いたニューラル翻訳モデル 2019/03/05 長岡技術科学大学 自然言語処理研究室 学部4年 守谷 歩 1
文献 ⚫「二値符号予測と誤り訂正を用いたニューラル翻訳モデル」 ⚫小田 悠介, Philip Arthur, Graham Neubig, 吉野 幸一郎,
中村 哲 ⚫二値符号予測と誤り訂正を用いたニューラル翻訳モデル, 自然言 語処理, 2018, 25 巻, 2 号, p. 167-199, 公開日 2018/06/15, Online ISSN 2185-8314, Print ISSN 1340- 7619, https://doi.org/10.5715/jnlp.25.167, https://www.jstage.jst.go .jp/article/jnlp/25/2/25_167/_article/-char/ja, 抄録: 2
概要 ⚫近年の機械翻訳ではエンコーダ、デコーダ、注釈機構からなる ニューラル翻訳モデルが研究されている。 ⚫既存の方法で表現力の高いニューラル翻訳モデルの出力層では ソフトマックス演算を行っており、これは、語彙に含まれる全単語の スコアを隠れ層の一次結合として計算するため、計算量が語彙サ イズに比例するため軽量化したい。 ⚫また、単純に二値符号のみを用いる方法だと翻訳精度が従来の 手法と比べて大幅に低下してしまう。 3
概要 ⚫従来の方法でも以下の4つの観点が計算量を軽量化するために 需要だと考えられる。 ⚫翻訳精度 ⚫空間効率(使用メモリ量) ⚫時間効率(実行速度) ⚫並列計算との親和性 ⚫軽量化をするために従来のソフトマックスモデルを部分的に導入 し、高頻度語と低頻度語を分離し、学習させる手法を提案。また、 二値符号の頑健性を向上させるため、誤り訂正符号、畳み込み符
号による冗長化を施す。 4
単純なソフトマックスモデルの定式化 ⚫語彙サイズV、同じ数の次元の連続空間ℝ ⚫単語ID ∈ { ∈ ℕ|1 ≤ ≤ }に対応する次元を1、それ以外の次元を
0とする単位ベクトル () ∈ ℝを単語の表現とみなす ⚫部分空間 ℝ = ∈ ℝ ∧ ∀. 0 ≤ < 1 ∧ σ =1 = 1 ⚫損失関数の計算 , = , = − + log =1 = σ =1 = ℎ ℎ + 5
二値符号を用いた単語の表現手法 6
二値符号を用いた単語の表現手法 ⚫単語に対応するビット列 = b1 w , b2 w , …
, bB w V = 0,1 B ⚫各ビットが1となる確率 ℎ = 1 ℎ , 2 ℎ , … , ℎ ∈ 0,1 ⚫ロジスティック回帰モデル ℎ = ℎ ℎ + , = 1 1 + exp(−) ⚫確率q(h)における各ビットごとの確率の積 Pr ℎ = ෑ =1 ℎ + 1 − 1 − ℎ 7
二値符号モデルの損失関数、計算量 ⚫損失関数 損失関数の満たすべき条件 , ቊ =∈ = ≥∈ ℎ 損失関数は、先行研究より二乗誤差を用いるほうが精度が向上
, = =1 B − 2 ⚫計算量 8
ソフトマックスと二値符号予測の 混合モデル ⚫生成確率 Pr ℎ = ቊ , < ∗
, ℎ ℎ = exp σ =1 exp , = ℎ ℎ + , ℎ = ෑ =1 ( + 1 − 1 − ) ⚫損失関数 = ൝ , < + , ℎ = , , = , 9
誤り訂正符号の適用 ⚫単純な二値符号予測モデル、混合モデルは二値符号自体の頑健性 を考慮していないため、ビット誤りを許さない形となっている。 ⚫ビット列に対して、何らかの冗長性を導入する 10
実験設定 ⚫コーパスはASPECとBTECを使用 ⚫英語のトークン化にはMoses、日本語のトークン化に はKyTeaを使用した。 ⚫ニューラルネットワークの構築にはDyNetを使用した。 ⚫すべてのモデルは1つのGPUを用いて学習した。また、 実行時間を検証するためにGPU上とCPU上の両方で 行った。 ⚫翻訳モデルのエンコーダには双方向RNN、注意機構 及びデコーダはConcat
Global Attention モデルを使 用した。また、RNNには入力、忘却、出力ゲートを含 む1層のLSTMを使用した。 ⚫ニューラルネットワークの学習にはAdam最適化機を 使用し、そのハイパーパラメータは = 0.001, 1 = 0.9, 2 = 0.999, = 10−8 ⚫モデルの評価にはBLUEを使用 11
実験結果 BLEUと計算速度 12
実験結果 学習の推移 13
翻訳精度への影響 14
単語出現頻度と推定精度の関係 15
今後への展開 ⚫翻訳モデルにより適した単語のビット列への割り当て手法 ⚫ニューラル翻訳モデルの学習により適した形の誤り訂正手法の 開発 ⚫入力装側の単語ベクトルも二値符号に制約し、モデルのパラメー タを削った場合の翻訳精度は同様に達成できるのか ⚫翻訳モデルの内部状態やパラメータが獲得した表現に関する調 査 16