Upgrade to Pro — share decks privately, control downloads, hide ads and more …

文献紹介「二値符号予測と誤り訂正を用いたニューラル翻訳モデル」

Ayumu
March 05, 2019

 文献紹介「二値符号予測と誤り訂正を用いたニューラル翻訳モデル」

2019/03/05
長岡技術科学大学 自然言語処理研究室
学部4年 守谷 歩

Ayumu

March 05, 2019
Tweet

More Decks by Ayumu

Other Decks in Technology

Transcript

  1. 二値符号予測と誤り訂正を
    用いたニューラル翻訳モデル
    2019/03/05
    長岡技術科学大学 自然言語処理研究室
    学部4年 守谷 歩
    1

    View Slide

  2. 文献
    ⚫「二値符号予測と誤り訂正を用いたニューラル翻訳モデル」
    ⚫小田 悠介, Philip Arthur, Graham Neubig, 吉野 幸一郎, 中村 哲
    ⚫二値符号予測と誤り訂正を用いたニューラル翻訳モデル, 自然言
    語処理, 2018, 25 巻, 2 号, p. 167-199, 公開日 2018/06/15, Online
    ISSN 2185-8314, Print ISSN 1340-
    7619, https://doi.org/10.5715/jnlp.25.167, https://www.jstage.jst.go
    .jp/article/jnlp/25/2/25_167/_article/-char/ja, 抄録:
    2

    View Slide

  3. 概要
    ⚫近年の機械翻訳ではエンコーダ、デコーダ、注釈機構からなる
    ニューラル翻訳モデルが研究されている。
    ⚫既存の方法で表現力の高いニューラル翻訳モデルの出力層では
    ソフトマックス演算を行っており、これは、語彙に含まれる全単語の
    スコアを隠れ層の一次結合として計算するため、計算量が語彙サ
    イズに比例するため軽量化したい。
    ⚫また、単純に二値符号のみを用いる方法だと翻訳精度が従来の
    手法と比べて大幅に低下してしまう。
    3

    View Slide

  4. 概要
    ⚫従来の方法でも以下の4つの観点が計算量を軽量化するために
    需要だと考えられる。
    ⚫翻訳精度
    ⚫空間効率(使用メモリ量)
    ⚫時間効率(実行速度)
    ⚫並列計算との親和性
    ⚫軽量化をするために従来のソフトマックスモデルを部分的に導入
    し、高頻度語と低頻度語を分離し、学習させる手法を提案。また、
    二値符号の頑健性を向上させるため、誤り訂正符号、畳み込み符
    号による冗長化を施す。
    4

    View Slide

  5. 単純なソフトマックスモデルの定式化
    ⚫語彙サイズV、同じ数の次元の連続空間ℝ
    ⚫単語ID ∈ { ∈ ℕ|1 ≤ ≤ }に対応する次元を1、それ以外の次元を
    0とする単位ベクトル
    () ∈ ℝを単語の表現とみなす
    ⚫部分空間

    = ∈ ℝ ∧ ∀. 0 ≤
    < 1 ∧ σ
    =1

    = 1
    ⚫損失関数の計算

    , =
    , = −
    + log ෍
    =1


    =
    σ
    =1

    = ℎ
    ℎ +
    5

    View Slide

  6. 二値符号を用いた単語の表現手法
    6

    View Slide

  7. 二値符号を用いた単語の表現手法
    ⚫単語に対応するビット列
    = b1
    w , b2
    w , … , bB
    w V = 0,1 B
    ⚫各ビットが1となる確率
    ℎ = 1
    ℎ , 2
    ℎ , … ,
    ℎ ∈ 0,1
    ⚫ロジスティック回帰モデル
    ℎ = ℎ
    ℎ +
    , =
    1
    1 + exp(−)
    ⚫確率q(h)における各ビットごとの確率の積
    Pr ℎ = ෑ
    =1



    ℎ + 1 −
    1 −

    7

    View Slide

  8. 二値符号モデルの損失関数、計算量
    ⚫損失関数
    損失関数の満たすべき条件

    , ቊ
    =∈ =
    ≥∈

    損失関数は、先行研究より二乗誤差を用いるほうが精度が向上

    , = ෍
    =1
    B


    2
    ⚫計算量

    8

    View Slide

  9. ソフトマックスと二値符号予測の
    混合モデル
    ⚫生成確率
    Pr ℎ = ቊ

    , <

    ∗ , ℎ ℎ
    =
    exp
    σ
    =1
    exp
    , = ℎ
    ℎ +
    , ℎ = ෑ
    =1

    (

    + 1 −
    1 −
    )
    ⚫損失関数
    = ൝

    , <

    +
    , ℎ

    =

    , ,
    =

    ,
    9

    View Slide

  10. 誤り訂正符号の適用
    ⚫単純な二値符号予測モデル、混合モデルは二値符号自体の頑健性
    を考慮していないため、ビット誤りを許さない形となっている。
    ⚫ビット列に対して、何らかの冗長性を導入する
    10

    View Slide

  11. 実験設定
    ⚫コーパスはASPECとBTECを使用
    ⚫英語のトークン化にはMoses、日本語のトークン化に
    はKyTeaを使用した。
    ⚫ニューラルネットワークの構築にはDyNetを使用した。
    ⚫すべてのモデルは1つのGPUを用いて学習した。また、
    実行時間を検証するためにGPU上とCPU上の両方で
    行った。
    ⚫翻訳モデルのエンコーダには双方向RNN、注意機構
    及びデコーダはConcat Global Attention モデルを使
    用した。また、RNNには入力、忘却、出力ゲートを含
    む1層のLSTMを使用した。
    ⚫ニューラルネットワークの学習にはAdam最適化機を
    使用し、そのハイパーパラメータは = 0.001, 1
    =
    0.9, 2
    = 0.999, = 10−8
    ⚫モデルの評価にはBLUEを使用
    11

    View Slide

  12. 実験結果 BLEUと計算速度
    12

    View Slide

  13. 実験結果 学習の推移
    13

    View Slide

  14. 翻訳精度への影響
    14

    View Slide

  15. 単語出現頻度と推定精度の関係
    15

    View Slide

  16. 今後への展開
    ⚫翻訳モデルにより適した単語のビット列への割り当て手法
    ⚫ニューラル翻訳モデルの学習により適した形の誤り訂正手法の
    開発
    ⚫入力装側の単語ベクトルも二値符号に制約し、モデルのパラメー
    タを削った場合の翻訳精度は同様に達成できるのか
    ⚫翻訳モデルの内部状態やパラメータが獲得した表現に関する調

    16

    View Slide