Upgrade to Pro — share decks privately, control downloads, hide ads and more …

NIPS2015読み会 End-To-End Memory Networks

Yuya Unno
January 20, 2016

NIPS2015読み会 End-To-End Memory Networks

Yuya Unno

January 20, 2016
Tweet

More Decks by Yuya Unno

Other Decks in Technology

Transcript

  1. NIPS2015読み会 End-To-End Memory Networks S. Sukhbaatar, A. Szlam, J. Weston,

    R. Fergus Preferred Infrastructure 海野  裕也(@unnonouno) 図はすべて元論文から引用 2016/01/20 NIPS2015読み会@ドワンゴ
  2. 4

  3. 定式化 l  ⼊入⼒力力 l  知識識源: {x 1 , x 2

    , … , x n } l  質問: q l  それぞれ⾃自然⽂文(任意⻑⾧長の単語列列=整数列列) l  出⼒力力 l  質問への回答: a (単⼀一の単語=整数) l  パラメータ l  埋め込みベクトル⾏行行列列: A, B, C (d x V次元) l  回答⽤用⾏行行列列: W (V x d次元) l  d: 埋め込みベクトルの次元数、V: 語彙数 7
  4. おさらい l  知識識源x i はAを使ってm i に、Cを使ってciに l  質問qはBを使ってuに l 

    m i とuの内積とsoftmaxを取って、各知識識に対す る重みp i に l  c i をp i で重み付き和を取ってoに l  o + uをWにかけて、期待する答えaとの softmax cross entropyをlossとする 16
  5. 重みに対する制約 l  Adjacent l  上位階層との重みベクトルを共通にする l  A k+t = C

    k l  B = A 1 l  これは重みp i の計算のときに、qもxも同じエン コードをすることを⾔言っている l  Layer-wise l  A 1 = A 2 = … l  C 1 = C 2 = … 20 基本、こちらを使う