Slide 4
Slide 4 text
Hierarchical Attention Network (HAN) (検証に利用する既存モデル)
3
Yang+ (2016) を改変
Zichao Yang, Diyi Yang, Chris Dyer, Xiaodong He, Alex Smola, and Eduard Hovy. 2016. Hierarchical attention networks for
document classification. In Proc. of NAACL-HLT.
単語に対するアテンション
Query:
(どのような単語が重要か)
Key と Value: ℎ
(文の単語の表現)
単語列を双方向GRUでエンコード
文系列を双方向GRUでエンコード
文に対するアテンション
Query:
(どのような文が重要か)
Key と Value: ℎ
(文の表現)
線形変換+ソフトマックスで予測
← 検証対象