Global-Locally Self-Attentive Dialogue State Tracker

Global-Locally Self-Attentive Dialogue State Tracker(GLAD)の説明

Transcript

1. Global-Locally Self-Attentive Dialogue State Tracker Sep. 10. 2018 Aidemy 技術顧問 Convergence Lab.代表 木村　優志
2. 紹介する論文 Global-Locally Self-Attentive Dialogue State Tracker Victor Zhong, Caiming Xiong, Richard Socher Salesforce Research ACL 2018 http://www.aclweb.org/anthology/P18-1135 https://github.com/salesforce/glad 2
3. Dialogue State Tracking 自然言語対話型システムのための技術。 Dialogue Stateとは、対話ある時点でユーザが望ん でいることを指す。Belief State とも呼ぶ。 3
4. DSTC2 GLADの評価はDSTC2で行われている。 レストラン検索対話タスクを対象にしている。 ユーザが要求した slot の情報を返すことを目的とし ている。 4
5. DSTC2 の slot Area: 5種類 Food: 91種類 Name: 113種類 Price range : 3種類 5
6. 6 DSTC2 の対話例（WoZ） WoZ: Wizard of Oz （オズの魔法使い) システム側も人間が実行
7. GLADのモデル - Encoderと Scoring 7
8. Encoder 8
9. Global-locally self-attentive encoder 9 ほとんどのslot値はまれにしか 現れない。 そこで、”Global”で、すべての slotで共通のパラメータをもた せ、”Local” でslot固有のパラ メータをもたせる。
10. Global-locally self-attentive encoder 10 Gated Mixture of H 　 βs はslotごとに学習される。
11. Global-locally self-attentive encoder 11 Self Attention 　　Global Self-Atten（全slot 共通) Local Self-Attn　（slot 固有） i: sequence index
12. Global-locally self-attentive encoder 12 Gated Mixture of C 　 βs はslotごとに学習される。
13. Scorer 13
14. Scorer 14 ユーザ発話と直前のシステム応答からユーザが要求した slotのスコアリングをする。 Attention を用いる ユーザ発話から求めるスコア y utt 直前のシステム応答から求めるスコア y act
15. Scorer シグモイド関数によって、 ２つのスコアを正規化する。 15
16. 実装上の詳細 単語埋め込みにはGloVe を使用 Adam で最適化 Dropout rate 0.2 16
17. GLADの性能 'joint_goal': 0.8748481166464156, 'turn_inform': 0.92831105710814099, 'turn_request': 0.97448359659781292 　　　　　　　　　　　　（筆者環境による学習結果） 17
18. GLAD の DSTC2の対話例 1/2 18 前ターンのシステム応答 ユーザー発話 予測したユーザの信念 N/A I would like Polynesian food in the South part of town. Please send me phone number and address. request(phone) request(address) inform(food=polynesian) inform(area=south) request(address) request(phone) There is a moderately priced italian place called Pizza hut at cherry hilton. would you like the address and phone number? Yes please. request(phone) request(address)
19. Global-locally Self Attentionのスコア foodとchinese , areaと”within 5 miles”が強く対応 19
20. まとめ GLAD を紹介した。 　Global - Locally self-Attentive Encoderで、全slot 共通(global)とslot固有(local)の情報を用いてエン コード 　ユーザ発話と直前のシステム応答をAttentionによ りスコアリング 20