Copyright©2018 NTT corp. All Rights Reserved. 複数言語複数タスクを扱う発話意図推定 モデリングのための敵対的学習の検討 日本電信電話株式会社 NTTメディアインテリジェンス研究所 ○増村 亮, 篠原 雄介, 東中 竜一郎, 青野 裕司

Copyright©2018 NTT corp. All Rights Reserved. 本発表の概要 2  課題  本研究のポイント  特定の言語に依存しない結合モデリング、および特定のタスクに依 存しない結合モデリングを同時に実現するための敵対的学習を導入  結合モデリングでは、データ量が多いタスクや言語にモデル全体が 依存してしまい、データ量が少ないタスクや言語で性能劣化  本研究でやりたいこと  複数言語のデータ、および複数タスクのデータを同時に用いて モデル化することで、各言語、各タスクでの文分類性能を向上  評価  2言語3タスクの6種類のデータを用いて提案手法の有効性を評価  文分類について、複数言語複数タスクを同時に扱う 結合モデリングのための敵対的学習手法を提案

Copyright©2018 NTT corp. All Rights Reserved. 3 本発表の流れ 1. 研究背景 2. 従来手法・提案手法の詳細 3. 評価実験 4. まとめ

Copyright©2018 NTT corp. All Rights Reserved. 本研究で対象とする文分類問題 4  しばしば様々な発話意図推定が用いられる  対話行為推定  ドメイン推定  質問種別推定、など  音声対話の音声言語理解において不可欠なモジュールであり、 入力発話を単位として発話意図を表すラベルを付与 音声認識 音声言語理解 対話制御 音声合成 応答生成 日本で一番 高い山はどこ？ 富士山 です 富士山 って どの辺 に ある っけ スロット B_山 O B_場所 O O O 対話行為 質問 話題 山 質問タイプ 場所 発話意図推定  音声対話における発話意図推定

Copyright©2018 NTT corp. All Rights Reserved. 5 発話意図推定のモデル化  従来のSVM等を用いたモデル化では素性エンジニアリングが必 要であったが、素性抽出も含めてend-to-endに最適化可能  LSTM-RNN [Ravuri+ 2016]  CNN [Kim+ 2014]  その他の高度化 (注意機構など) [Zhou+ 2016][Yang+ 2016]  発話意図推定は、文分類におけるタスクの一種であり、 様々なモデル化が提案されている 1 2 3 4 5 1 2 3 4 5 = EMBED( ; ) 単語の連続表現 発話全体の連続表現 = LSTM(1 , … , 5 ; ) 各ラベルについての事後確率分布 = SOFTMAX(; ) (例) Sequence-to-one型の LSTM-RNNによるモデル化  深層学習ベースのニューラル発話意図推定が高い性能を実現

Copyright©2018 NTT corp. All Rights Reserved. 本研究のモチベーション 6  実用時において直面する課題例  日本語のラベル付きデータはたくさん集められるが、 英語のラベル付きデータは限られる  ニューラル発話意図推定の頑健なモデル化には、 大量の学習データが必要  対話行為種別を識別するためのラベル付きデータはたくさん集めら れるが、質問種別を識別するためのラベル付きデータは限られる  各言語の各タスク向けに ラベル付きデータを大量に準備することは困難  各言語、各タスクについて準備可能な学習データ量が 限られる場合でも頑健なモデルを構築すること

Copyright©2018 NTT corp. All Rights Reserved. 結合モデリング 7  言語依存共有ネットワーク [Liu+ 2016][Zhang+ 2016]  ある言語の異なるタスク間で共有可能なネットワーク  あるタスクを扱う異なる言語間で共有可能なネットワーク  タスク依存共有ネットワーク [Guo+ 2016] 話題種別ラベル 対話行為推定依存 共有ネットワーク 話題種別推定依存 共有ネットワーク 英語依存 共有ネットワーク 英語テキスト 対話行為ラベル 対話行為推定依存 共有ネットワーク 英語依存 共有ネットワーク 英語依存 共有ネットワーク 英語テキスト 日本語テキスト 対話行為ラベル 言語依存共有ネットワーク タスク依存共有ネットワーク  ニューラルネットワークの層を言語間やタスク間で共有する ことで、共有可能な知識を効率的に獲得 [Collobert+ 2008]

Copyright©2018 NTT corp. All Rights Reserved. 複数言語複数タスク間での結合モデリング 8 話題種別ラベル 対話行為推定依存 共有ネットワーク 日本語依存 共有ネットワーク 話題種別推定依存 共有ネットワーク 英語依存 共有ネットワーク 英語テキスト 日本語テキスト 対話行為ラベル 2言語2タスク間での結合モデリング 英語の対話行為推定と 日本語の対話行為推定で 共有可能な知識を蓄積可能  各言語の各タスクのデータを準備して、 全データに対して最尤基準で学習することが一般的 日本語の話題種別推定と 日本語の対話行為推定で 共有可能な知識を蓄積可能  言語依存共有ネットワークとタスク依存共有ネットワーク の併用による結合モデリング [Masumura+ 2018][Lin+ 2018]

Copyright©2018 NTT corp. All Rights Reserved. 結合モデリングの課題 9  学習データが比較的少ない言語やタスクに対しては、 個別でモデル化する場合よりもしばしば性能劣化 複数言語 複数タスク 結合モデル 日本語 対話行為 日本語 話題種別 日本語 質問種別 英語 対話行為 英語 話題種別 英語 質問種別 - 66.6 79.1 87.7 61.8 64.5 83.4 ✓ 66.6 79.7 89.3 60.5 65.4 82.6 （例）日本語、英語の2言語（日本語データ量多め、英語データ量少なめ）、 対話行為推定、話題種別推定、質問種別推定の3タスク での複数言語・複数タスク結合モデリングの効果検証 日本語のデータでは、 各データにおいて改善 英語のデータでは、 性能劣化が目立つ テストデータに対する発話意図推定の正解率 (%)  各言語、各タスクで集められるデータ量がそれぞれ異なるた め、データ量が多いタスクや言語にモデル全体が依存

Copyright©2018 NTT corp. All Rights Reserved. 課題解決のためのアイデア 10  各言語依存共有ネットワークの出力について、 タスクを分類できなければよいのでは？  各タスク依存共有ネットワークの出力について、 言語を分類できなければよいのでは？ 話題種別ラベル 対話行為推定依存 共有ネットワーク 話題種別推定依存 共有ネットワーク 英語依存 共有ネットワーク 英語テキスト 対話行為ラベル 対話行為推定依存 共有ネットワーク 英語依存 共有ネットワーク 英語依存 共有ネットワーク 英語テキスト 日本語テキスト 対話行為ラベル 言語依存共有ネットワーク タスク依存共有ネットワーク どのタスクに属する 学習データであるか、 出力から判断 できないようにする どの言語に属する 学習データであるか、 出力から判断 できないようにする  共有ネットワークを特定の言語や特定のタスクに 依存しないような学習基準を導入すればよいのでは？

Copyright©2018 NTT corp. All Rights Reserved. 着想を得た手法: ドメイン敵対的学習 11  あるクラス分類問題のモデル化を複数ドメインのデータから 学習する際に、クラス分類性能が高くなるように、かつ、 ドメイン分類がしづらくなるようにネットワークを学習 特徴量抽出 のための ネットワーク クラス分類 のための ネットワーク ドメイン分類 のための ネットワーク クラスラベル ドメインラベル 入力データ − Gradient Reversal Layer バックプロパゲーション時 のみ勾配の符号を反転する 役割を担う  共有ネットワークの出力からドメインを分類できないように 学習することでドメインに普遍な特徴量抽出器を学習 [Ganin+ 2015]

Copyright©2018 NTT corp. All Rights Reserved. 提案手法 12  ドメイン敵対的学習の拡張として、 言語種別についての敵対的ネットワークと タスク種別についての敵対的ネットワークを同時に導入 タスク種別についての 敵対的ネットワーク タスク種別ラベル 言語種別についての 敵対的ネットワーク 言語種別ラベル 話題種別ラベル 対話行為推定 識別ネットワーク 話題種別推定 識別ネットワーク 英語依存 共有ネットワーク 英語テキスト 対話行為ラベル 対話行為推定依存 共有ネットワーク 話題種別推定依存 共有ネットワーク 対話行為推定 識別ネットワーク 英語依存 共有ネットワーク 英語テキスト 対話行為ラベル 日本語依存 共有ネットワーク 日本語テキスト 対話行為推定依存 共有ネットワーク タスク種別についての敵対的ネットワーク 言語種別についての敵対的ネットワーク  言語やタスクの異なりに不変な特徴抽出と、 発話意図推定の性能向上を両立させるモデル化が期待  複数言語・複数タスクの結合モデリングの敵対的学習

Copyright©2018 NTT corp. All Rights Reserved. 本研究の立ち位置 13  BLSTM-RNNとAttention機構を用いたネットワーク構造 について、具体的なモデル化と学習方法を明示  日本語と英語の2 言語，および対話行為、話題種別、質問種別 の3 種類の意図推定タスクのデータを用いた大規模な評価  本研究は分類問題に適用しているが、生成問題にも応用可能  複数入力種別・複数出力種別を扱うニューラルネット ワークのためのドメイン敵対的学習を初めて提案

Copyright©2018 NTT corp. All Rights Reserved. 14 本発表の流れ 1. 研究背景 2. 従来手法・提案手法の詳細 3. 評価実験 4. まとめ

Copyright©2018 NTT corp. All Rights Reserved. 15 ベースライン 1 2 −1 …… …… EMBED BLSTM SOTMAX ATTENTION 1 2 −1 1 2 −1 BLSTM ℎ = − =1 || log ( | , ) 誤差を逆伝搬 することで、 パラメータを 最適化  入力: トークン系列 = {1 , … , }  本研究では、BLSTM-RNNとAttention機構を用いた 文分類のネットワーク構造を採用 [Yang+ 2016]  出力: ラベル事後確率 = {(1 |), … , ( |)}  学習時の誤差  単言語・単タスクを扱うモデル化と学習

Copyright©2018 NTT corp. All Rights Reserved. 16 従来手法 EMBED BLSTM SOTMAX ATTENTION BLSTM (=2) (=2) EMBED BLSTM SOTMAX ATTENTION BLSTM (=1) (=1) (=1) (=1) (=1) ℎ (=1) (=1) (=2) (=2) (=2) ℎ (=2) (=2)  言語依存共有ネットワークとタスク依存共有ネットワーク を導入すること知識共有を実施 言語依存共有ネットワーク タスク依存共有ネットワーク 分類器ネットワーク  出力: 番目のタスクのラベル事後確率 () = {(1 |), … , ( () |())}  入力: 番目の言語のトークン系列 () = {1 , … , }  複数言語・複数タスクを扱うモデル化

Copyright©2018 NTT corp. All Rights Reserved. 17 複数言語・複数タスクを扱う場合の学習 = − ( () , () )∈(,) log ( ()| ()) EMBED BLSTM SOTMAX ATTENTION BLSTM (=) EMBED BLSTM SOTMAX ATTENTION BLSTM (=1) (=1) (=1) (=1) ℎ (=1) (=1) (=2) (=2) (=2) ℎ (=2) (=2)  学習時の誤差 (=1) (=1) (=1) ℎ (=2) (=2)  各言語の各タスクのデータについてランダムにミニバッチを作成し、 モデルパラメータを更新する作業を繰り返すことで最適化 i=1の言語j=2のタスクについてのパラメータ更新  全ての学習データに対して最尤基準で学習

Copyright©2018 NTT corp. All Rights Reserved. 18 提案手法 タスク種別を識別する ネットワーク EMBED BLSTM SOTMAX ATTENTION BLSTM (=2) (=2) EMBED BLSTM SOTMAX ATTENTION BLSTM (=1) (=1) (=1) (=1) (=1) ℎ (=1) (=1) (=2) (=2) (=2) ℎ (=2) (=2) SOTMAX ATTENTION (=1) (=1) (=1) SOTMAX ATTENTION (=1) (=1) (=1) GRL GRL SOTMAX ATTENTION (=2) (=2) (=2) GRL SOTMAX ATTENTION (=2) GRL (=2) (=2) 言語種別を識別する ネットワーク  タスク種別に敵対的なネットワーク、および言語種別に 敵対的なネットワークを複数言語・複数タスクを扱う 結合モデリングに結合  敵対的学習をサポートする複数言語複数タスク結合モデル

Copyright©2018 NTT corp. All Rights Reserved. 19 提案手法における敵対的学習時の動作 EMBED BLSTM SOTMAX ATTENTION BLSTM (=2) (=2) (=2) (=2) (=2) ℎ (=2) (=2) SOTMAX ATTENTION (=2) (=2) (=2) GRL SOTMAX ATTENTION (=2) GRL (=2) (=2) (=2) (=2) (=2) (=2) (=2) (=2) (=2) − (=2) (=2) − (=2) − (=2) ℎ (=2) − ℎ (=2) − ℎ (=2)  敵対的なネットワークは、学習時のみ敵対的に動作 ここまでは、 タスクラベルの 識別がうまくいく ように学習 ここまでは、 言語ラベルの 識別がうまくいく ように学習  言語やタスクの異なりに不変な特徴抽出と、 発話意図推定の性能向上を両立させるように学習

Copyright©2018 NTT corp. All Rights Reserved. 20 本発表の流れ 1. 研究背景 2. 従来手法・提案手法の詳細 3. 評価実験 4. まとめ

Copyright©2018 NTT corp. All Rights Reserved. 21 データセット 言語 タスク #labels #training #testing 日本語 対話行為推定 28 200K 4K 日本語 話題種別推定 168 40K 4K 日本語 質問種別推定 15 55K 4K 英語 対話行為推定 28 25K 3K 英語 話題種別推定 168 25K 3K 英語 質問種別推定 15 25K 3K  日本語のデータ量は英語よりも多め タスク 発話例 ラベル例 対話行為推定 Hello, how are you today? I am so sorry to hear of your son’s accident. GREETING SYMPATHY/AGREE 話題種別推定 What is the highest mountain in the world? Who is president of the united states? MOUNTAIN PERSON 質問種別推定 Do you like egg salad? How do you correct a hook in a golf swing? TRUE/FALSE EXPLANATION:METHOD  日本語と英語の2種類の言語について、 それぞれ3種類の意図推定タスクのデータセットを準備

Copyright©2018 NTT corp. All Rights Reserved. 22 比較手法  ベースライン  ある言語のあるタスクのデータのみからモデルを学習し、 ある言語のあるタスクについて評価  従来手法 & 提案手法 (w or w/o 敵対的学習)  同一タスクを扱う複数言語のデータから結合モデルを学習し、 個々の言語について評価  同一言語を扱う複数タスクのデータから結合モデルを学習し、 個々のタスクについて評価  複数言語、複数タスクデータから結合モデルを学習し、 個々の言語の個々のタスクについて評価  結合モデリングの有用性、 および結合モデリング時の敵対的学習の有効性を評価

Copyright©2018 NTT corp. All Rights Reserved. 実験条件 23 1 2 −1 …… …… 1 2 −1 1 2 −1 128次元 400次元 400次元 400次元 ドロップアウト率: 0.5 ドロップアウト率: 0.5 ドロップアウト率: 0.5  最適化: 確率的勾配法を利用 (学習率の初期値0.1)  結合モデルの場合は、各言語の各タスクごとに学習率を準備し、 各言語の各タスクごとの開発データ基準で学習率を半減  単言語単タスクでのモデル化では、開発データ誤差基準で学習率を半減  ハイパーパラメーである敵対的学習についての重みは、 0.001から1.0まで変化させ、開発データに最適化ものを採用  学習・評価の施行を5回実施し平均で評価  ベースライン、従来手法、提案手法について、ある言語の あるタスクのネットワーク構造が同一になるように設定

Copyright©2018 NTT corp. All Rights Reserved. 24 実験結果① 複数言語 複数タスク 結合モデル 言語 敵対的 ネットワーク タスク 敵対的 ネットワーク 日本語 対話行為 日本語 話題種別 日本語 質問種別 英語 対話行為 英語 話題種別 英語 質問種別 - - - 66.6 79.1 87.7 61.8 64.5 83.4 ✓ - - 66.6 79.7 89.3 60.5 65.4 82.6 ✓ ✓ ✓ 67.6 81.3 90.0 61.9 66.7 83.7  敵対的学習を導入しない場合では、一部のデータで性能劣化が 生じてしまっていたが、提案手法では性能劣化が生じることなく、 結合モデルによる効果を反映させることが可能  通常の最尤基準で結合モデルを学習すると、データ量が多い 言語やタスクに依存する問題を敵対的学習により解決可能  提案手法に各言語の各タスクについて、 ベースラインよりも高い性能を実現

Copyright©2018 NTT corp. All Rights Reserved. 25 実験結果② 複数言語 複数タスク 結合モデル 言語 敵対的 ネットワーク タスク 敵対的 ネットワーク 日本語 対話行為 日本語 話題種別 日本語 質問種別 英語 対話行為 英語 話題種別 英語 質問種別 - - - 66.6 79.1 87.7 61.8 64.5 83.4 ✓ - - 66.6 79.7 89.3 60.5 65.4 82.6 ✓ ✓ - 66.7 80.7 89.5 60.9 66.7 83.0 ✓ - ✓ 67.3 81.1 89.6 61.5 66.1 83.5 ✓ ✓ ✓ 67.6 81.3 90.0 61.9 66.7 83.7  「どの敵対的ネットワークがどのような場合に有効であるか」 といった傾向は見られず、両者とも同様の改善効果を示した テストデータに対する発話意図推定の正解率 (%)  言語敵対的ネットワークとタスク敵対的ネットワークは それぞれ有効であり、両者の併用が最も有効

Copyright©2018 NTT corp. All Rights Reserved. 26 考察  影響は大きく、適切に設定することが重要  本実験では、敵対的学習による項の重みαやβは0.02が最適  依然としてデータ量が多い言語やタスクの改善効果が高めで あり、データ量が小さい言語やタスクの性能を改善させるため には、まだまだ改善の余地があり  敵対的ネットワークは、正則化項として解釈できるため、 その他の正則化(L2ノルム正則化等)との比較が必要 複数言語 複数タスク 結合モデル 言語 敵対的 ネットワーク タスク 敵対的 ネットワーク 日本語 対話行為 日本語 話題種別 日本語 質問種別 英語 対話行為 英語 話題種別 英語 質問種別 - - - 66.6 79.1 87.7 61.8 64.5 83.4 ✓ ✓ ✓ 67.6 81.3 90.0 61.9 66.7 83.7  敵対的学習のハイパーパラメータによる影響は？  データ量が少ない英語よりもデータ量が多い日本語で 改善効果が大きいのでは？

Copyright©2018 NTT corp. All Rights Reserved. 27 本発表の流れ 1. 研究背景 2. 従来手法・提案手法の詳細 3. 評価実験 4. まとめ

Copyright©2018 NTT corp. All Rights Reserved. まとめと今後の課題 28  提案手法によりできること  言語やタスクの異なりに不変な特徴抽出と、 発話意図推定の性能向上を両立させるように結合モデルを学習  実験結果  複数言語複数タスク結合モデルに敵対的学習を導入することで、 各言語の各タスクについてベースライン、従来手法よりも性能改善  今後の課題  事前学習モデル(ELMo等)を利用した場合の性能調査  結合モデリングに利用する言語を増やした場合の性能調査  異なるネットワーク構造を採用した場合の性能調査  複数言語複数タスクの結合モデリングのための 敵対的学習手法を提案し、発話意図推定問題に適用