AIチャットボットのためのチューニング支援システム

第11回対話システムシンポジウム, 2020(sig-slud)
〇友松祐太,戸田隆道,杉山雅和（AI Shift）

Transcript

1. 3. 通常のAIチャットボットのチューニング作業 1. ユーザの質問に対してチャットボットが回答を失敗したログを収集 2. 1の各ユーザの質問が既存の⽤例で回答可能かを判断 ⇨ 既存の⽤例で回答可能の場合は既存の⽤例の⾔い換えとして紐付けを⾏う ⇨ 既存の⽤例で回答不可能の場合は新規の⽤例として新たに追加する AIチャットボットのためのチューニング⽀援システム 友松 祐太, ⼾⽥隆道, 杉⼭ 雅和(株式会社AI Shi)) 1. 概要 • AIチャットボットのチューニング作業の問題を解消するため のモデルを考案 • 上記モデルを含んだ管理画⾯を開発し補助ツールとして提供 2. 背景 • ⽤例ベースの1問1答型のAIチャットボットにおいて、モデル の精度と⽤例のチューニングが⾮常に重要 • チューニング作業には運⽤ノウハウと⼯数が多くかかる ┗ ログを1件ずつ⽬視で確認し判断する必要がある • チューニング作業が属⼈化しやすく、作業者の変更が困難 ┗作業者が既存の⽤例をある程度理解している必要がある サインインできない 新規登録したい ログインできない 回答失敗発話 既存の⽤例 図1: 既存の⽤例に存在する場合 既存の⽤例の⾔い換えとして紐付け ⽀払いができない 新規登録したい ログインできない 回答失敗発話 既存の⽤例 図2: 既存の⽤例に存在しない場合 ⽀払いができない 新しい⽤例として登録 4. 提案モデル & チューニング⽀援システム 通常のAIチャットボットのチューニング作 業では、回答に失敗したログを1件ずつ確認 する必要があり、さらに既存の⽤例で回答 可能かの判断をする⼯数もかかる。 1. ユーザの質問に対してチャットボットが 回答を失敗したログを収集 2. 1. の各ユーザの質問をBERTで分散表現 に変換しクラスタリングを⾏う 3. 各クラスタに対して最もクラスタを代表 する(⽤例に追加するにふさわしい)⽂章 を⾃動で選択し、クラスタ代表⽂とする 4. 各クラスタ代表⽂と既存の⽤例との類似 度を予測し、⾼い順に画⾯に表⽰ 図3: チューニング⽀援システムの画⾯ クラスタ 代表⽂ クラスタ内 ⽂章数 クラスタ代表⽂と近い 既存の⽤例 ⽤例の新規追加ボタン 5. Future Works • 本提案システムによって作業⼯ 数及び回答精度の向上につな がっているかの分析 • 各クラスタ代表⽂と既存の⽤例 の類似度予測精度の改善 • 本提案システムの作業ログを⽤ いた運⽤⾃動化システムの構築 Reference _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ [1] 東中⻯⼀郎, 川前徳章, 貞光九⽉, 南泰浩, ⽬⿊豊美, 堂坂浩⼆, 稲垣博⼈: 対話⾏為設計のための発話クラスタリング, ⾔語・⾳声理解と対話処理研究会, Vol. 63, pp. 37–42(2011 年) [2] Jagadeesh J, Prasad Pingali, Vasudeva Varma: Sen-tence ExtracLon Based Single Document Summariza-Lon, Workshop on Document SummarizaLon, 19th and 20th March, 2005, IIIT Allahabad [3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and KrisLna Toutanova: BERT: Pre-training of deep bidi-recLonal transformers for language understanding., arXiv preprint arXiv:1810.04805, 2018. [4] Daniel Cer, Yinfei Yang, Sheng-yi Kong, Nan Hua, Nicole LimLaco, Rhomni St. John, Noah Constant, Mario Guajardo-C ́espedes, Steve Yuan, Chris Tar, Yun-Hsuan Sung, Brian Strope, Ray Kurzweil: Universal Sentence Encoder, arXiv preprint arXiv:1803.11175, 2018. デモ動画を当⽇公開予定です