チャットボットプロダクトにおけるリアルなNLP課題

BCU30で登壇した資料です
https://bcu30.jp/2019/talk/tomomatsu-yuta/

Transcript

1. チャットボットプロダクト におけるリアルな NLP(⾃然⾔語処理) 課題 株式会社サイバーエージェント アドテク本部 AIメッセンジャーカンパニー 友松祐太
2. 1.はじめに 2.AIメッセンジャーについて 3.チャットボット の運⽤における課題 4.まとめ
3. はじめに
4. ⾃⼰紹介 名前︓ 友松 祐太(ともまつゆうた) 職種︓ データサイエンティスト 主な仕事︓ チャットボット のロジック開発/データビジュアライゼーション これまでの経歴︓ • 2015/04(学部4年)-2017/03(修⼠1年) サイバーエージェントの研究組織であるAI Labとの共同研究に携わる サイバーエージェントに内定 • 2017/07(修⼠2年) - 内定者アルバイトという形でAIメッセンジャーで仕事を始める • 2018 サイバーエージェントに新卒⼊社 内定者時代から引き続きAIメッセンジャーに配属
5. はじめに • チャットボットの開発/運⽤にあたり直⾯する様々なNLP(Natural Language Processing, ⾃然 ⾔語処理)の課題についてのお話しします • 時間的な制約があるので細かい話はAsk the Speakerおよび懇親会の時間に聞いてください • 数式や具体的な機械学習⼿法の話は⾏いません。
6. AIメッセンジャーについて
7. AIメッセンジャーについて
8. AIメッセンジャーについて 経験豊富なAIコミュニケーション デザイナーがトータルサポート！ [特徴] ①AIによる自動応答 ②有人切り替え可能 ③初期設計/運用/コンサルティングを提供 ⾼品質なチャットボットを提供
9. AIによるチャットボットの仕組み Question Answer ポイントはマイページ にて確認いただけます... 何ポイント貯まったか 確認したい FAQ
10. 賢いチャットボットを作るために 賢い チャット ボット 賢いAI 質の⾼い FAQの整備
11. チャットボットの 運⽤における課題
12. チャットボット の運⽤プロセス
13. チャットボット の運⽤プロセス 初期設計
14. 初期設計 ⼈⼿ ⾃動 ⼈的コスト: ⼤ 技術コスト: ⼩ ⼈的コスト: ⼩ 技術コスト: ⼤ 顧客とCS(カスタマーサポート)のやりとりの記録からチャットボットが 答えるFAQを作成する
15. 初期設計 ⼈⼿ ⾃動 ⼈的コスト: ⼤ 技術コスト: ⼩ ⼈的コスト: ⼩ 技術コスト: ⼤ 顧客とCS(カスタマーサポート)のやりとりの記録からチャットボットが 答えるFAQを作成する ⼀部を⾃動化し、残りの作業を⼈⼿で⾏う (例)問い合わせのクラスタリング • 重複する問い合わせをまとめられる • 件数から重要度がわかる 他にもクラスタ内の要約やキーフレーズ抽出などが 考えられる(できるだけ⾃動の部分を増やしたい)
16. チャットボット の運⽤プロセス 実際の使われ⽅の確認
17. 表記揺れ ユーザに⾃由⼊⼒を許す場合、ユーザは様々な表現で問い合わせてくる iphoneのデータ引き継ぎ iphone7のデータ引き継ぎ アイホンのデータ引き継ぎ アイフォーンのデータ引き継ぎ
18. 表記揺れ 【解決法】 辞書に表記揺れのパターンを登録 【問題点】 1. 運⽤開始時に全ての表記揺れを把握することは不可能 運⽤しながら辞書を追加していく必要があり、⼈的コストがかかる 2. 顧客によって表記揺れとして扱うべきものが異なる iPhoneもAndroidも「スマホ」として扱っていい場合と分けて扱わなければならない場合がある →顧客ごとに辞書を設定する必要がある 可能な限り辞書作成を⾃動化したい ＆ 表記揺れに強いモデルを適⽤したい
19. チャットボット の運⽤プロセス FAQの再設計
20. FAQの改善 利⽤ログにはどういう問い合わせに対して何の回答を提案し、それが参照されたか が記録されている 利⽤ログ 提⽰した回答が参照されなかった原因を分析 1. 回答候補に適切なものが無い →対応するFAQの作成 2. 新商品などの新語 →表記揺れ辞書の追加 3. 正しい回答は提⽰できているが正しいと認識されていない →提⽰⽂⾔の修正(次ページ)
21. 提⽰⽂⾔の修正 下記の中に近い問題はありますか︖ マイページの開き⽅ ログイン⽅法 ・・・ ・・・ このサイトではログインするとマイページが開くので、提⽰した回答で解決できる しかし「ログイン=マイページを開く」と認識できていないユーザーもいるため マイページへのログイン⽅法 ログイン⽅法 マイページの開き⽅ と修正するか のようにユーザの発話に合わせて2種類の⽂⾔を提⽰するなど、 回答⽂⾔を⼯夫する必要がある
22. ログの汚染 メモ 不幸の⼿紙 ゲーム広告 ◦◦を⼀緒に遊ぼう! かんたんなパズルゲームだよ。 ▼ダウンロードはこちらから▼ https://〇〇/△ △ △ 今、〇〇本社がチェンメの危険性 を確かめる為、どこまで回るのか 検証中です。前回の嘘を⾒た〇〇 本社が、新しく作りました。もし よければ、このメッセージを20⼈ に回してください。もし、回して くれた場合、〇〇本社から1000コ イン、お好きな着せ替え1個をプレ ゼントします!ご協⼒お願いします。 せんぱいせんぱい! 今週の⽊曜⽇の夜って、お忙しいで すか? 提供するボットの機能と関係のない⼊⼒がされることがある 学習のノイズや、ボットの指標に悪影響なので、これらの問い合わせは除外したい →スパムフィルターの開発
23. まとめ
24. まとめ • AIチャットボット の精度向上には「AIの賢さ」に加えて「質の⾼いFAQの整備」が不可⽋ • 実プロダクトにおいてNLPや機械学習の利⽤価値は無限⼤ • アカデミックとはまた違った実プロダクトならではの課題がたくさんある。 続きはAsk the Speakerと懇親会で話しましょう︕
25. ご静聴ありがとうございました