(C) mixi, Inc. Customer Support Tech Meetup #1 2020年3月25日 株式会社ミクシィ 本間 光宣 ユーザーも驚きの高速かつ正確な対応を AIを用いて実現する

(C) mixi, Inc. ○ 本間 光宣（@_mitsu9） ○ 2018年新卒入社 ○ 2018年4月〜：CRE ○ CSが利用する各種ツールの開発・運用 ○ 機械学習を用いたCSの業務効率化 2 自己紹介

(C) mixi, Inc. 【話すこと】 今年度作成したテンプレ対応効率化システムの概要 システム構築の流れと発生した問題 効率化する対象の選び方 【伝えたいこと】 CSの改善のためにはCSとエンジニアの協力が必要不可欠！！ 3 今日話すこと・伝えたいこと

(C) mixi, Inc. 4 テンプレ対応効率化システムの概要

(C) mixi, Inc. ○ テンプレ対応するような問い合わせは返信時間が満足度に直結する ○ テンプレ対応における課題 ○ テンプレを探すことに時間がかかる ○ 異なるテンプレートを選択してしまい対応を間違えることがある ○ 技術の力で何とかできたりしないだろうか？というところからプロジェクトが開始！ ○ チームでは初の機械学習を用いたプロジェクト 5 テンプレ対応効率化の取り組みについて 問い合わせ一覧を見る 問い合わせを選ぶ 対応するテンプレを探す テンプレ返信をする 問い合わせ対応の基本的な流れ

(C) mixi, Inc. 6 テンプレ対応効率化システムを用いたオペレーションの流れ テンプレ推薦ありの 問い合わせ一覧 CSが推薦された テンプレで返信 して良いか判断 テンプレ推薦無しの 問い合わせ一覧 システムが テンプレで返信 OK NG AIが問い合わせに 対してテンプレを推 薦する システムが対応する箇所 CSが対応する箇所 従来通りに対応 AIは問い合わせに対して 「テンプレA, テンプレB, … or 該当なし」から該当 するラベルを付与する 問い合わせ入信 該当あり 該当なし

(C) mixi, Inc. 7 ZendeskでのCSのオペレーションの様子 AIがテンプレAを推薦した 問い合わせの一覧画面 各問い合わせの画面でOK/NGを 選択する 問い合わせ詳細 OK システムが テンプレ返信 NG 通常対応の フローの戻る

(C) mixi, Inc. ○ 内部的には問い合わせ文に対してとあるテンプレートで返信できるか どうかを判定する二値分類器を複数作成 8 AIシステムの概要 テンプレAで返信できるかど うかを判定する分類器 テンプレBで返信できるかど うかを判定する分類器 返信できない 返信できる AIシステム 問い合わせ文 「XXXXX」に 適切なテンプレは 何？ テンプレB！

(C) mixi, Inc. 9 AIシステムの構成 SageMaker Endpoint Zendesk CodeBuild (定期実行) 定期更新 推論リクエスト 推論・組み込み SageMaker Training Job S3 モデル取得 Zendesk 分析 学習 S3 インポート 取得 Athena S3 学習用データ 生データ 加工済みデータ 取得 保存 学習済みモデル ○ システムは３つのコンポーネントから構成される 第10回Amazon SageMaker事例祭り(https://aws.amazon.com/jp/blogs/news/amazon-sagemaker-fes-10/)で詳しく話しましたのでこちらも参考にどうぞ

(C) mixi, Inc. 10 システム構築によって得られた効率化の効果 先月リリース・現在は一部のカテゴリにのみ対応 対応時間の削減効果 AIの効果・精度 効率化前は1~5分/件 システム導入によって約20秒/件で 対応が可能になった 対象となる問い合わせの1.2%に対して AIがテンプレを推薦 ただし正解率はまだ5割程度

(C) mixi, Inc. 11 システム構築の流れと発生した問題

(C) mixi, Inc. 12 システム構築までに必要なステップ 問い合わせ分析 効率化の対象を 決定する AIを作成する オペレーションに 組み込む 実運用 ○ システム構築に必要なステップは以下の通り

(C) mixi, Inc. 13 システム構築の中で発生した問題 学習用のデータ作成に時間が かかるので精度改善がなかな か進まない・・ AIを作ってみたけど精度が 低いためこれでは使えない ・・ いざ実際に動かすと問い 合わせ件数が思ったより 少ない・・ 作成していた時よりもAIの 正解率が低いな・・ 問い合わせ分析 効率化の対象を 決定する AIを作成する オペレーションに 組み込む 実運用

(C) mixi, Inc. 14 発生した問題と根本原因 いろいろな問題が発生したが原因を深掘りすると全て 効率化する問い合わせの対象の選び方の問題と考えられる AIの精度が低い・改善に時間がかかる 実運用すると問い合わせの件数が少ない （効率化の効果が薄い） 分類が難しい問題を設定している 問い合わせの傾向が変化した時に 入信が減る問い合わせを選択している

(C) mixi, Inc. 15 効率化する対象の選び方

(C) mixi, Inc. 16 効率化の対象を決定するステップ テンプレ対応効率化の効果が 高い問い合わせを候補とする AIを作成することが可能か どうかを考え対象を決定する ● 今の問い合わせ数だけでなく、継続して入信す る問い合わせを選ぶと長い目で見た時に 効果が高い ● CSの知識・経験・肌感が必要な領域 ● AIを作成しやすい問い合わせを対象とすること でAI作成をスムーズに進めることができる ● エンジニアの技術・分析が必要な領域 ○ 効率化の対象を選ぶ時のポイント ○ 長期的に見て効果が高い x AIを作成することができる

(C) mixi, Inc. 17 テンプレ対応効率化の効果が高い対象の探し方 過去の問い合わせを100件〜200件 ランダムに抽出する 件数が多い & テンプレ対応している 問い合わせを候補に選ぶ 候補の問い合わせが今後も継続的 に入信する問い合わせか確認する テンプレ対応効率化の効果が 高い問い合わせを候補とする AIを作成することが可能か どうかを考え対象を決定する ○ まずは長期的に見て効果の高い問い合わせを探す

(C) mixi, Inc. ○ 基本的にはバラバラだがその中でも件数が多いカテゴリを対象にした 18 問い合わせ分析の様子 | 効果が高いカテゴリを探す 比較的件数が多いので 効率化できると効果が高そう

(C) mixi, Inc. ○ 問い合わせの傾向の変化を考慮し、継続的に入信する問い合わせを選択す る 19 継続的に入信する問い合わせを選択する 効率化の対象に向いている 効率化の対象に向いていない ○ サービスのコア機能に関する 問い合わせ ○ FAQを読んでも自力解決が 難しい問い合わせ ○ 一時的なキャンペーン関連の 問い合わせ ○ FAQやサービスの改善によって 解決する問い合わせ

(C) mixi, Inc. 20 AIを作成することが可能かどうかを確認する 複数人で分類をおこなった時に 回答が一致するかどうか クラスタリング・可視化をおこない 機械が分類できそうかどうか そもそも機械学習を使う必要が あるのかどうか ○ 効果が高い候補が決まれば次にAIを作成可能かどうかを確認 テンプレ対応効率化の効果が 高い問い合わせを候補とする AIを作成することが可能か どうかを考え対象を決定する

(C) mixi, Inc. ○ 複数人で分類をおこない回答が一致するかどうかを調べる ○ 回答が異なるとAIは誰を信じれば良いのかわからない ○ 一致しない時はなぜその判断をしたのかを話し合い基準を擦り合わせる 21 人が分類できるかを調べる Q: 問い合わせ「XXXXX」はテンプレAで返信して良い？ 基本的には良いけど 最後の文章をちょっと 変えたいな・・ ちょっと変えたい ところはあるけど これで返信しても 大丈夫！

(C) mixi, Inc. ○ 離れているクラスタは機械が判別しやすいカテゴリ 22 機械が分類できるかどうかを調べる 機械にとっては 似ている問い合わせ 離れているクラスタは分 類しやすい可能性が高 い

(C) mixi, Inc. 23 おわりに

(C) mixi, Inc. 24 システム構築の中で発生した問題 学習用のデータ作成に時間が かかるので精度改善がなかな か進まない・・ AIを作ってみたけど精度が 低いためこれでは使えない ・・ いざ実際に動かすと問い 合わせ件数が思ったより 少ない・・ 作成していた時よりもAIの 正解率が低いな・・ 問い合わせ分析 効率化の対象を 決定する AIを作成する オペレーションに 組み込む 実運用

(C) mixi, Inc. 25 システム構築の中で得られた学び ○ これらの問題は丁寧に対象を決定することでほとんど解決する 問い合わせ分析 効率化の対象を 決定する AIを作成する オペレーションに 組み込む 実運用 「長期的に見て効果が高い x AIを作成できる対象」を選択する！

(C) mixi, Inc. ○ AIを用いたプロジェクトではどうAIを作るかよりも、どこにAIを適用するか・どのような AIを作成する必要があるのかを大切にする必要がある ○ 効率化する対象は「長期的に見て効果が高い」かつ「AIを作成できる」ものを選ぶと良 い ○ このような対象を選ぶためには「CSの知識・経験・肌感」と「エンジニアのデータ分析・ 可視化」の両方が必要 26 まとめ

(C) mixi, Inc. 27 ご静聴ありがとうございました！