Customer Support Tech Meetup #1 (2020/03/25)
(C) mixi, Inc.Customer Support Tech Meetup #12020年3月25日株式会社ミクシィ本間 光宣ユーザーも驚きの高速かつ正確な対応をAIを用いて実現する
View Slide
(C) mixi, Inc.○ 本間 光宣（@_mitsu9）○ 2018年新卒入社○ 2018年4月〜：CRE○ CSが利用する各種ツールの開発・運用○ 機械学習を用いたCSの業務効率化2自己紹介
(C) mixi, Inc.【話すこと】今年度作成したテンプレ対応効率化システムの概要システム構築の流れと発生した問題効率化する対象の選び方【伝えたいこと】CSの改善のためにはCSとエンジニアの協力が必要不可欠！！3今日話すこと・伝えたいこと
(C) mixi, Inc.4テンプレ対応効率化システムの概要
(C) mixi, Inc.○ テンプレ対応するような問い合わせは返信時間が満足度に直結する○ テンプレ対応における課題○ テンプレを探すことに時間がかかる○ 異なるテンプレートを選択してしまい対応を間違えることがある○ 技術の力で何とかできたりしないだろうか？というところからプロジェクトが開始！○ チームでは初の機械学習を用いたプロジェクト5テンプレ対応効率化の取り組みについて問い合わせ一覧を見る 問い合わせを選ぶ 対応するテンプレを探す テンプレ返信をする問い合わせ対応の基本的な流れ
(C) mixi, Inc.6テンプレ対応効率化システムを用いたオペレーションの流れテンプレ推薦ありの問い合わせ一覧CSが推薦されたテンプレで返信して良いか判断テンプレ推薦無しの問い合わせ一覧システムがテンプレで返信OKNGAIが問い合わせに対してテンプレを推薦するシステムが対応する箇所CSが対応する箇所従来通りに対応AIは問い合わせに対して「テンプレA, テンプレB, …or 該当なし」から該当するラベルを付与する問い合わせ入信該当あり該当なし
(C) mixi, Inc.7ZendeskでのCSのオペレーションの様子AIがテンプレAを推薦した問い合わせの一覧画面各問い合わせの画面でOK/NGを選択する問い合わせ詳細OKシステムがテンプレ返信NG通常対応のフローの戻る
(C) mixi, Inc.○ 内部的には問い合わせ文に対してとあるテンプレートで返信できるかどうかを判定する二値分類器を複数作成8AIシステムの概要テンプレAで返信できるかどうかを判定する分類器テンプレBで返信できるかどうかを判定する分類器返信できない 返信できるAIシステム問い合わせ文「XXXXX」に適切なテンプレは何？テンプレB！
(C) mixi, Inc.9AIシステムの構成SageMakerEndpointZendeskCodeBuild(定期実行)定期更新 推論リクエスト推論・組み込みSageMakerTraining JobS3モデル取得Zendesk分析 学習S3インポート 取得Athena S3学習用データ生データ加工済みデータ取得保存学習済みモデル○ システムは３つのコンポーネントから構成される第10回Amazon SageMaker事例祭り(https://aws.amazon.com/jp/blogs/news/amazon-sagemaker-fes-10/)で詳しく話しましたのでこちらも参考にどうぞ
(C) mixi, Inc.10システム構築によって得られた効率化の効果先月リリース・現在は一部のカテゴリにのみ対応対応時間の削減効果AIの効果・精度効率化前は1~5分/件システム導入によって約20秒/件で対応が可能になった対象となる問い合わせの1.2%に対してAIがテンプレを推薦ただし正解率はまだ5割程度
(C) mixi, Inc.11システム構築の流れと発生した問題
(C) mixi, Inc.12システム構築までに必要なステップ問い合わせ分析効率化の対象を決定するAIを作成するオペレーションに組み込む実運用○ システム構築に必要なステップは以下の通り
(C) mixi, Inc.13システム構築の中で発生した問題学習用のデータ作成に時間がかかるので精度改善がなかなか進まない・・AIを作ってみたけど精度が低いためこれでは使えない・・いざ実際に動かすと問い合わせ件数が思ったより少ない・・作成していた時よりもAIの正解率が低いな・・問い合わせ分析効率化の対象を決定するAIを作成するオペレーションに組み込む実運用
(C) mixi, Inc.14発生した問題と根本原因いろいろな問題が発生したが原因を深掘りすると全て効率化する問い合わせの対象の選び方の問題と考えられるAIの精度が低い・改善に時間がかかる実運用すると問い合わせの件数が少ない（効率化の効果が薄い）分類が難しい問題を設定している問い合わせの傾向が変化した時に入信が減る問い合わせを選択している
(C) mixi, Inc.15効率化する対象の選び方
(C) mixi, Inc.16効率化の対象を決定するステップテンプレ対応効率化の効果が高い問い合わせを候補とするAIを作成することが可能かどうかを考え対象を決定する● 今の問い合わせ数だけでなく、継続して入信する問い合わせを選ぶと長い目で見た時に効果が高い● CSの知識・経験・肌感が必要な領域● AIを作成しやすい問い合わせを対象とすることでAI作成をスムーズに進めることができる● エンジニアの技術・分析が必要な領域○ 効率化の対象を選ぶ時のポイント○ 長期的に見て効果が高い x AIを作成することができる
(C) mixi, Inc.17テンプレ対応効率化の効果が高い対象の探し方過去の問い合わせを100件〜200件ランダムに抽出する件数が多い & テンプレ対応している問い合わせを候補に選ぶ候補の問い合わせが今後も継続的に入信する問い合わせか確認するテンプレ対応効率化の効果が高い問い合わせを候補とするAIを作成することが可能かどうかを考え対象を決定する○ まずは長期的に見て効果の高い問い合わせを探す
(C) mixi, Inc.○ 基本的にはバラバラだがその中でも件数が多いカテゴリを対象にした18問い合わせ分析の様子 | 効果が高いカテゴリを探す比較的件数が多いので効率化できると効果が高そう
(C) mixi, Inc.○ 問い合わせの傾向の変化を考慮し、継続的に入信する問い合わせを選択する19継続的に入信する問い合わせを選択する効率化の対象に向いている 効率化の対象に向いていない○ サービスのコア機能に関する問い合わせ○ FAQを読んでも自力解決が難しい問い合わせ○ 一時的なキャンペーン関連の問い合わせ○ FAQやサービスの改善によって解決する問い合わせ
(C) mixi, Inc.20AIを作成することが可能かどうかを確認する複数人で分類をおこなった時に回答が一致するかどうかクラスタリング・可視化をおこない機械が分類できそうかどうかそもそも機械学習を使う必要があるのかどうか○ 効果が高い候補が決まれば次にAIを作成可能かどうかを確認テンプレ対応効率化の効果が高い問い合わせを候補とするAIを作成することが可能かどうかを考え対象を決定する
(C) mixi, Inc.○ 複数人で分類をおこない回答が一致するかどうかを調べる○ 回答が異なるとAIは誰を信じれば良いのかわからない○ 一致しない時はなぜその判断をしたのかを話し合い基準を擦り合わせる21人が分類できるかを調べるQ: 問い合わせ「XXXXX」はテンプレAで返信して良い？基本的には良いけど最後の文章をちょっと変えたいな・・ちょっと変えたいところはあるけどこれで返信しても大丈夫！
(C) mixi, Inc.○ 離れているクラスタは機械が判別しやすいカテゴリ22機械が分類できるかどうかを調べる機械にとっては似ている問い合わせ離れているクラスタは分類しやすい可能性が高い
(C) mixi, Inc.23おわりに
(C) mixi, Inc.24システム構築の中で発生した問題学習用のデータ作成に時間がかかるので精度改善がなかなか進まない・・AIを作ってみたけど精度が低いためこれでは使えない・・いざ実際に動かすと問い合わせ件数が思ったより少ない・・作成していた時よりもAIの正解率が低いな・・問い合わせ分析効率化の対象を決定するAIを作成するオペレーションに組み込む実運用
(C) mixi, Inc.25システム構築の中で得られた学び○ これらの問題は丁寧に対象を決定することでほとんど解決する問い合わせ分析効率化の対象を決定するAIを作成するオペレーションに組み込む実運用「長期的に見て効果が高い x AIを作成できる対象」を選択する！
(C) mixi, Inc.○ AIを用いたプロジェクトではどうAIを作るかよりも、どこにAIを適用するか・どのようなAIを作成する必要があるのかを大切にする必要がある○ 効率化する対象は「長期的に見て効果が高い」かつ「AIを作成できる」ものを選ぶと良い○ このような対象を選ぶためには「CSの知識・経験・肌感」と「エンジニアのデータ分析・可視化」の両方が必要26まとめ
(C) mixi, Inc.27ご静聴ありがとうございました！
mitsu9
kawaguti
ymty
takahia1988
takmin
goyoki
jfg956
washizaki
iwamot
nagauta
shimap_sampo
kthrtty
soracom
tenderlove
revolveconf
andyhume
kneath
jacobian
sugarenia
malarkey
reverentgeek
chrisshort
caitiem20
ddemaree
addyosmani