Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ユーザーも驚きの高速かつ正確な対応をAIを用いて実現する / How to realize r...
Search
Mitsunobu Homma
March 25, 2020
Technology
1
2.1k
ユーザーも驚きの高速かつ正確な対応をAIを用いて実現する / How to realize rapid and correct customer support with ML
Customer Support Tech Meetup #1 (2020/03/25)
Mitsunobu Homma
March 25, 2020
Tweet
Share
More Decks by Mitsunobu Homma
See All by Mitsunobu Homma
若手主体のチームで全員の力を合わせて新規事業を創っている話 / Develop a startup product in cooperation with all team members
mitsu9
2
1.2k
エンジニアリングでCSの生産性を高める / Build highly productive customer support team by engineering
mitsu9
1
880
問い合わせ対応のデータを宝の山にするために/How to collect correct data to utilize inquiry data
mitsu9
2
830
人の仕事、機械の仕事。エンジニアによるカスタマーサポート改善 / The improvements of Customer Support by Customer Reliability Engineer
mitsu9
2
2.1k
新卒Customer Reliability Engineerの半年間 / How to effectively read code
mitsu9
2
1.7k
Other Decks in Technology
See All in Technology
Oracle Database 23ai 新機能#4 Real Application Clusters
oracle4engineer
PRO
0
170
エムスリー全チーム紹介資料 / Introduction of M3 All Teams
m3_engineering
1
320
tenntennはなんでnewmoにnew社したの? - YAPC::Hakodate 2024
tenntenn
PRO
0
310
From naive to advanced RAG: the complete guide
glaforge
0
250
Unlearn Modularity
lemiorhan
6
180
小さな勉強会の始め方、広げ方、あるいは友達の作り方 / How to Start, Grow, and Build Connections with Small Study Groups
ar_tama
6
3k
Castor - Le Task Runner PHP qui simplifie votre Workflow
lyrixx
1
320
Do you know “Environment Variables” ?
akimiya
0
100
ラブグラフ紹介資料 〜プロダクト解体新書〜 / Lovegraph Product Deck
lovegraph
0
14k
Webセキュリティのあるきかた
akiym
32
11k
YAPC::Hakodateの映像記録を支える技術
godan
4
380
Case Study: Concurrent Counting
ennael
PRO
0
130
Featured
See All Featured
Designing Experiences People Love
moore
138
23k
A better future with KSS
kneath
237
17k
Build your cross-platform service in a week with App Engine
jlugia
229
18k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
355
29k
It's Worth the Effort
3n
183
27k
Scaling GitHub
holman
458
140k
4 Signs Your Business is Dying
shpigford
180
21k
jQuery: Nuts, Bolts and Bling
dougneiner
61
7.5k
Imperfection Machines: The Place of Print at Facebook
scottboms
264
13k
Typedesign – Prime Four
hannesfritz
39
2.3k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
504
140k
Statistics for Hackers
jakevdp
796
220k
Transcript
(C) mixi, Inc. Customer Support Tech Meetup #1 2020年3月25日 株式会社ミクシィ
本間 光宣 ユーザーも驚きの高速かつ正確な対応を AIを用いて実現する
(C) mixi, Inc. ◦ 本間 光宣(@_mitsu9) ◦ 2018年新卒入社 ◦ 2018年4月〜:CRE
◦ CSが利用する各種ツールの開発・運用 ◦ 機械学習を用いたCSの業務効率化 2 自己紹介
(C) mixi, Inc. 【話すこと】 今年度作成したテンプレ対応効率化システムの概要 システム構築の流れと発生した問題 効率化する対象の選び方 【伝えたいこと】 CSの改善のためにはCSとエンジニアの協力が必要不可欠!! 3
今日話すこと・伝えたいこと
(C) mixi, Inc. 4 テンプレ対応効率化システムの概要
(C) mixi, Inc. ◦ テンプレ対応するような問い合わせは返信時間が満足度に直結する ◦ テンプレ対応における課題 ◦ テンプレを探すことに時間がかかる ◦
異なるテンプレートを選択してしまい対応を間違えることがある ◦ 技術の力で何とかできたりしないだろうか?というところからプロジェクトが開始! ◦ チームでは初の機械学習を用いたプロジェクト 5 テンプレ対応効率化の取り組みについて 問い合わせ一覧を見る 問い合わせを選ぶ 対応するテンプレを探す テンプレ返信をする 問い合わせ対応の基本的な流れ
(C) mixi, Inc. 6 テンプレ対応効率化システムを用いたオペレーションの流れ テンプレ推薦ありの 問い合わせ一覧 CSが推薦された テンプレで返信 して良いか判断
テンプレ推薦無しの 問い合わせ一覧 システムが テンプレで返信 OK NG AIが問い合わせに 対してテンプレを推 薦する システムが対応する箇所 CSが対応する箇所 従来通りに対応 AIは問い合わせに対して 「テンプレA, テンプレB, … or 該当なし」から該当 するラベルを付与する 問い合わせ入信 該当あり 該当なし
(C) mixi, Inc. 7 ZendeskでのCSのオペレーションの様子 AIがテンプレAを推薦した 問い合わせの一覧画面 各問い合わせの画面でOK/NGを 選択する 問い合わせ詳細
OK システムが テンプレ返信 NG 通常対応の フローの戻る
(C) mixi, Inc. ◦ 内部的には問い合わせ文に対してとあるテンプレートで返信できるか どうかを判定する二値分類器を複数作成 8 AIシステムの概要 テンプレAで返信できるかど うかを判定する分類器
テンプレBで返信できるかど うかを判定する分類器 返信できない 返信できる AIシステム 問い合わせ文 「XXXXX」に 適切なテンプレは 何? テンプレB!
(C) mixi, Inc. 9 AIシステムの構成 SageMaker Endpoint Zendesk CodeBuild (定期実行)
定期更新 推論リクエスト 推論・組み込み SageMaker Training Job S3 モデル取得 Zendesk 分析 学習 S3 インポート 取得 Athena S3 学習用データ 生データ 加工済みデータ 取得 保存 学習済みモデル ◦ システムは3つのコンポーネントから構成される 第10回Amazon SageMaker事例祭り(https://aws.amazon.com/jp/blogs/news/amazon-sagemaker-fes-10/)で詳しく話しましたのでこちらも参考にどうぞ
(C) mixi, Inc. 10 システム構築によって得られた効率化の効果 先月リリース・現在は一部のカテゴリにのみ対応 対応時間の削減効果 AIの効果・精度 効率化前は1~5分/件 システム導入によって約20秒/件で
対応が可能になった 対象となる問い合わせの1.2%に対して AIがテンプレを推薦 ただし正解率はまだ5割程度
(C) mixi, Inc. 11 システム構築の流れと発生した問題
(C) mixi, Inc. 12 システム構築までに必要なステップ 問い合わせ分析 効率化の対象を 決定する AIを作成する オペレーションに
組み込む 実運用 ◦ システム構築に必要なステップは以下の通り
(C) mixi, Inc. 13 システム構築の中で発生した問題 学習用のデータ作成に時間が かかるので精度改善がなかな か進まない・・ AIを作ってみたけど精度が 低いためこれでは使えない
・・ いざ実際に動かすと問い 合わせ件数が思ったより 少ない・・ 作成していた時よりもAIの 正解率が低いな・・ 問い合わせ分析 効率化の対象を 決定する AIを作成する オペレーションに 組み込む 実運用
(C) mixi, Inc. 14 発生した問題と根本原因 いろいろな問題が発生したが原因を深掘りすると全て 効率化する問い合わせの対象の選び方の問題と考えられる AIの精度が低い・改善に時間がかかる 実運用すると問い合わせの件数が少ない (効率化の効果が薄い)
分類が難しい問題を設定している 問い合わせの傾向が変化した時に 入信が減る問い合わせを選択している
(C) mixi, Inc. 15 効率化する対象の選び方
(C) mixi, Inc. 16 効率化の対象を決定するステップ テンプレ対応効率化の効果が 高い問い合わせを候補とする AIを作成することが可能か どうかを考え対象を決定する •
今の問い合わせ数だけでなく、継続して入信す る問い合わせを選ぶと長い目で見た時に 効果が高い • CSの知識・経験・肌感が必要な領域 • AIを作成しやすい問い合わせを対象とすること でAI作成をスムーズに進めることができる • エンジニアの技術・分析が必要な領域 ◦ 効率化の対象を選ぶ時のポイント ◦ 長期的に見て効果が高い x AIを作成することができる
(C) mixi, Inc. 17 テンプレ対応効率化の効果が高い対象の探し方 過去の問い合わせを100件〜200件 ランダムに抽出する 件数が多い & テンプレ対応している
問い合わせを候補に選ぶ 候補の問い合わせが今後も継続的 に入信する問い合わせか確認する テンプレ対応効率化の効果が 高い問い合わせを候補とする AIを作成することが可能か どうかを考え対象を決定する ◦ まずは長期的に見て効果の高い問い合わせを探す
(C) mixi, Inc. ◦ 基本的にはバラバラだがその中でも件数が多いカテゴリを対象にした 18 問い合わせ分析の様子 | 効果が高いカテゴリを探す 比較的件数が多いので
効率化できると効果が高そう
(C) mixi, Inc. ◦ 問い合わせの傾向の変化を考慮し、継続的に入信する問い合わせを選択す る 19 継続的に入信する問い合わせを選択する 効率化の対象に向いている 効率化の対象に向いていない
◦ サービスのコア機能に関する 問い合わせ ◦ FAQを読んでも自力解決が 難しい問い合わせ ◦ 一時的なキャンペーン関連の 問い合わせ ◦ FAQやサービスの改善によって 解決する問い合わせ
(C) mixi, Inc. 20 AIを作成することが可能かどうかを確認する 複数人で分類をおこなった時に 回答が一致するかどうか クラスタリング・可視化をおこない 機械が分類できそうかどうか そもそも機械学習を使う必要が
あるのかどうか ◦ 効果が高い候補が決まれば次にAIを作成可能かどうかを確認 テンプレ対応効率化の効果が 高い問い合わせを候補とする AIを作成することが可能か どうかを考え対象を決定する
(C) mixi, Inc. ◦ 複数人で分類をおこない回答が一致するかどうかを調べる ◦ 回答が異なるとAIは誰を信じれば良いのかわからない ◦ 一致しない時はなぜその判断をしたのかを話し合い基準を擦り合わせる 21
人が分類できるかを調べる Q: 問い合わせ「XXXXX」はテンプレAで返信して良い? 基本的には良いけど 最後の文章をちょっと 変えたいな・・ ちょっと変えたい ところはあるけど これで返信しても 大丈夫!
(C) mixi, Inc. ◦ 離れているクラスタは機械が判別しやすいカテゴリ 22 機械が分類できるかどうかを調べる 機械にとっては 似ている問い合わせ 離れているクラスタは分
類しやすい可能性が高 い
(C) mixi, Inc. 23 おわりに
(C) mixi, Inc. 24 システム構築の中で発生した問題 学習用のデータ作成に時間が かかるので精度改善がなかな か進まない・・ AIを作ってみたけど精度が 低いためこれでは使えない
・・ いざ実際に動かすと問い 合わせ件数が思ったより 少ない・・ 作成していた時よりもAIの 正解率が低いな・・ 問い合わせ分析 効率化の対象を 決定する AIを作成する オペレーションに 組み込む 実運用
(C) mixi, Inc. 25 システム構築の中で得られた学び ◦ これらの問題は丁寧に対象を決定することでほとんど解決する 問い合わせ分析 効率化の対象を 決定する
AIを作成する オペレーションに 組み込む 実運用 「長期的に見て効果が高い x AIを作成できる対象」を選択する!
(C) mixi, Inc. ◦ AIを用いたプロジェクトではどうAIを作るかよりも、どこにAIを適用するか・どのような AIを作成する必要があるのかを大切にする必要がある ◦ 効率化する対象は「長期的に見て効果が高い」かつ「AIを作成できる」ものを選ぶと良 い ◦
このような対象を選ぶためには「CSの知識・経験・肌感」と「エンジニアのデータ分析・ 可視化」の両方が必要 26 まとめ
(C) mixi, Inc. 27 ご静聴ありがとうございました!