Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
問い合わせ対応のデータを宝の山にするために/How to collect correct data to utilize inquiry data
Search
Mitsunobu Homma
August 27, 2020
Technology
2
810
問い合わせ対応のデータを宝の山にするために/How to collect correct data to utilize inquiry data
Customer Support Tech Meetup #2 (2020/08/27)
Mitsunobu Homma
August 27, 2020
Tweet
Share
More Decks by Mitsunobu Homma
See All by Mitsunobu Homma
若手主体のチームで全員の力を合わせて新規事業を創っている話 / Develop a startup product in cooperation with all team members
mitsu9
2
1.1k
エンジニアリングでCSの生産性を高める / Build highly productive customer support team by engineering
mitsu9
1
860
人の仕事、機械の仕事。エンジニアによるカスタマーサポート改善 / The improvements of Customer Support by Customer Reliability Engineer
mitsu9
2
2k
ユーザーも驚きの高速かつ正確な対応をAIを用いて実現する / How to realize rapid and correct customer support with ML
mitsu9
1
2k
新卒Customer Reliability Engineerの半年間 / How to effectively read code
mitsu9
2
1.7k
Other Decks in Technology
See All in Technology
DevIO2024_レガシー運用からの脱却 -クラウド活用の実践事例とベストプラクティス-
jun2882
0
210
VPoEの視点から見た、ヘンリーがサーバーサイドKotlinを使う理由 / Why Server-side Kotlin 2024
cho0o0
1
420
目標設定は好きですか? アジャイルとともに目標と向き合い続ける方法 / Do you like target Management?
kakehashi
10
3k
Classmethod Odyssey 登壇資料
yamahiro
0
390
初中級者用如何使用backlog -VALE TUDOEDITION-
in0u
0
140
推薦システムを本番導入する上で一番優先すべきだったこと~NewsPicks記事推薦機能の改善事例を元に~
morinota
0
130
クラウド利用者の「責任」をどう果たす?AWSセキュリティ対策のススメ #AWSSummit
hiashisan
0
280
データ分析を支える技術 生成AI再入門
ishikawa_satoru
0
380
さらに高品質・高速化を目指すAI時代のテスト設計支援と、めざす先 / AI Test Lab vol.1
shift_evolve
0
190
データベース研修 DB基礎【MIXI 24新卒技術研修】
mixi_engineers
PRO
0
220
AWSでRAGを作る法方
sonoda_mj
1
140
LINE WORKSへ簡単通知!Incoming Webhookアプリの紹介
mmclsntr
0
110
Featured
See All Featured
From Idea to $5000 a Month in 5 Months
shpigford
377
46k
Designing on Purpose - Digital PM Summit 2013
jponch
113
6.6k
Facilitating Awesome Meetings
lara
46
5.8k
Designing for Performance
lara
604
67k
Designing the Hi-DPI Web
ddemaree
276
34k
A better future with KSS
kneath
231
17k
Done Done
chrislema
179
15k
KATA
mclloyd
20
13k
How To Stay Up To Date on Web Technology
chriscoyier
784
250k
Building Effective Engineering Teams - LeadDev
addyosmani
47
2.2k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
149
45k
Happy Clients
brianwarren
94
6.6k
Transcript
(C) mixi, Inc. Customer Support Tech Meetup #2 2020年8月27日 株式会社ミクシィ
統括管理本部 CS部 CREグループ 本間 光宣 問い合わせ対応のデータを宝の山にするために
(C) mixi, Inc. ◦ 本間 光宣(@_mitsu9) ◦ 株式会社ミクシィ・CRE ◦ 2018年新卒入社
◦ CSで利用する様々なシステムの開発・運用保守 ◦ 機械学習を用いてテンプレ対応を効率化 ◦ 問い合わせデータを活用するためのデータ基盤構築 2 自己紹介
(C) mixi, Inc. 今日のテーマ 問い合わせ対応のデータを活用してより良いCSを作っていこう! お話すること データを活用できなかった事例を通して データを活用するための環境構築において意識すると良いこと 3 今日の発表の概要
(C) mixi, Inc. CSで問い合わせ対応のデータを活用できる場面はたくさんある ◦ サポートの質の向上 ◦ 席数の見積もり ◦ 過去の類似案件を参考に対応
◦ よくある対応の効率化・自動化 ◦ サービスの改善 ◦ VOC (Voice of Customer)の活用 ◦ 自己解決率の向上 ◦ FAQの改善 4 CS x データ活用
(C) mixi, Inc. ◦ モンスターストライク ◦ 今年秋で7周年 ◦ 1日の問い合わせ件数 x
2555(365日 x 7年) のデータを持つ ◦ 機能が非常に多く日々多様な問い合わせが届く ◦ 問題だけでなくゲームへの意見等もある ◦ 問題発生時のスパイクが大きい ◦ 過去最高は1日に2万件以上 ソフトウェアを活用して効率的にデータを分析・活用することが必要 5 ミクシィCS x データ
(C) mixi, Inc. リアルタイム分析の事例 ◦ 直近の問い合わせの頻出単語をSlackに通知 ◦ 閾値以上の回数登場した単語を通知 ◦ 直近の問い合わせ数が閾値以上の場合Slackに通知
◦ 委託先と弊社で分けて対応しているため全体の問い合わせ数を監視 6 データを活用している事例①
(C) mixi, Inc. 大量の過去の問い合わせを活用する事例 ◦ 過去の対応履歴を活用して返信テンプレートを推薦 ◦ 数千〜数万件の問い合わせを利用して機械学習を行う 7 データを活用している事例②
問い合わせ文 「XXXXX」 テンプレB 「ユーザーも驚きの高速かつ正確な対応を AIを用いて実現する」 https://speakerdeck.com/mitsu9/how-to-realize-rapid-and-correct-customer-support-with-ml
(C) mixi, Inc. カテゴリ分けを自動化しようとした事例 ◦ 問い合わせをカテゴリに分けて管理している ◦ カテゴリ分けは人が行なっていたので、機械で自動化をしようとした ◦ 過去のカテゴリ分けに問題があり自動化できなかった
8 データを活用できなかった事例 ガチャ クエスト 決済 ガチャ クエスト 決済 「カスタマーサポート AIの失敗と教訓」 https://medium.com/mixi-developers/challenge-of-cs-ai-15c65ef7066a
(C) mixi, Inc. 9 データ活用のフロー データ活用には「収集」「加工」「活用」と3つのプロセスがある 必要なデータを集める データを加工したり、 機械学習をしたりする Slack通知など、
システムに組み込み 利用する 収集 加工 活用
(C) mixi, Inc. 10 データを活用する時に直面する課題 収集フェーズで問題がありその先に進めないケースがある 過去1年分の問い合わせと カテゴリのデータ カテゴリ分けを行う モデルを作成
カテゴリ分けを自動化する カテゴリ分けの事例の場合 収集 加工 活用 データ自体が間違っていたためうまく分類できなかった
(C) mixi, Inc. 11 データを収集する時に直面する課題 データがない データはあるが 正しくない データはあるらしいが どこにあるかわからない
(C) mixi, Inc. 12 データを収集する時に直面する課題 データがない データはあるが 正しくない 今日は「正しくないデータ」に焦点を当て、 なぜそのようなデータが生まれたのかという事例を紹介します
データはあるらしいが どこにあるかわからない データを取るようにしよう どこにどのデータがあるのか きちんと管理しよう
(C) mixi, Inc. 問い合わせの傾向変化に追従できていなかった 新しいカテゴリに入るべき問い合わせが既存のカテゴリに含まれていた 13 正しくないデータが生まれた原因① ガチャ クエスト 決済
新機能に関する問い合わせ 新カテゴリ 正しくカテゴリ分けする ためには新しくカテゴリを 作成する必要がある 新機能だからカテゴリがない・・ なんとなく近いカテゴリに入れよう
(C) mixi, Inc. 問い合わせの傾向変化に追従できていなかった 後からカテゴリを追加すると時間軸によるデータのずれが生じた →同じ問い合わせでも入信した時間によって別カテゴリになってしまう 14 正しくないデータが生まれた原因① 時間 新機能追加
新しい問い合わせが入信 新カテゴリ追加 新しい問い合わせを 正しくカテゴリ分けできるように 正しくカテゴリ分けされて いない期間 正しくカテゴリ分けされて いる期間
(C) mixi, Inc. 人によって判断が異なっていた ルールが曖昧な時に独自のルールでカテゴリ分けを行なっていた ルールを決めてもそれ以前のデータはルール通りに分けられていなかった 15 正しくないデータが生まれた原因② ガチャ クエスト
決済 2つの内容を含んでいるけど どう分類すれば良いだろう・・ 1つ目の話でカテゴリを決めよう Aについて・・ あとBについてもな んですけど・・
(C) mixi, Inc. 運用のためのカテゴリ分けになっていた 対応や集計など運用の都合でカテゴリが変わることがあった 16 正しくないデータが生まれた原因③ カテゴリA カテゴリB カテゴリC
内容的にはカテゴリ Bだけど 熱量が高くて早く対応した方が 良さそうだからカテゴリ Aにしよう! 優先度高 優先度中 優先度低
(C) mixi, Inc. ◦ 問い合わせの傾向の変化に対して対応していない ◦ 人によって判断が異なるデータが存在する ◦ ルールを決めた時に過去のデータについて修正していない ◦
運用のためのデータになっており正しいデータが保管されていない 17 正しくないデータが生まれる危険な匂い
(C) mixi, Inc. ◦ 定期的に正しくないデータが生まれていないか確認する ◦ 正しくないデータを見つけた時には修正して正しいデータにする 大量のデータを修正することは大変なので 定期的に見直し少しずつ修正することが大切 18
正しいデータを貯めるためには
(C) mixi, Inc. 今日のテーマ 問い合わせ対応のデータを活用してより良いCSを作っていこう! お話したこと データを活用するときに収集したデータに問題があるケースがある 正しくないデータが発生するいくつかのパターンを紹介 定期的にルールを見直すことで正しいデータを貯めていくことが大切 19
まとめ