Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
問い合わせ対応のデータを宝の山にするために/How to collect correct da...
Search
Mitsunobu Homma
August 27, 2020
Technology
2
850
問い合わせ対応のデータを宝の山にするために/How to collect correct data to utilize inquiry data
Customer Support Tech Meetup #2 (2020/08/27)
Mitsunobu Homma
August 27, 2020
Tweet
Share
More Decks by Mitsunobu Homma
See All by Mitsunobu Homma
若手主体のチームで全員の力を合わせて新規事業を創っている話 / Develop a startup product in cooperation with all team members
mitsu9
2
1.2k
エンジニアリングでCSの生産性を高める / Build highly productive customer support team by engineering
mitsu9
1
900
人の仕事、機械の仕事。エンジニアによるカスタマーサポート改善 / The improvements of Customer Support by Customer Reliability Engineer
mitsu9
2
2.2k
ユーザーも驚きの高速かつ正確な対応をAIを用いて実現する / How to realize rapid and correct customer support with ML
mitsu9
1
2.1k
新卒Customer Reliability Engineerの半年間 / How to effectively read code
mitsu9
2
1.8k
Other Decks in Technology
See All in Technology
10分で学ぶKubernetesコンテナセキュリティ/10min-k8s-container-sec
mochizuki875
3
320
2024年にチャレンジしたことを振り返るぞ
mitchan
0
130
Amazon SageMaker Unified Studio(Preview)、Lakehouse と Amazon S3 Tables
ishikawa_satoru
0
150
祝!Iceberg祭開幕!re:Invent 2024データレイク関連アップデート10分総ざらい
kniino
2
230
社内イベント管理システムを1週間でAKSからACAに移行した話し
shingo_kawahara
0
180
宇宙ベンチャーにおける最近の情シス取り組みについて
axelmizu
0
110
kargoの魅力について伝える
magisystem0408
0
200
How to be an AWS Community Builder | 君もAWS Community Builderになろう!〜2024 冬 CB募集直前対策編?!〜
coosuke
PRO
2
2.8k
.NET 9 のパフォーマンス改善
nenonaninu
0
360
Password-less Journey - パスキーへの移行を見据えたユーザーの準備 @ AXIES 2024
ritou
3
1.4k
5分でわかるDuckDB
chanyou0311
10
3.2k
PHPからGoへのマイグレーション for DMMアフィリエイト
yabakokobayashi
1
160
Featured
See All Featured
Fontdeck: Realign not Redesign
paulrobertlloyd
82
5.3k
Building an army of robots
kneath
302
44k
How To Stay Up To Date on Web Technology
chriscoyier
789
250k
Into the Great Unknown - MozCon
thekraken
33
1.5k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
8
1.2k
Optimising Largest Contentful Paint
csswizardry
33
3k
Facilitating Awesome Meetings
lara
50
6.1k
Building Flexible Design Systems
yeseniaperezcruz
327
38k
Designing Experiences People Love
moore
138
23k
Side Projects
sachag
452
42k
A better future with KSS
kneath
238
17k
Stop Working from a Prison Cell
hatefulcrawdad
267
20k
Transcript
(C) mixi, Inc. Customer Support Tech Meetup #2 2020年8月27日 株式会社ミクシィ
統括管理本部 CS部 CREグループ 本間 光宣 問い合わせ対応のデータを宝の山にするために
(C) mixi, Inc. ◦ 本間 光宣(@_mitsu9) ◦ 株式会社ミクシィ・CRE ◦ 2018年新卒入社
◦ CSで利用する様々なシステムの開発・運用保守 ◦ 機械学習を用いてテンプレ対応を効率化 ◦ 問い合わせデータを活用するためのデータ基盤構築 2 自己紹介
(C) mixi, Inc. 今日のテーマ 問い合わせ対応のデータを活用してより良いCSを作っていこう! お話すること データを活用できなかった事例を通して データを活用するための環境構築において意識すると良いこと 3 今日の発表の概要
(C) mixi, Inc. CSで問い合わせ対応のデータを活用できる場面はたくさんある ◦ サポートの質の向上 ◦ 席数の見積もり ◦ 過去の類似案件を参考に対応
◦ よくある対応の効率化・自動化 ◦ サービスの改善 ◦ VOC (Voice of Customer)の活用 ◦ 自己解決率の向上 ◦ FAQの改善 4 CS x データ活用
(C) mixi, Inc. ◦ モンスターストライク ◦ 今年秋で7周年 ◦ 1日の問い合わせ件数 x
2555(365日 x 7年) のデータを持つ ◦ 機能が非常に多く日々多様な問い合わせが届く ◦ 問題だけでなくゲームへの意見等もある ◦ 問題発生時のスパイクが大きい ◦ 過去最高は1日に2万件以上 ソフトウェアを活用して効率的にデータを分析・活用することが必要 5 ミクシィCS x データ
(C) mixi, Inc. リアルタイム分析の事例 ◦ 直近の問い合わせの頻出単語をSlackに通知 ◦ 閾値以上の回数登場した単語を通知 ◦ 直近の問い合わせ数が閾値以上の場合Slackに通知
◦ 委託先と弊社で分けて対応しているため全体の問い合わせ数を監視 6 データを活用している事例①
(C) mixi, Inc. 大量の過去の問い合わせを活用する事例 ◦ 過去の対応履歴を活用して返信テンプレートを推薦 ◦ 数千〜数万件の問い合わせを利用して機械学習を行う 7 データを活用している事例②
問い合わせ文 「XXXXX」 テンプレB 「ユーザーも驚きの高速かつ正確な対応を AIを用いて実現する」 https://speakerdeck.com/mitsu9/how-to-realize-rapid-and-correct-customer-support-with-ml
(C) mixi, Inc. カテゴリ分けを自動化しようとした事例 ◦ 問い合わせをカテゴリに分けて管理している ◦ カテゴリ分けは人が行なっていたので、機械で自動化をしようとした ◦ 過去のカテゴリ分けに問題があり自動化できなかった
8 データを活用できなかった事例 ガチャ クエスト 決済 ガチャ クエスト 決済 「カスタマーサポート AIの失敗と教訓」 https://medium.com/mixi-developers/challenge-of-cs-ai-15c65ef7066a
(C) mixi, Inc. 9 データ活用のフロー データ活用には「収集」「加工」「活用」と3つのプロセスがある 必要なデータを集める データを加工したり、 機械学習をしたりする Slack通知など、
システムに組み込み 利用する 収集 加工 活用
(C) mixi, Inc. 10 データを活用する時に直面する課題 収集フェーズで問題がありその先に進めないケースがある 過去1年分の問い合わせと カテゴリのデータ カテゴリ分けを行う モデルを作成
カテゴリ分けを自動化する カテゴリ分けの事例の場合 収集 加工 活用 データ自体が間違っていたためうまく分類できなかった
(C) mixi, Inc. 11 データを収集する時に直面する課題 データがない データはあるが 正しくない データはあるらしいが どこにあるかわからない
(C) mixi, Inc. 12 データを収集する時に直面する課題 データがない データはあるが 正しくない 今日は「正しくないデータ」に焦点を当て、 なぜそのようなデータが生まれたのかという事例を紹介します
データはあるらしいが どこにあるかわからない データを取るようにしよう どこにどのデータがあるのか きちんと管理しよう
(C) mixi, Inc. 問い合わせの傾向変化に追従できていなかった 新しいカテゴリに入るべき問い合わせが既存のカテゴリに含まれていた 13 正しくないデータが生まれた原因① ガチャ クエスト 決済
新機能に関する問い合わせ 新カテゴリ 正しくカテゴリ分けする ためには新しくカテゴリを 作成する必要がある 新機能だからカテゴリがない・・ なんとなく近いカテゴリに入れよう
(C) mixi, Inc. 問い合わせの傾向変化に追従できていなかった 後からカテゴリを追加すると時間軸によるデータのずれが生じた →同じ問い合わせでも入信した時間によって別カテゴリになってしまう 14 正しくないデータが生まれた原因① 時間 新機能追加
新しい問い合わせが入信 新カテゴリ追加 新しい問い合わせを 正しくカテゴリ分けできるように 正しくカテゴリ分けされて いない期間 正しくカテゴリ分けされて いる期間
(C) mixi, Inc. 人によって判断が異なっていた ルールが曖昧な時に独自のルールでカテゴリ分けを行なっていた ルールを決めてもそれ以前のデータはルール通りに分けられていなかった 15 正しくないデータが生まれた原因② ガチャ クエスト
決済 2つの内容を含んでいるけど どう分類すれば良いだろう・・ 1つ目の話でカテゴリを決めよう Aについて・・ あとBについてもな んですけど・・
(C) mixi, Inc. 運用のためのカテゴリ分けになっていた 対応や集計など運用の都合でカテゴリが変わることがあった 16 正しくないデータが生まれた原因③ カテゴリA カテゴリB カテゴリC
内容的にはカテゴリ Bだけど 熱量が高くて早く対応した方が 良さそうだからカテゴリ Aにしよう! 優先度高 優先度中 優先度低
(C) mixi, Inc. ◦ 問い合わせの傾向の変化に対して対応していない ◦ 人によって判断が異なるデータが存在する ◦ ルールを決めた時に過去のデータについて修正していない ◦
運用のためのデータになっており正しいデータが保管されていない 17 正しくないデータが生まれる危険な匂い
(C) mixi, Inc. ◦ 定期的に正しくないデータが生まれていないか確認する ◦ 正しくないデータを見つけた時には修正して正しいデータにする 大量のデータを修正することは大変なので 定期的に見直し少しずつ修正することが大切 18
正しいデータを貯めるためには
(C) mixi, Inc. 今日のテーマ 問い合わせ対応のデータを活用してより良いCSを作っていこう! お話したこと データを活用するときに収集したデータに問題があるケースがある 正しくないデータが発生するいくつかのパターンを紹介 定期的にルールを見直すことで正しいデータを貯めていくことが大切 19
まとめ