Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
問い合わせ対応のデータを宝の山にするために/How to collect correct da...
Search
Mitsunobu Homma
August 27, 2020
Technology
2
830
問い合わせ対応のデータを宝の山にするために/How to collect correct data to utilize inquiry data
Customer Support Tech Meetup #2 (2020/08/27)
Mitsunobu Homma
August 27, 2020
Tweet
Share
More Decks by Mitsunobu Homma
See All by Mitsunobu Homma
若手主体のチームで全員の力を合わせて新規事業を創っている話 / Develop a startup product in cooperation with all team members
mitsu9
2
1.2k
エンジニアリングでCSの生産性を高める / Build highly productive customer support team by engineering
mitsu9
1
880
人の仕事、機械の仕事。エンジニアによるカスタマーサポート改善 / The improvements of Customer Support by Customer Reliability Engineer
mitsu9
2
2.1k
ユーザーも驚きの高速かつ正確な対応をAIを用いて実現する / How to realize rapid and correct customer support with ML
mitsu9
1
2.1k
新卒Customer Reliability Engineerの半年間 / How to effectively read code
mitsu9
2
1.7k
Other Decks in Technology
See All in Technology
マーケットプレイス版Oracle WebCenter Content For OCI
oracle4engineer
PRO
2
190
Vista FinderMx
jtes
0
160
virtme-ng
ennael
PRO
0
250
【shownet.conf_】ネットワークテストの最適化と利便性の追求
shownet
PRO
0
210
Oracle GoldenGate 23ai 導入Tips
oracle4engineer
PRO
0
170
DockerのマルチプラットフォームイメージをGitHub Actionsでビルドして公開する際に、参考にしたドキュメントと便利だったツール
iwamot
3
120
Causal Impactを用いたLINE Pay UIの効果検証とABテスト実施への貢献
lycorptech_jp
PRO
1
410
Valuable Software Engineering
avandeursen
0
240
Amazon BedrockとPR-Agentでコードレビュー自動化に挑戦・実際に運用してみた
diggymo
0
530
【shownet.conf_】トポロジ図の歩き方
shownet
PRO
0
320
エムスリーマネジメントチーム紹介資料 / Introduction of M3 Management Team
m3_engineering
0
230
AI時代のアジャイル開発(XP祭り2024版) / Agile Development in the AI Era in XPJUG
takaking22
13
3.3k
Featured
See All Featured
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.2k
How to name files
jennybc
76
98k
Fontdeck: Realign not Redesign
paulrobertlloyd
80
5.2k
How to Think Like a Performance Engineer
csswizardry
16
1k
The Brand Is Dead. Long Live the Brand.
mthomps
53
38k
Building an army of robots
kneath
302
42k
Practical Orchestrator
shlominoach
185
10k
Documentation Writing (for coders)
carmenintech
65
4.3k
Bash Introduction
62gerente
608
210k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
2
210
What's in a price? How to price your products and services
michaelherold
243
11k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
230
17k
Transcript
(C) mixi, Inc. Customer Support Tech Meetup #2 2020年8月27日 株式会社ミクシィ
統括管理本部 CS部 CREグループ 本間 光宣 問い合わせ対応のデータを宝の山にするために
(C) mixi, Inc. ◦ 本間 光宣(@_mitsu9) ◦ 株式会社ミクシィ・CRE ◦ 2018年新卒入社
◦ CSで利用する様々なシステムの開発・運用保守 ◦ 機械学習を用いてテンプレ対応を効率化 ◦ 問い合わせデータを活用するためのデータ基盤構築 2 自己紹介
(C) mixi, Inc. 今日のテーマ 問い合わせ対応のデータを活用してより良いCSを作っていこう! お話すること データを活用できなかった事例を通して データを活用するための環境構築において意識すると良いこと 3 今日の発表の概要
(C) mixi, Inc. CSで問い合わせ対応のデータを活用できる場面はたくさんある ◦ サポートの質の向上 ◦ 席数の見積もり ◦ 過去の類似案件を参考に対応
◦ よくある対応の効率化・自動化 ◦ サービスの改善 ◦ VOC (Voice of Customer)の活用 ◦ 自己解決率の向上 ◦ FAQの改善 4 CS x データ活用
(C) mixi, Inc. ◦ モンスターストライク ◦ 今年秋で7周年 ◦ 1日の問い合わせ件数 x
2555(365日 x 7年) のデータを持つ ◦ 機能が非常に多く日々多様な問い合わせが届く ◦ 問題だけでなくゲームへの意見等もある ◦ 問題発生時のスパイクが大きい ◦ 過去最高は1日に2万件以上 ソフトウェアを活用して効率的にデータを分析・活用することが必要 5 ミクシィCS x データ
(C) mixi, Inc. リアルタイム分析の事例 ◦ 直近の問い合わせの頻出単語をSlackに通知 ◦ 閾値以上の回数登場した単語を通知 ◦ 直近の問い合わせ数が閾値以上の場合Slackに通知
◦ 委託先と弊社で分けて対応しているため全体の問い合わせ数を監視 6 データを活用している事例①
(C) mixi, Inc. 大量の過去の問い合わせを活用する事例 ◦ 過去の対応履歴を活用して返信テンプレートを推薦 ◦ 数千〜数万件の問い合わせを利用して機械学習を行う 7 データを活用している事例②
問い合わせ文 「XXXXX」 テンプレB 「ユーザーも驚きの高速かつ正確な対応を AIを用いて実現する」 https://speakerdeck.com/mitsu9/how-to-realize-rapid-and-correct-customer-support-with-ml
(C) mixi, Inc. カテゴリ分けを自動化しようとした事例 ◦ 問い合わせをカテゴリに分けて管理している ◦ カテゴリ分けは人が行なっていたので、機械で自動化をしようとした ◦ 過去のカテゴリ分けに問題があり自動化できなかった
8 データを活用できなかった事例 ガチャ クエスト 決済 ガチャ クエスト 決済 「カスタマーサポート AIの失敗と教訓」 https://medium.com/mixi-developers/challenge-of-cs-ai-15c65ef7066a
(C) mixi, Inc. 9 データ活用のフロー データ活用には「収集」「加工」「活用」と3つのプロセスがある 必要なデータを集める データを加工したり、 機械学習をしたりする Slack通知など、
システムに組み込み 利用する 収集 加工 活用
(C) mixi, Inc. 10 データを活用する時に直面する課題 収集フェーズで問題がありその先に進めないケースがある 過去1年分の問い合わせと カテゴリのデータ カテゴリ分けを行う モデルを作成
カテゴリ分けを自動化する カテゴリ分けの事例の場合 収集 加工 活用 データ自体が間違っていたためうまく分類できなかった
(C) mixi, Inc. 11 データを収集する時に直面する課題 データがない データはあるが 正しくない データはあるらしいが どこにあるかわからない
(C) mixi, Inc. 12 データを収集する時に直面する課題 データがない データはあるが 正しくない 今日は「正しくないデータ」に焦点を当て、 なぜそのようなデータが生まれたのかという事例を紹介します
データはあるらしいが どこにあるかわからない データを取るようにしよう どこにどのデータがあるのか きちんと管理しよう
(C) mixi, Inc. 問い合わせの傾向変化に追従できていなかった 新しいカテゴリに入るべき問い合わせが既存のカテゴリに含まれていた 13 正しくないデータが生まれた原因① ガチャ クエスト 決済
新機能に関する問い合わせ 新カテゴリ 正しくカテゴリ分けする ためには新しくカテゴリを 作成する必要がある 新機能だからカテゴリがない・・ なんとなく近いカテゴリに入れよう
(C) mixi, Inc. 問い合わせの傾向変化に追従できていなかった 後からカテゴリを追加すると時間軸によるデータのずれが生じた →同じ問い合わせでも入信した時間によって別カテゴリになってしまう 14 正しくないデータが生まれた原因① 時間 新機能追加
新しい問い合わせが入信 新カテゴリ追加 新しい問い合わせを 正しくカテゴリ分けできるように 正しくカテゴリ分けされて いない期間 正しくカテゴリ分けされて いる期間
(C) mixi, Inc. 人によって判断が異なっていた ルールが曖昧な時に独自のルールでカテゴリ分けを行なっていた ルールを決めてもそれ以前のデータはルール通りに分けられていなかった 15 正しくないデータが生まれた原因② ガチャ クエスト
決済 2つの内容を含んでいるけど どう分類すれば良いだろう・・ 1つ目の話でカテゴリを決めよう Aについて・・ あとBについてもな んですけど・・
(C) mixi, Inc. 運用のためのカテゴリ分けになっていた 対応や集計など運用の都合でカテゴリが変わることがあった 16 正しくないデータが生まれた原因③ カテゴリA カテゴリB カテゴリC
内容的にはカテゴリ Bだけど 熱量が高くて早く対応した方が 良さそうだからカテゴリ Aにしよう! 優先度高 優先度中 優先度低
(C) mixi, Inc. ◦ 問い合わせの傾向の変化に対して対応していない ◦ 人によって判断が異なるデータが存在する ◦ ルールを決めた時に過去のデータについて修正していない ◦
運用のためのデータになっており正しいデータが保管されていない 17 正しくないデータが生まれる危険な匂い
(C) mixi, Inc. ◦ 定期的に正しくないデータが生まれていないか確認する ◦ 正しくないデータを見つけた時には修正して正しいデータにする 大量のデータを修正することは大変なので 定期的に見直し少しずつ修正することが大切 18
正しいデータを貯めるためには
(C) mixi, Inc. 今日のテーマ 問い合わせ対応のデータを活用してより良いCSを作っていこう! お話したこと データを活用するときに収集したデータに問題があるケースがある 正しくないデータが発生するいくつかのパターンを紹介 定期的にルールを見直すことで正しいデータを貯めていくことが大切 19
まとめ