Customer Support Tech Meetup #2 (2020/08/27)
(C) mixi, Inc.Customer Support Tech Meetup #22020年8月27日株式会社ミクシィ 統括管理本部 CS部 CREグループ本間 光宣問い合わせ対応のデータを宝の山にするために
View Slide
(C) mixi, Inc.○ 本間 光宣（@_mitsu9）○ 株式会社ミクシィ・CRE○ 2018年新卒入社○ CSで利用する様々なシステムの開発・運用保守○ 機械学習を用いてテンプレ対応を効率化○ 問い合わせデータを活用するためのデータ基盤構築2自己紹介
(C) mixi, Inc.今日のテーマ問い合わせ対応のデータを活用してより良いCSを作っていこう！お話することデータを活用できなかった事例を通してデータを活用するための環境構築において意識すると良いこと3今日の発表の概要
(C) mixi, Inc.CSで問い合わせ対応のデータを活用できる場面はたくさんある○ サポートの質の向上○ 席数の見積もり○ 過去の類似案件を参考に対応○ よくある対応の効率化・自動化○ サービスの改善○ VOC (Voice of Customer)の活用○ 自己解決率の向上○ FAQの改善4CS x データ活用
(C) mixi, Inc.○ モンスターストライク○ 今年秋で7周年○ 1日の問い合わせ件数 x 2555(365日 x 7年) のデータを持つ○ 機能が非常に多く日々多様な問い合わせが届く○ 問題だけでなくゲームへの意見等もある○ 問題発生時のスパイクが大きい○ 過去最高は1日に2万件以上ソフトウェアを活用して効率的にデータを分析・活用することが必要5ミクシィCS x データ
(C) mixi, Inc.リアルタイム分析の事例○ 直近の問い合わせの頻出単語をSlackに通知○ 閾値以上の回数登場した単語を通知○ 直近の問い合わせ数が閾値以上の場合Slackに通知○ 委託先と弊社で分けて対応しているため全体の問い合わせ数を監視6データを活用している事例①
(C) mixi, Inc.大量の過去の問い合わせを活用する事例○ 過去の対応履歴を活用して返信テンプレートを推薦○ 数千〜数万件の問い合わせを利用して機械学習を行う7データを活用している事例②問い合わせ文「XXXXX」テンプレB「ユーザーも驚きの高速かつ正確な対応を AIを用いて実現する」https://speakerdeck.com/mitsu9/how-to-realize-rapid-and-correct-customer-support-with-ml
(C) mixi, Inc.カテゴリ分けを自動化しようとした事例○ 問い合わせをカテゴリに分けて管理している○ カテゴリ分けは人が行なっていたので、機械で自動化をしようとした○ 過去のカテゴリ分けに問題があり自動化できなかった8データを活用できなかった事例ガチャクエスト決済ガチャクエスト決済「カスタマーサポート AIの失敗と教訓」https://medium.com/mixi-developers/challenge-of-cs-ai-15c65ef7066a
(C) mixi, Inc.9データ活用のフローデータ活用には「収集」「加工」「活用」と3つのプロセスがある必要なデータを集めるデータを加工したり、機械学習をしたりするSlack通知など、システムに組み込み利用する収集 加工 活用
(C) mixi, Inc.10データを活用する時に直面する課題収集フェーズで問題がありその先に進めないケースがある過去1年分の問い合わせとカテゴリのデータカテゴリ分けを行うモデルを作成カテゴリ分けを自動化するカテゴリ分けの事例の場合収集 加工 活用データ自体が間違っていたためうまく分類できなかった
(C) mixi, Inc.11データを収集する時に直面する課題データがないデータはあるが正しくないデータはあるらしいがどこにあるかわからない
(C) mixi, Inc.12データを収集する時に直面する課題データがないデータはあるが正しくない今日は「正しくないデータ」に焦点を当て、なぜそのようなデータが生まれたのかという事例を紹介しますデータはあるらしいがどこにあるかわからないデータを取るようにしようどこにどのデータがあるのかきちんと管理しよう
(C) mixi, Inc.問い合わせの傾向変化に追従できていなかった新しいカテゴリに入るべき問い合わせが既存のカテゴリに含まれていた13正しくないデータが生まれた原因①ガチャクエスト決済新機能に関する問い合わせ新カテゴリ正しくカテゴリ分けするためには新しくカテゴリを作成する必要がある新機能だからカテゴリがない・・なんとなく近いカテゴリに入れよう
(C) mixi, Inc.問い合わせの傾向変化に追従できていなかった後からカテゴリを追加すると時間軸によるデータのずれが生じた→同じ問い合わせでも入信した時間によって別カテゴリになってしまう14正しくないデータが生まれた原因①時間新機能追加新しい問い合わせが入信新カテゴリ追加新しい問い合わせを正しくカテゴリ分けできるように正しくカテゴリ分けされて いない期間 正しくカテゴリ分けされて いる期間
(C) mixi, Inc.人によって判断が異なっていたルールが曖昧な時に独自のルールでカテゴリ分けを行なっていたルールを決めてもそれ以前のデータはルール通りに分けられていなかった15正しくないデータが生まれた原因②ガチャクエスト決済2つの内容を含んでいるけどどう分類すれば良いだろう・・1つ目の話でカテゴリを決めようAについて・・あとBについてもなんですけど・・
(C) mixi, Inc.運用のためのカテゴリ分けになっていた対応や集計など運用の都合でカテゴリが変わることがあった16正しくないデータが生まれた原因③カテゴリAカテゴリBカテゴリC内容的にはカテゴリ Bだけど熱量が高くて早く対応した方が良さそうだからカテゴリ Aにしよう！優先度高優先度中優先度低
(C) mixi, Inc.○ 問い合わせの傾向の変化に対して対応していない○ 人によって判断が異なるデータが存在する○ ルールを決めた時に過去のデータについて修正していない○ 運用のためのデータになっており正しいデータが保管されていない17正しくないデータが生まれる危険な匂い
(C) mixi, Inc.○ 定期的に正しくないデータが生まれていないか確認する○ 正しくないデータを見つけた時には修正して正しいデータにする大量のデータを修正することは大変なので定期的に見直し少しずつ修正することが大切18正しいデータを貯めるためには
(C) mixi, Inc.今日のテーマ問い合わせ対応のデータを活用してより良いCSを作っていこう！お話したことデータを活用するときに収集したデータに問題があるケースがある正しくないデータが発生するいくつかのパターンを紹介定期的にルールを見直すことで正しいデータを貯めていくことが大切19まとめ
mitsu9
jacopen
drumath2237
uzulla
gen519
tgalopin
ykanoh
shimashima35
yayoi_dd
line_developers
cybozuinsideout
yururoi
daina0321
yeseniaperezcruz
holman
bryan
sferik
keathley
wjessup
chriscoyier
marcelosomers
rasmusluckow
dougneiner
robhawkes
panda_program