(C) mixi, Inc. Customer Support Tech Meetup #2 2020年8月27日 株式会社ミクシィ 統括管理本部 CS部 CREグループ 本間 光宣 問い合わせ対応のデータを宝の山にするために

(C) mixi, Inc. ○ 本間 光宣（@_mitsu9） ○ 株式会社ミクシィ・CRE ○ 2018年新卒入社 ○ CSで利用する様々なシステムの開発・運用保守 ○ 機械学習を用いてテンプレ対応を効率化 ○ 問い合わせデータを活用するためのデータ基盤構築 2 自己紹介

(C) mixi, Inc. 今日のテーマ 問い合わせ対応のデータを活用してより良いCSを作っていこう！ お話すること データを活用できなかった事例を通して データを活用するための環境構築において意識すると良いこと 3 今日の発表の概要

(C) mixi, Inc. CSで問い合わせ対応のデータを活用できる場面はたくさんある ○ サポートの質の向上 ○ 席数の見積もり ○ 過去の類似案件を参考に対応 ○ よくある対応の効率化・自動化 ○ サービスの改善 ○ VOC (Voice of Customer)の活用 ○ 自己解決率の向上 ○ FAQの改善 4 CS x データ活用

(C) mixi, Inc. ○ モンスターストライク ○ 今年秋で7周年 ○ 1日の問い合わせ件数 x 2555(365日 x 7年) のデータを持つ ○ 機能が非常に多く日々多様な問い合わせが届く ○ 問題だけでなくゲームへの意見等もある ○ 問題発生時のスパイクが大きい ○ 過去最高は1日に2万件以上 ソフトウェアを活用して効率的にデータを分析・活用することが必要 5 ミクシィCS x データ

(C) mixi, Inc. リアルタイム分析の事例 ○ 直近の問い合わせの頻出単語をSlackに通知 ○ 閾値以上の回数登場した単語を通知 ○ 直近の問い合わせ数が閾値以上の場合Slackに通知 ○ 委託先と弊社で分けて対応しているため全体の問い合わせ数を監視 6 データを活用している事例①

(C) mixi, Inc. 大量の過去の問い合わせを活用する事例 ○ 過去の対応履歴を活用して返信テンプレートを推薦 ○ 数千〜数万件の問い合わせを利用して機械学習を行う 7 データを活用している事例② 問い合わせ文 「XXXXX」 テンプレB 「ユーザーも驚きの高速かつ正確な対応を AIを用いて実現する」 https://speakerdeck.com/mitsu9/how-to-realize-rapid-and-correct-customer-support-with-ml

(C) mixi, Inc. カテゴリ分けを自動化しようとした事例 ○ 問い合わせをカテゴリに分けて管理している ○ カテゴリ分けは人が行なっていたので、機械で自動化をしようとした ○ 過去のカテゴリ分けに問題があり自動化できなかった 8 データを活用できなかった事例 ガチャ クエスト 決済 ガチャ クエスト 決済 「カスタマーサポート AIの失敗と教訓」 https://medium.com/mixi-developers/challenge-of-cs-ai-15c65ef7066a

(C) mixi, Inc. 9 データ活用のフロー データ活用には「収集」「加工」「活用」と3つのプロセスがある 必要なデータを集める データを加工したり、 機械学習をしたりする Slack通知など、 システムに組み込み 利用する 収集 加工 活用

(C) mixi, Inc. 10 データを活用する時に直面する課題 収集フェーズで問題がありその先に進めないケースがある 過去1年分の問い合わせと カテゴリのデータ カテゴリ分けを行う モデルを作成 カテゴリ分けを自動化する カテゴリ分けの事例の場合 収集 加工 活用 データ自体が間違っていたためうまく分類できなかった

(C) mixi, Inc. 11 データを収集する時に直面する課題 データがない データはあるが 正しくない データはあるらしいが どこにあるかわからない

(C) mixi, Inc. 12 データを収集する時に直面する課題 データがない データはあるが 正しくない 今日は「正しくないデータ」に焦点を当て、 なぜそのようなデータが生まれたのかという事例を紹介します データはあるらしいが どこにあるかわからない データを取るようにしよう どこにどのデータがあるのか きちんと管理しよう

(C) mixi, Inc. 問い合わせの傾向変化に追従できていなかった 新しいカテゴリに入るべき問い合わせが既存のカテゴリに含まれていた 13 正しくないデータが生まれた原因① ガチャ クエスト 決済 新機能に関する問い合わせ 新カテゴリ 正しくカテゴリ分けする ためには新しくカテゴリを 作成する必要がある 新機能だからカテゴリがない・・ なんとなく近いカテゴリに入れよう

(C) mixi, Inc. 問い合わせの傾向変化に追従できていなかった 後からカテゴリを追加すると時間軸によるデータのずれが生じた →同じ問い合わせでも入信した時間によって別カテゴリになってしまう 14 正しくないデータが生まれた原因① 時間 新機能追加 新しい問い合わせが入信 新カテゴリ追加 新しい問い合わせを 正しくカテゴリ分けできるように 正しくカテゴリ分けされて いない期間 正しくカテゴリ分けされて いる期間

(C) mixi, Inc. 人によって判断が異なっていた ルールが曖昧な時に独自のルールでカテゴリ分けを行なっていた ルールを決めてもそれ以前のデータはルール通りに分けられていなかった 15 正しくないデータが生まれた原因② ガチャ クエスト 決済 2つの内容を含んでいるけど どう分類すれば良いだろう・・ 1つ目の話でカテゴリを決めよう Aについて・・ あとBについてもな んですけど・・

(C) mixi, Inc. 運用のためのカテゴリ分けになっていた 対応や集計など運用の都合でカテゴリが変わることがあった 16 正しくないデータが生まれた原因③ カテゴリA カテゴリB カテゴリC 内容的にはカテゴリ Bだけど 熱量が高くて早く対応した方が 良さそうだからカテゴリ Aにしよう！ 優先度高 優先度中 優先度低

(C) mixi, Inc. ○ 問い合わせの傾向の変化に対して対応していない ○ 人によって判断が異なるデータが存在する ○ ルールを決めた時に過去のデータについて修正していない ○ 運用のためのデータになっており正しいデータが保管されていない 17 正しくないデータが生まれる危険な匂い

(C) mixi, Inc. ○ 定期的に正しくないデータが生まれていないか確認する ○ 正しくないデータを見つけた時には修正して正しいデータにする 大量のデータを修正することは大変なので 定期的に見直し少しずつ修正することが大切 18 正しいデータを貯めるためには

(C) mixi, Inc. 今日のテーマ 問い合わせ対応のデータを活用してより良いCSを作っていこう！ お話したこと データを活用するときに収集したデータに問題があるケースがある 正しくないデータが発生するいくつかのパターンを紹介 定期的にルールを見直すことで正しいデータを貯めていくことが大切 19 まとめ