MTC2018 - CSAT Score - 極度改善(しなさい) -

Speaker: 大島 孝子

US版メルカリでは、一年前からお客様のカスタマーサポート満足度を計測するために、CSAT(Customer Satisfaction) Surveyを実施してスコアを算出しはじめました。
このスコアリングは、サンフランシスコ(現パロアルト)/ポートランド/東京の3拠点で議論を重ねて育て続けられ、今ではCompany OKRへ組み込まれるようになり、社内で大切にしているモノサシへと進化しました。
そんな私たちのモノサシが、この一年でどのように実装内容が変化していったか、プロダクト開発の意思決定に影響を与えていったかご紹介いたします。

Transcript

1. CSAT Score - 極度改善(しなさい) - 大島 孝子 Software Engineer (Machine Learning)
2. Software Engineer Machine Learning Takako Ohshima
3. 自己紹介 大島 孝子(@hatone) 2017/02 Mercari, Inc. (US現地採用) Customer Experience Improvement (CXI) Team 2018/05 Machine Learning Teamが新設されて異動
4. CSAT Score 極度改善(しなさい)
5. 本日話すこと - CXIを支えるチームについて - 我々が抱えた問題 - CSAT Score とは - 開発/運用してみてわかったこと/起きたこと
6. Customer eXperience Improvement CXI? US@Tokyo Palo Alto Portland
7. 東京/Palo Alto/Portland それぞれの拠点から お客様体験をより良くしようと活動してます
8. CXIの主に担当している分野 • MercariのCS担当者向け内部ツール • 運用改善全般
9. 改善しようとしたコト お問い合わせ 対応の品質 CS担当者 それぞれの 目標設定 機能開発の 優先度
10. 2017年に抱えていた問題 CS担当者が業務を改善していくための指標がなく、 目標設定が曖昧になっていた。 お問い合わせ 対応の品質 CS担当者それぞれ の目標設定 機能開発の優先度 お客様相談に対する返答のテンプレートは適切か ? CS担当者それぞれの判断・対応は適切だったのか？ 沢山上がってくる社内ツールの改善要望の優先度をどう決めるべきか？ 満足度が低い問い合わせに関連する機能は根本から見直せるのではないか？
11. 2017年に抱えていた問題 CS担当者が業務を改善していくための指標がなく、 目標設定が曖昧になっていた。 お問い合わせ 対応の品質 CS担当者それぞれ の目標設定 機能開発の優先度 お客様相談に対する返答のテンプレートは適切か ? CS担当者それぞれの判断・対応は適切だったのか？ 沢山上がってくる社内ツールの改善要望の優先度をどう決めるべきか？ 満足度が低い問い合わせに関連する機能は根本から見直せるのではないか？
12. 2017年に抱えていた問題 CS担当者が業務を改善していくための指標がなく、 目標設定が曖昧になっていた。 お問い合わせ 対応の品質 CS担当者それぞれ の目標設定 機能開発の優先度 お客様相談に対する返答のテンプレートは適切か ? CS担当者それぞれの判断・対応は適切だったのか？ 沢山上がってくる社内ツールの改善要望の優先度をどう決めるべきか？ 満足度が低い問い合わせに関連する機能は根本から見直せるのではないか？
13. 改善のモノサシを作る チーム目標、CS担当者の目標設定 お問い合わせ 対応の品質 機能開発の優先度 返信テンプレート、CS担当者毎の対応満足度のスコア化 満足度が低い, 問い合わせが多いものを改善していく CS担当者それぞれ の目標設定
14. 改善のモノサシを作る チーム目標、CS担当者の目標設定 お問い合わせ 対応の品質 機能開発の優先度 返信テンプレート、CS担当者毎の対応満足度のスコア化 満足度が低い, 問い合わせが多いものを改善していく CS担当者それぞれ の目標設定
15. 改善のモノサシを作る チーム目標、CS担当者の目標設定 お問い合わせ 対応の品質 機能開発の優先度 返信テンプレート、CS担当者毎の対応満足度のスコア化 満足度が低い, 問い合わせが多いものを改善していく CS担当者それぞれ の目標設定
16. 改善のモノサシを作る CSAT Score Customer Satisfaction Score
17. CSAT Score計測の実施内容 App上から お問い合わせ お問い合わせ完了後、 約24時間以内に アンケートメールを送信 結果を集計していく
18. CSAT Score計測の実施内容 App上から お問い合わせ お問い合わせ完了後、 約24時間以内に アンケートメールを送信 結果を集計していく
19. Zendeskの既存機能 vs Ask Nicely ZendeskでCSATを図ろうとした場合、 2つ しか値が取れなかった
20. CSAT集計基盤 (アンケートの送信) mercari-admin batch DB 各メールアドレス毎に - UserID - タグ - マクロ - 対応エージェント名 これらの情報をAskNicely上にカスタムパラメータとして保持 させながら、サーベイメールを送る事ができる
21. CSAT集計基盤 (アンケートの送信) mercari-admin batch DB 各メールアドレス毎に - UserID - タグ - マクロ - 対応エージェント名 これらの情報をAskNicely上にカスタムパラメータとして保持 させながら、サーベイメールを送る事ができる
22. CSAT集計基盤 (アンケート結果の集計) asknicely2bigquery Cloud Functions BigQuery Other functions Cloud Functions Google App Script
23. CSAT集計基盤 (アンケート結果の集計) asknicely2bigquery Cloud Functions BigQuery Other functions Cloud Functions Google App Script
24. USで開発/運用する際に気をつけたポイント - 4 (+2) 存在するタイムゾーン - Emailの送信は 午後4時(PDT/PST) ≒ 午後7時(EDT/EST)まで - 大幅に超過しそうな場合は、PMに共有して翌日以降に送信を実施 する PST MST CST EST AKST HAST
25. 開発/運用でハマったポイント ZendeskのAPIコール上限数が意外に少ない 集計結果のQA方法 CSによるレポート更新 諸トラブルによるアンケート未送信
26. 画像や写真 ZendeskのAPIコール上限数 503レスポンス時のRetry-After Headerを見て、リクエス トタイミングを調整 各サービス連携者を探して、リクエスト数を調整 Rate Limitを超えると 503エラーが返って くるようになる。
27. 集計結果のQA方法 そのデータが正しいのか？ PM/運用するCSリーダーにも触ってもらう
28. CSによるレポート更新 CS本人がレポートを自由に更新できるようにした zapierのwebhook機能からcloud functionsのhttpトリ ガーを経由 asknicely2bigquery Cloud Functions
29. CSによるレポート更新 CS本人がレポートを自由に更新できるようにした zapierのwebhook機能からcloud functionsのhttpトリ ガーを経由 asknicely2bigquery Cloud Functions
30. 諸トラブルによる アンケート未送信 変化を歓迎する(大切!) Zendesk上の設定変更/チケットのハンドリングの仕組 みが変わることはあるので、リカバリしやすさを心がけ る トラブル検知として、 送信数を監視してslack通知するようにした
31. 諸トラブルによる アンケート未送信 変化を歓迎する(大切!) Zendesk上の設定変更/チケットのハンドリングの仕組 みが変わることはあるので、リカバリしやすさを心がけ る トラブル検知として、 送信数を監視してslack通知するようにした
32. CSAT Score開発・運用を通して 計算方式や定義 リカバリしやすさ 運用しやすさ
33. CSAT Score開発・運用を通して 計算方式や定義 リカバリしやすさ 運用しやすさ
34. CSAT Score開発・運用を通して 計算方式や定義 リカバリしやすさ 運用しやすさ
35. CSAT Score開発・運用を通して 計算方式や定義 リカバリしやすさ 運用しやすさ
36. CSAT Scoreが出来てから: お客様のお問い合わせ対応改善 Old Copy It’s possible your tracking information isn’t updating because the package missed a tracking scan. In most cases, the item is still in transit to the destination, and final delivery is unaffected. If you feel the item has been lost, please contact the carrier with your tracking number, and they should be able to locate your item. If the carrier confirms the item has been lost, please contact us via the Help Center in My Page, and we’ll help to resolve the issue. New Copy Packages occasionally miss a tracking scan in transit. In most cases, the item is still in transit to the destination, and final delivery is unaffected. If you feel that the item was lost, I recommend reaching out to the carrier with your tracking number. They should be able to track down your item. If the carrier confirms the item has been lost, please contact us via the Help Center in My Page, and we’ll help to resolve the issue. SHIP:: GENERAL:: Why is my tracking information not updating? 100件以上、見直されてきている
37. CSAT Scoreが出来てから: お客様のお問い合わせ対応改善 Old Copy It’s possible your tracking information isn’t updating because the package missed a tracking scan. In most cases, the item is still in transit to the destination, and final delivery is unaffected. If you feel the item has been lost, please contact the carrier with your tracking number, and they should be able to locate your item. If the carrier confirms the item has been lost, please contact us via the Help Center in My Page, and we’ll help to resolve the issue. New Copy Packages occasionally miss a tracking scan in transit. In most cases, the item is still in transit to the destination, and final delivery is unaffected. If you feel that the item was lost, I recommend reaching out to the carrier with your tracking number. They should be able to track down your item. If the carrier confirms the item has been lost, please contact us via the Help Center in My Page, and we’ll help to resolve the issue. SHIP:: GENERAL:: Why is my tracking information not updating? 100件以上、見直されてきている
38. CSAT Scoreが出来てから: CS担当者の評価方法の改善 CSAT Scoreを使った 社内キャンペーン
39. CSAT Scoreが出来てから: 機能の開発優先度の判断 (目標CSAT Score - 現行CSAT Score) × アンケート返信数 = Impact 改善アイディアは沢山ある
40. 開発を拡大し、訪れた変化 - 効率良く複数人で開発する方法 - Google App Scriptはコードは共有できるものの、タイマーの共有が出来なかった - データとして見たい要素の要望が増えてた - facebook・twitter・電話お問い合わせ、チーム毎 - DataStudio → Looker へ移行中 - 会社OKRに、CSAT Scoreが使われている
41. 開発を拡大し、訪れた変化 - 効率良く複数人で開発する方法 - Google App Scriptはコードは共有できるものの、タイマーの共有が出来なかった - データとして見たい要素の要望が増えてた - facebook・twitter・電話お問い合わせ、チーム毎 - DataStudio → Looker へ移行中 - 会社OKRに、CSAT Scoreが使われている
42. 開発を拡大し、訪れた変化 - 効率良く複数人で開発する方法 - Google App Scriptはコードは共有できるものの、タイマーの共有が出来なかった - データとして見たい要素の要望が増えてた - facebook・twitter・電話お問い合わせ、チーム毎 - DataStudio → Looker へ移行中 - 会社OKRに、CSAT Scoreが使われている
43. 開発を拡大し、訪れた変化 - 効率良く複数人で開発する方法 - Google App Scriptはコードは共有できるものの、タイマーの共有が出来なかった - データとして見たい要素の要望が増えてた - facebook・twitter・電話お問い合わせ、チーム毎 - DataStudio → Looker へ移行中 - 会社OKRに、CSAT Scoreが使われている
44. 開発を拡大し、訪れた変化 - 効率良く複数人で開発する方法 - Google App Scriptはコードは共有できるものの、タイマーの共有が出来なかった - データとして見たい要素の要望が増えてた - facebook・twitter・電話お問い合わせ、チーム毎 - DataStudio → Looker へ移行中 - 会社OKRに、CSAT Scoreが使われている
45. 開発を拡大し、訪れた変化 - 効率良く複数人で開発する方法 - Google App Scriptはコードは共有できるものの、タイマーの共有が出来なかった - データとして見たい要素の要望が増えてた - facebook・twitter・電話お問い合わせ、チーム毎 - DataStudio → Looker へ移行中 - 会社OKRに、CSAT Scoreが使われている
46. CSAT Scoreの改善状況 3.65 (2017年6月) 3.86 (2018年9月)
47. それぞれの役割、それぞれの改善 CXIチーム エンジニア CS担当者 チーム プロジェクト & プロダクト マネージャー CSAT Scoreのシステム そのものを改善 お客様対応を改善 CSAT Scoreのインパクトも 含めて、 プロダクトの優先度を考慮
48. それぞれの役割、それぞれの改善 CXIチーム エンジニア CS担当者 チーム プロジェクト & プロダクト マネージャー CSAT Scoreのシステム そのものを改善 お客様対応を改善 CSAT Scoreのインパクトも 含めて、 プロダクトの優先度を考慮
49. それぞれの役割、それぞれの改善 CXIチーム エンジニア CS担当者 チーム プロジェクト & プロダクト マネージャー CSAT Scoreのシステム そのものを改善 お客様対応を改善 CSAT Scoreのインパクトも 含めて、 プロダクトの優先度を考慮
50. それぞれの役割、それぞれの改善 CXIチーム エンジニア CS担当者 チーム プロジェクト & プロダクト マネージャー CSAT Scoreのシステム そのものを改善 お客様対応を改善 CSAT Scoreのインパクトも 含めて、 プロダクトの優先度を考慮
51. CSAT Score 極度改善(しなさい) 計測せよ。 解決すべき問題を定めよ。 改善せよ。
52. CSAT Score 極度改善(しなさい) 計測せよ。 解決すべき問題を定めよ。 改善せよ。