CREチーム指標に対する顧客信頼性向上の取り組み / Efforts to Improve Customer Reliability in minne CRE Team Indicators

2022.11.17開催『第11回 Customer系エンジニア座談会
https://customer-x-engineer.connpass.com/event/264600/
での登壇資料です。

minne の顧客信頼性向上のためにCustomer Reliability Engineering(CRE)チームでの指標を決めた話と、実際の施策内容から指標に対する振り返りの内容です。

資料内リンク
- ミッション
- https://speakerdeck.com/ave/minne-cre-action-to-reduce-customer-efforts?slide=10

Transcript

1. 1 CREチーム指標に対する 顧客信頼性向上の取り組み 柳原 光里 / GMO PEPABO inc. 2022.11.17 Customer系エンジニア座談会
2. minne事業部　CREチーム Webエンジニア 2018年 中途入社 2 自己紹介 柳原 光里 Yanagihara Hikari 社内で hikari と呼ばれています • ペパボ入社後 minne のプロダクトチームに約2年 半在籍→CREチームを立ち上げ • お店開拓したりライブ行ったり基本外が好きです　 最近はスプラトゥーンにはまっています • Twitter: @_ave_h / はてなブログ: @ave_h
4. 4 アジェンダ 1. minneのCREチームについて 2. チームの指標 3. 改善事例 1. 迷惑メッセージ改善 2. 注文キャンセルフロー改善 4. まとめ
5. 5 CREチームについて
6. 6 • 直接流通額に寄与する施策は行わない ◦ minneの顧客信頼性向上が目的 ※チームミッションを昨年のLT資料にも記載しています・この後の発表でも触れます！ ◦ カスタマーサポート（以下CS）と問い合わせ傾向から既存機能の改善点を調査、施策を決定 ◦ CS業務テック化、効率化推進 ◦ 問い合わせの技術的調査やユーザ誘導も並行して行う • 2022/11現在、Webアプリケーションエンジニア2名、デザイナー2名 ◦ 2020/7 @hikari 1名で1年 → 2021/6 デザイナー @miz_e_ ジョイン → 2022/10 エンジニア, デザイナー(OJT)1名ずつジョインし現在の体制 チームの目的、業務分類、人員構成 minneのCREチームについて
7. 7 チームの指標
8. 8 顧客信頼性を評価するための判断基準をこのように考えた。 顧客のネガティブな感情を減らし、問い合わせなど面倒な手続きを減らすことで 「使い続けたいminne」が実現できる “ 顧客努力の軽減 ” チームの指標
9. 9 退会数 目的達成コスト 自己解決コスト ※1: SLOのようにユーザーに対して実際にサービスを提供することができる根拠としての、目標値を定めることが難しかった為 チームの指標 • 最も「minneを使いたくな い、頑張りたくないから放棄 した」結果が現れている • 日ごとの退会者数を可視化し それを元に継続改善 • ユーザが特定の目的を達成す るまでの障壁を減らす • 継続して見る特定の数値はな く、各施策で課題に対しての 改善目標数値を決め、効果測 定を行う ※1 • 問い合わせを行わず自身で解 決できるようフォローする • ヘルプページ閲覧後の問い合 わせ率、記事投票数や検索数 を可視化しそれを元に継続改 善
10. 顧客信頼性向上は顧客努力削減とよりセキュアなサービスを実現すると成り立つと考え それぞれの要素でやるべきアクションを組み立てる 10 10 チームの指標
11. 11 改善事例
12. 12 1. 迷惑メッセージ改善
13. 13 退会数 目的達成コスト 自己解決コスト ※1: SLOのようにユーザーに対して実際にサービスを提供することができる根拠としての、目標値を定めることが難しかった為 チームの指標 • 最も「minneを使いたくな い、頑張りたくないから放棄 した」結果が現れている • 日ごとの退会者数を可視化し それを元に継続改善 • ユーザが特定の目的を達成す るまでの障壁を減らす • 継続して見る特定の数値はな く、各施策で課題に対しての 改善目標数値を決め、効果測 定を行う ※1 • 問い合わせを行わず自身で解 決できるようフォローする • ヘルプページ閲覧後の問い合 わせ率、記事投票数や検索数 を可視化しそれを元に継続改 善
14. 14 課題 1. 迷惑メッセージ改善（退会者数） • 購入者/販売者がいて、オーダーなどについて「取引前でも」ユーザ同士自由にやりとりが行 えるメッセージ機能がある • 2021年秋頃より、スパムメッセージ大量送信による被害がCSからの共有で判明 • 退会者増加に繋がった • スパムメッセージの存在に加え、それに対しブロック・通報などのアクションを起こせないこ とに不満を感じる利用者（ユーザ）が多かった
15. 15 やったこと 1. 迷惑メッセージ改善（退会者数） • スパム送信しているユーザを自動検知し、該当するユーザはメッセージの送信が行えないよ うにする ◦ システムでの早期取り締まりにより、新規送信が行えなくなるので被害拡大を防ぐ • 自動検知対象ではないがスパム傾向のあるユーザを検知し、 Slackに通知する。その通知 を見たCSが取り締まり対象か判断する形にフローを変更する ◦ 怪しいユーザを被害発生前に早期に取り締まりできる • スパム報告フォームの設置 ◦ ユーザの「被害を受けても何も行動を起こせない」をなくし、上記2つで検知できない迷惑ユーザを 取り締まることができる
16. 16 効果 1. 迷惑メッセージ改善（退会者数） • 取り締まりによりメッセージの大量送信を防止できた • スパム送信しているユーザの発生はその後も報告フォーム等から確認できるが、退会者数 の顕著な増加は見られなくなった • 段階的に取り締まる方法を決め、システムとCSで取り締まり運用をすることで被害の拡大 を防いでいる 改善前 スパム大量送信時は 目立って退会者も増えた 改善後 大量送信被害は減り、 退会者の増加はなくなった
17. 17 2. 注文キャンセルフロー改善
18. 18 退会数 目的達成コスト 自己解決コスト ※1: SLOのようにユーザーに対して実際にサービスを提供することができる根拠としての、目標値を定めることが難しかった為 チームの指標 • 最も「minneを使いたくな い、頑張りたくないから放棄 した」結果が現れている • 日ごとの退会者数を可視化し それを元に継続改善 • ユーザが特定の目的を達成す るまでの障壁を減らす • 継続して見る特定の数値はな く、各施策で課題に対しての 改善目標数値を決め、効果測 定を行う ※1 • 問い合わせを行わず自身で解 決できるようフォローする • ヘルプページ閲覧後の問い合 わせ率、記事投票数や検索数 を可視化しそれを元に継続改 善
19. 19 課題 2. 注文キャンセルフロー改善（目的達成コスト） • minneでキャンセル完了までのステップ数が多い ◦ 片方がキャンセル申請をしたらキャンセル処理されるわけではなく、販売者が申請機能を使って購 入者にキャンセル依頼を送り、購入者が同意するとキャンセルされる ◦ 「販売者が申請→購入者が同意」するため事前にメッセージで合意をとるように案内している • 「ユーザ間で連絡が取れなくなったので、キャンセルしてほしい」という問い合わせが特に多 い ◦ 上記の分析でキャンセルを希望しても、キャンセル完了までがスムーズに行われないという現状が あることを知る ◦ 「販売者が申請→購入者が同意」が成立せずキャンセルができなかったので、minne で対応して ほしいという問い合わせに繋がる
20. 20 やっていること（現在、絶賛開発中です...） 2. 注文キャンセルフロー改善（目的達成コスト） • 購入者がキャンセル申請に気がつかない状況を減らす ◦ メールとプッシュ通知の両方で気付きを促す • キャンセル手続きをわかりやすくする ◦ ヘルプコンテンツの充実 ◦ UI改善 • キャンセル完了までのステップ数を減らす ◦ Webでしかキャンセルの申請・同意が行えないためアプリからできるように • 効果測定を実施するために指標となる数値を整理し監視可能にする
21. 2. 注文キャンセルフロー改善（目的達成コスト） 21 • 購入者が同意せず、キャンセル成立しなかった 数を減らす • 販売者・購入者双方が同意してからキャンセル 成立するまでの時間の短縮 • 「キャンセル成立」の目的達成コストが削減され たら、次はそもそもキャンセルしたいと思わせ ないためにはどうすれば？を考えるフェーズに 移行！ 期待する効果
22. 22 まとめ
23. 23 「顧客努力の軽減」にフォーカスした3つの指標は適切だった？ まとめ • 退会数 ◦ ユーザ離脱に繋がる事態が発生していることがわかる手がかりとしてはいいが、日々大きな変化 がある数値ではなく「minneを選ばなくなった結果」でしかない ◦ 退会数ではなく継続率を見るべきだった ▪ 使うのをやめてしまう理由を潰すのではなく使い続ける理由を作っていく改善をしよう • 目的達成コスト ◦ 「目的を達成するまでにかかるコストを減らす」でアクションと期待する数値を決めるのはよかった ◦ 課題があっても見込める効果は何か、CSコストだけではなくユーザにはどう影響が及ぶのかを考 えて改善数値を決めることは難しい ▪ しかしCREだからこそ自分たちで数値を出して目標を立てるというのがやりがいがある
24. 24 現在の CRE チームを振り返って まとめ • エンジニアとデザイナーで顧客信頼性の指標を決め、運用開始後日々見直ししている • エンジニアだけでは解決できないが、色んな職種のパートナー（デザイナー・VoCに触れる CS）を巻き込み解決できる課題はたくさんある ◦ ユーザの「被害を受けても何も行動を起こせない」をなくす ◦ キャンセルのステップ数を減らす • 顧客信頼性向上のためにCREがいることを周りにも認知され、相談に乗る機会も多い ◦ 事業部を横断して活動できている ◦ ロードマップ以外でも差し込みがあり素早い対応が求められることもしばしばだが、それぞれの 専門性を活かして速く、精力的に改善をしている
25. Thank You!! 25 今後の minne CRE の活動にご期待ください！