セルフサービスの健康診断 指標構築&可視化までの苦悩 - self-service health check, Anguish until index construction & visualization

2023.02.28 CS HACK #78
セルフサービスの健康診断 指標構築&可視化までの苦悩 - self-service health check, Anguish until index construction & visualization

Transcript

1. 1 セルフサービスの健康診断 指標構築&可視化までの苦悩 野瀬 麻奈実 / GMO PEPABO inc. 2023.02.28 CS HACK #78
2. GMOペパボ株式会社　CS室付QCチーム　シニア 2 自己紹介 野瀬 麻奈実 Nose Manami 大学生の時にホスティングサービスのカスタマーサ ポートとして入社。自社の複数サービスでメールや チャットでの顧客対応に従事。 現在は、CS領域の品質管理や業務プロセスにおける 課題解決などに取り組んでいます。 • Twitter：@3or9cake • CSHACK ポートフォリオ ：https://cshack.jp/3or9cake
3. 3 アジェンダ 1. ペパボのCS（CustomerService）？ 2. 新指標決定までの道のり 3. セルフサービスコンテンツの評価指標 4. 改善アクションの紹介 5. まとめ
4. 4 1. ペパボのCS（CustomerService）？
5. GMOペパボ株式会社は「もっとおもしろくできる」を企業理念とし、 ホスティング、EC支援、ハンドメイドといった分野で複数のサービスを展開しています 55 1. ペパボのCS（CustomerService）？
6. 伝説の「教えてロリポおじさん」が「教えてAIロリポおじさん」になって帰ってきているので、 よかったら質問攻めにしてあげてください。 66 1. ペパボのCS（CustomerService）？ https://pepabo.com/20th/
7. 2020年、ペパボのカスタマーサービスは１つに統合し、新しい組織体制になりました 77 ホスティング事業部 カスタマーサービスグ ループ EC事業部 カスタマーサービスグ ループ minne事業部 カスタマーサービスグ ループ CS室 1. ペパボのCS（CustomerService）？
8. ペパボのカスタマーサービスは、ざっくりいうと３つのチームでできています 88 CustomerEngagement 顧客対応やそれに付随する作業、 対応品質の管理を行っています。 CustomerOps （CustomerOperations） CSが扱う情報の収集、分析、 活用が行える基盤づくりを行っていま す。 QC （QualityControl） 各グループ活動のサイロ化防止や、 クオリティや業務プロセスの課題 発見と解決を行っています。 1. ペパボのCS（CustomerService）？
9. ペパボのカスタマーサービスは、ざっくりいうと３つのチームでできています 99 CustomerEngagement 顧客対応やそれに付随する作業、 対応品質の管理を行っています。 CustomerOps （CustomerOperations） CSが扱う情報の収集、分析、 活用が行える基盤づくりを行っていま す。 QC （QualityControl） 各グループ活動のサイロ化防止や、 クオリティや業務プロセスの課題 発見と解決を行っています。 1. ペパボのCS（CustomerService）？
10. ペパボのカスタマーサービスは、ざっくりいうと３つのチームでできています 10 10 CustomerEngagement 顧客対応やそれに付随する作業、 対応品質の管理を行っています。 CustomerOps （CustomerOperations） CSが扱う情報の収集、分析、 活用が行える基盤づくりを行っていま す。 QC （QualityControl） 各グループ活動のサイロ化防止や、 クオリティや業務プロセスの課題 発見と解決を行っています。 1. ペパボのCS（CustomerService）？
11. 私が所属しているのは、ＱＣチームです 11 11 CustomerEngagement 顧客対応やそれに付随する作業、 対応品質の管理を行っています。 CustomerOps （CustomerOperations） CSが扱う情報の収集、分析、 活用が行える基盤づくりを行っていま す。 QC （QualityControl） 各グループ活動のサイロ化防止や、 クオリティや業務プロセスの課題 発見と解決を行っています。 1. ペパボのCS（CustomerService）？
12. 相互に協力して、顧客体験の向上に取り組んでいます 12 12 CustomerEngagement 顧客対応やそれに付随する作業、 対応品質の管理を行っています。 CustomerOps （CustomerOperations） CSが扱う情報の収集、分析、 活用が行える基盤づくりを行っていま す。 QC （QualityControl） 各グループ活動のサイロ化防止や、 クオリティや業務プロセスの課題 発見と解決を行っています。 1. ペパボのCS（CustomerService）？
13. 13 2. 新指標決定までの道のり
14. 複数サービスを横断した品質管理の標準化 14 14 2. 新指標決定までの道のり スプレッドシートに 数値を手入力 １か所で全サービスの数値が確認できる サービスごとに見て いる指標が異なる とにかく バラバラ サービス横断での共通指標 自動で数値を取得、可視化される CS室としての品質管理体制構築
15. 解決を試みる 問合せ傾向や対応品質などに関して定量的な管理ができる状態 15 15 問合せ後 聞いてみよう メール チャット 電話 チャットボット 顧客 満足度 レスポンス タイム 応答率 やりとりの 回数 解決率 対応時間 自動提案 2. 新指標決定までの道のり
16. CSが関わる領域は問合せ後だけではない 16 16 問合せ後 解決をあきらめる 解決を試みる 困りごとなく サービスを 活用できている 困りごと発生 わからない・・ どうしたらいいの？ 調べてみよう 聞いてみよう まあ、いいか サポート窓口 FAQ マニュアル 対応品質を測る指標 お問合せ傾向の把握 2. 新指標決定までの道のり
17. 問合せ前の状態について、可視化できているか 17 17 2. 新指標決定までの道のり １．セルフサービスコンテンツ上に設置しているチャットボットでの解決数など ２．セルフサービスコンテンツ上の記事ごとの評価 ３．顧客アンケート ・局所的な数値 ・サービスによっては、評価機能を設置していない ・アンケート結果は、あくまで裏付け
18. 問合せ前の状態に関しては、可視化が十分でない 18 18 問合せ後 解決をあきらめる 解決を試みる 困りごとなく サービスを 活用できている 困りごと発生 わからない・・ どうしたらいいの？ 調べてみよう 聞いてみよう まあ、いいか サポート窓口 FAQ マニュアル 対応品質を測る指標 お問合せ傾向の把握 問合せ前 可視化が十分でない 2. 新指標決定までの道のり
19. まず検討したのは「セルフサービススコア」という指標 19 19 2. 新指標決定までの道のり セルフサービススコア ヘルプセンターを使用した総ユーザー数 ヘルプセンター内からの問い合わせ数
20. まず検討したのは「セルフサービススコア」という指標 20 20 2. 新指標決定までの道のり 月別の推移 セルフサービススコア セルフサービススコア ヘルプセンターを使用した総ユーザー数 ヘルプセンター内からの問い合わせ数
21. まず検討したのは「セルフサービススコア」という指標、だめでした 21 21 2. 新指標決定までの道のり 月別の推移 セルフサービススコア セルフサービススコア ヘルプセンターを使用した総ユーザー数 ヘルプセンター内からの問い合わせ数 アップダウンが 激しい
22. ここで一度、途方に暮れる 22 22 2. 新指標決定までの道のり
23. とにかく指標の候補を挙げる 23 23 こういうのって 定量情報で 取得できたりし ないかなぁ 2. 新指標決定までの道のり
24. 指標の候補を挙げ、4つのポイントを満たせるかを検討 24 24 指 標 の 候 補 を 挙 げ る ツリーが作れるか コントロールするための アクションを挙げられるか 現状値はどうなっているか、 伸びしろはあるか その指標を改善したら 効果はどこに現れるのか 2. 新指標決定までの道のり
25. 候補を頂点にしたツリーが作れるかを整理 25 25 指 標 の 候 補 を 挙 げ る ツリーが作れるか コントロールするための アクションを挙げられるか 現状値はどうなっているか、 伸びしろはあるか その指標を改善したら 効果はどこに現れるのか 2. 新指標決定までの道のり
26. 現状はどうなっているか、改善見込みはあるのか 26 26 指 標 の 候 補 を 挙 げ る ツリーが作れるか コントロールするための アクションを挙げられるか 現状値はどうなっているか、 伸びしろはあるか その指標を改善したら 効果はどこに現れるのか 2. 新指標決定までの道のり
27. それはコントロールできるものなのか 27 27 指 標 の 候 補 を 挙 げ る ツリーが作れるか コントロールするための アクションを挙げられるか 現状値はどうなっているか、 伸びしろはあるか その指標を改善したら 効果はどこに現れるのか 2. 新指標決定までの道のり
28. 改善することでどんな効果があるのか、何に貢献するのか 28 28 指 標 の 候 補 を 挙 げ る ツリーが作れるか コントロールするための アクションを挙げられるか 現状値はどうなっているか、 伸びしろはあるか その指標を改善したら 効果はどこに現れるのか 2. 新指標決定までの道のり
29. 候補に挙げていた指標の例 29 29 2. 新指標決定までの道のり セルフサービスコンテンツで 解決できない セルフサービスコンテンツで 解決できる セルフサービス コンテンツで解決可能 な問合せ割合 月別の推移 記事到達率
30. 候補に挙げていた指標の例 30 30 2. 新指標決定までの道のり セルフサービスコンテンツで 解決できない セルフサービスコンテンツで 解決できる セルフサービス コンテンツで解決可能 な問合せ割合 月別の推移 記事到達率 伸びしろの有無が 判然としない 現状値の水準が高い
31. これだ！とまとまったら、合意形成 31 31 指 標 の 候 補 を 挙 げ る ツリーが作れる コントロールするための アクションがある 現状値から 改善の余地がある 指標を改善することで 結果、〇〇に良い効果がある 合意形成 2. 新指標決定までの道のり
32. 32 3. セルフサービスコンテンツの評価指標
33. 解決を試みる 「マニュアルやFAQといったセルフサービスコンテンツの健康状態」を評価する新しい指標の設定 33 33 3. セルフサービスコンテンツの評価指標 問合せ前 聞いてみよう チャットボット Guide_ Health Score 解決率 FAQ マニュアル
34. マニュアルやFAQなどのセルフサービスコンテンツは利用されている 34 ◆問合せ経験なし ◆問合せ前に至るまでに利用したもの 3. セルフサービスコンテンツの評価指標
35. チャットボットの精度向上のためだけにセルフサービスコンテンツを改善するのは危険 35 3. セルフサービスコンテンツの評価指標 オペレーターが対応していた場合にかかったコスト（仮定コスト） Answerbotのチューニングにかかっているコスト（コスト②） Answerbot契約コスト（コスト①） コスト差分（Answerｂｏｔコスト①②－仮定コスト） ¥０ プラス→ ←マイナス ¥０ プラス→ ←マイナス ◆チャットボットでの解決数が同水準でチューニングコストが増加した場合 ◆チューニングコストは同水準だが、チャットボットでの解決数が減少した場合 効果は徐々に０に近づく 効果は徐々に０に近づく
36. セルフサービスコンテンツのほうが生み出す効果は大きい 36 3. セルフサービスコンテンツの評価指標 チャットボットによる効果 セルフサービスコンテンツによる効果
37. 「Guide_HealthScore」ってどんな指標なの？ 37 37 3. セルフサービスコンテンツの評価指標 Guide_HealthScore セルフサービスコンテンツを どれだけ利用してもらえてい るか コンテンツ内の検索機能を利 用して、記事を見つけること ができているか コンテンツに訪問した後、公開 している記事を見てもらえて いるか 公開している記事が役に立っ ているか ？ ひとつの数値
38. セルフサービスコンテンツ上での行動を大まかに分けると「訪問」「検索」「閲覧」「評価」 38 38 訪問
 (記事の検索)
 記事の閲覧
 記事の評価
 3. セルフサービスコンテンツの評価指標
39. セルフサービスコンテンツからの離脱ポイントは、どのステップにもある 39 39 訪問
 (記事の検索)
 記事の閲覧
 記事の評価
 離脱 離脱 離脱 ネガティブ ネガティブ ネガティブ or ポジティブ 〇〇の方法はどこだ？ 
 検索してみよう 
 ふむふむ・・ 
 どこを見たらいいのか分 かんないや 
 検索結果に、 
 〇〇の方法ないなぁ 
 書いてあることが 
 わかんない 
 似てるけど
 違うんだよな･･ 
 何も引っかからない（　 ＾ω＾）・・・
 3. セルフサービスコンテンツの評価指標
40. 「Guide_HealthScore」には、複数の要素で構成される 40 40 3. セルフサービスコンテンツの評価指標 Guide_HealthScore 訪問 記事の検索 記事の閲覧 記事の評価 訪問数 検索成功率 記事到達率 upvote率 セルフサービスコンテンツを どれだけ利用してもらえてい るかを測る コンテンツ内の検索機能を利 用して、記事を見つけること ができているかを測る コンテンツに訪問した後、公開 している記事を見てもらえて いるかを測る 公開している記事が役に立っ ているかどうかを測る
41. 構成する要素がそれぞれ一定水準を満たしているかどうかをスコア化 41 41 Guide_HealthScore Guide_HealthScoreを構成する要素の状態 3 すべての要素で目標達成率100%以上 2～1 いずれかの要素で目標達成率100%未満 0 すべての要素で目標達成率100%未達 良い状態 悪い状態 3. セルフサービスコンテンツの評価指標
42. Guide_HealthScore ？ ？ ？ ？ ？ ？ ？ ひとつの数値 Guide_HealthScore ？ ？ ？ ひとつの数値 将来的に「Guide_HealthScore」を構成する要素が増減したり、入れ替えたりするかも？ 42 42 3. セルフサービスコンテンツの評価指標
43. 43 4. 改善アクションの紹介
44. 44 ①検索成功率の向上施策 4. 改善アクションの紹介
45. 検索ワードを確認すると、「キーワード」ではなく「文章」で検索されている 45 45 4. 改善アクションの紹介 ログインしないと見れないページ 下書きリストを登録する アカウントを変えたい ランディングページをつくれますか もう一つ作りたい ホームページ作成から公開まで LPをつくれますか メニューを増やしたい
46. 検索ワードを確認すると、「キーワード」ではなく「文章」で検索されている 46 46 4. 改善アクションの紹介
47. 検索フォーム上に「キーワード」を入力するよう促す文言に変更し、「よく検索されるキーワード」を表示 47 47 4. 改善アクションの紹介
48. 検索フォーム上に「キーワード」を入力するよう促す文言に変更し、「よく検索されるキーワード」を表示 48 48 文章検索の割合　減少 検索成功率　約6%向上 4. 改善アクションの紹介
49. 49 ②投票率の向上施策 4. 改善アクションの紹介
50. 記事に対するフィードバック数が少ない 50 50 4. 改善アクションの紹介
51. 「なぜ投票してほしいのか」を明示し、検索のヒントや他に参照してほしいコンテンツへのリンクを追加 51 51 4. 改善アクションの紹介
52. 「なぜ投票してほしいのか」を明示し、検索のヒントや他に参照してほしいコンテンツへのリンクを追加 52 52 投票率　約23%向上 4. 改善アクションの紹介
53. 53 5. まとめ
54. 54 まとめ セルフサービス領域の指標を決めるまでの道のりと最終的に辿り着いたセルフサービ スコンテンツの評価指標についてお話ししました。 私自身、新しい指標を見つける・決めるという作業をひとりでリードするのは、 初めての経験で想定以上の時間がかかってしまいましたが、良い経験になりました。 引き続き、試行錯誤しながらではありますが、改善に向けたアクションを積み上げて顧 客体験の向上につなげていきたいと思います。 今回お話した内容が少しでもみなさんの参考になれば幸いです。
55. ご清聴ありがとうございました 55 積極採用中!! : https://recruit.pepabo.com/info/career/joblist-cs/#info-career-joblist