セルフサービスの健康診断指標構築&可視化までの苦悩 - self-service health check, Anguish until index construction & visualization

by 😶

Slide 1

Slide 1 text

1 セルフサービスの健康診断指標構築&可視化までの苦悩野瀬麻奈実 / GMO PEPABO inc. 2023.02.28 CS HACK #78

Slide 2

Slide 2 text

GMOペパボ株式会社　CS室付QCチーム　シニア 2 自己紹介野瀬麻奈実 Nose Manami 大学生の時にホスティングサービスのカスタマーサポートとして入社。自社の複数サービスでメールやチャットでの顧客対応に従事。現在は、CS領域の品質管理や業務プロセスにおける課題解決などに取り組んでいます。 ● Twitter：@3or9cake ● CSHACK ポートフォリオ：https://cshack.jp/3or9cake

Slide 3

Slide 3 text

3 アジェンダ 1. ペパボのCS（CustomerService）？ 2. 新指標決定までの道のり 3. セルフサービスコンテンツの評価指標 4. 改善アクションの紹介 5. まとめ

Slide 4

Slide 4 text

4 1. ペパボのCS（CustomerService）？

Slide 5

Slide 5 text

GMOペパボ株式会社は「もっとおもしろくできる」を企業理念とし、ホスティング、EC支援、ハンドメイドといった分野で複数のサービスを展開しています 55 1. ペパボのCS（CustomerService）？

Slide 6

Slide 6 text

伝説の「教えてロリポおじさん」が「教えてAIロリポおじさん」になって帰ってきているので、よかったら質問攻めにしてあげてください。 66 1. ペパボのCS（CustomerService）？ https://pepabo.com/20th/

Slide 7

Slide 7 text

2020年、ペパボのカスタマーサービスは１つに統合し、新しい組織体制になりました 77 ホスティング事業部カスタマーサービスグループ EC事業部カスタマーサービスグループ minne事業部カスタマーサービスグループ CS室 1. ペパボのCS（CustomerService）？

Slide 8

Slide 8 text

ペパボのカスタマーサービスは、ざっくりいうと３つのチームでできています 88 CustomerEngagement 顧客対応やそれに付随する作業、対応品質の管理を行っています。 CustomerOps （CustomerOperations） CSが扱う情報の収集、分析、活用が行える基盤づくりを行っています。 QC （QualityControl）各グループ活動のサイロ化防止や、クオリティや業務プロセスの課題発見と解決を行っています。 1. ペパボのCS（CustomerService）？

Slide 9

Slide 9 text

ペパボのカスタマーサービスは、ざっくりいうと３つのチームでできています 99 CustomerEngagement 顧客対応やそれに付随する作業、対応品質の管理を行っています。 CustomerOps （CustomerOperations） CSが扱う情報の収集、分析、活用が行える基盤づくりを行っています。 QC （QualityControl）各グループ活動のサイロ化防止や、クオリティや業務プロセスの課題発見と解決を行っています。 1. ペパボのCS（CustomerService）？

Slide 10

Slide 10 text

ペパボのカスタマーサービスは、ざっくりいうと３つのチームでできています 10 10 CustomerEngagement 顧客対応やそれに付随する作業、対応品質の管理を行っています。 CustomerOps （CustomerOperations） CSが扱う情報の収集、分析、活用が行える基盤づくりを行っています。 QC （QualityControl）各グループ活動のサイロ化防止や、クオリティや業務プロセスの課題発見と解決を行っています。 1. ペパボのCS（CustomerService）？

Slide 11

Slide 11 text

私が所属しているのは、ＱＣチームです 11 11 CustomerEngagement 顧客対応やそれに付随する作業、対応品質の管理を行っています。 CustomerOps （CustomerOperations） CSが扱う情報の収集、分析、活用が行える基盤づくりを行っています。 QC （QualityControl）各グループ活動のサイロ化防止や、クオリティや業務プロセスの課題発見と解決を行っています。 1. ペパボのCS（CustomerService）？

Slide 12

Slide 12 text

相互に協力して、顧客体験の向上に取り組んでいます 12 12 CustomerEngagement 顧客対応やそれに付随する作業、対応品質の管理を行っています。 CustomerOps （CustomerOperations） CSが扱う情報の収集、分析、活用が行える基盤づくりを行っています。 QC （QualityControl）各グループ活動のサイロ化防止や、クオリティや業務プロセスの課題発見と解決を行っています。 1. ペパボのCS（CustomerService）？

Slide 13

Slide 13 text

13 2. 新指標決定までの道のり

Slide 14

Slide 14 text

複数サービスを横断した品質管理の標準化 14 14 2. 新指標決定までの道のりスプレッドシートに数値を手入力１か所で全サービスの数値が確認できるサービスごとに見ている指標が異なるとにかくバラバラサービス横断での共通指標自動で数値を取得、可視化される CS室としての品質管理体制構築

Slide 15

Slide 15 text

解決を試みる問合せ傾向や対応品質などに関して定量的な管理ができる状態 15 15 問合せ後聞いてみようメールチャット電話チャットボット顧客満足度レスポンスタイム応答率やりとりの回数解決率対応時間自動提案 2. 新指標決定までの道のり

Slide 16

Slide 16 text

CSが関わる領域は問合せ後だけではない 16 16 問合せ後解決をあきらめる解決を試みる困りごとなくサービスを活用できている困りごと発生わからない・・どうしたらいいの？調べてみよう聞いてみようまあ、いいかサポート窓口 FAQ マニュアル対応品質を測る指標お問合せ傾向の把握 2. 新指標決定までの道のり

Slide 17

Slide 17 text

問合せ前の状態について、可視化できているか 17 17 2. 新指標決定までの道のり１．セルフサービスコンテンツ上に設置しているチャットボットでの解決数など２．セルフサービスコンテンツ上の記事ごとの評価３．顧客アンケート・局所的な数値・サービスによっては、評価機能を設置していない・アンケート結果は、あくまで裏付け

Slide 18

Slide 18 text

問合せ前の状態に関しては、可視化が十分でない 18 18 問合せ後解決をあきらめる解決を試みる困りごとなくサービスを活用できている困りごと発生わからない・・どうしたらいいの？調べてみよう聞いてみようまあ、いいかサポート窓口 FAQ マニュアル対応品質を測る指標お問合せ傾向の把握問合せ前可視化が十分でない 2. 新指標決定までの道のり

Slide 19

Slide 19 text

まず検討したのは「セルフサービススコア」という指標 19 19 2. 新指標決定までの道のりセルフサービススコアヘルプセンターを使用した総ユーザー数ヘルプセンター内からの問い合わせ数

Slide 20

Slide 20 text

まず検討したのは「セルフサービススコア」という指標 20 20 2. 新指標決定までの道のり月別の推移セルフサービススコアセルフサービススコアヘルプセンターを使用した総ユーザー数ヘルプセンター内からの問い合わせ数

Slide 21

Slide 21 text

まず検討したのは「セルフサービススコア」という指標、だめでした 21 21 2. 新指標決定までの道のり月別の推移セルフサービススコアセルフサービススコアヘルプセンターを使用した総ユーザー数ヘルプセンター内からの問い合わせ数アップダウンが激しい

Slide 22

Slide 22 text

ここで一度、途方に暮れる 22 22 2. 新指標決定までの道のり

Slide 23

Slide 23 text

とにかく指標の候補を挙げる 23 23 こういうのって定量情報で取得できたりしないかなぁ 2. 新指標決定までの道のり

Slide 24

Slide 24 text

指標の候補を挙げ、4つのポイントを満たせるかを検討 24 24 指標の候補を挙げるツリーが作れるかコントロールするためのアクションを挙げられるか現状値はどうなっているか、伸びしろはあるかその指標を改善したら効果はどこに現れるのか 2. 新指標決定までの道のり

Slide 25

Slide 25 text

候補を頂点にしたツリーが作れるかを整理 25 25 指標の候補を挙げるツリーが作れるかコントロールするためのアクションを挙げられるか現状値はどうなっているか、伸びしろはあるかその指標を改善したら効果はどこに現れるのか 2. 新指標決定までの道のり

Slide 26

Slide 26 text

現状はどうなっているか、改善見込みはあるのか 26 26 指標の候補を挙げるツリーが作れるかコントロールするためのアクションを挙げられるか現状値はどうなっているか、伸びしろはあるかその指標を改善したら効果はどこに現れるのか 2. 新指標決定までの道のり

Slide 27

Slide 27 text

それはコントロールできるものなのか 27 27 指標の候補を挙げるツリーが作れるかコントロールするためのアクションを挙げられるか現状値はどうなっているか、伸びしろはあるかその指標を改善したら効果はどこに現れるのか 2. 新指標決定までの道のり

Slide 28

Slide 28 text

改善することでどんな効果があるのか、何に貢献するのか 28 28 指標の候補を挙げるツリーが作れるかコントロールするためのアクションを挙げられるか現状値はどうなっているか、伸びしろはあるかその指標を改善したら効果はどこに現れるのか 2. 新指標決定までの道のり

Slide 29

Slide 29 text

候補に挙げていた指標の例 29 29 2. 新指標決定までの道のりセルフサービスコンテンツで解決できないセルフサービスコンテンツで解決できるセルフサービスコンテンツで解決可能な問合せ割合月別の推移記事到達率

Slide 30

Slide 30 text

候補に挙げていた指標の例 30 30 2. 新指標決定までの道のりセルフサービスコンテンツで解決できないセルフサービスコンテンツで解決できるセルフサービスコンテンツで解決可能な問合せ割合月別の推移記事到達率伸びしろの有無が判然としない現状値の水準が高い

Slide 31

Slide 31 text

これだ！とまとまったら、合意形成 31 31 指標の候補を挙げるツリーが作れるコントロールするためのアクションがある現状値から改善の余地がある指標を改善することで結果、〇〇に良い効果がある合意形成 2. 新指標決定までの道のり

Slide 32

Slide 32 text

32 3. セルフサービスコンテンツの評価指標

Slide 33

Slide 33 text

解決を試みる「マニュアルやFAQといったセルフサービスコンテンツの健康状態」を評価する新しい指標の設定 33 33 3. セルフサービスコンテンツの評価指標問合せ前聞いてみようチャットボット Guide_ Health Score 解決率 FAQ マニュアル

Slide 34

Slide 34 text

マニュアルやFAQなどのセルフサービスコンテンツは利用されている 34 ◆問合せ経験なし ◆問合せ前に至るまでに利用したもの 3. セルフサービスコンテンツの評価指標

Slide 35

Slide 35 text

チャットボットの精度向上のためだけにセルフサービスコンテンツを改善するのは危険 35 3. セルフサービスコンテンツの評価指標オペレーターが対応していた場合にかかったコスト（仮定コスト） Answerbotのチューニングにかかっているコスト（コスト②） Answerbot契約コスト（コスト①）コスト差分（Answerｂｏｔコスト①②－仮定コスト） ¥０プラス→ ←マイナス ¥０プラス→ ←マイナス ◆チャットボットでの解決数が同水準でチューニングコストが増加した場合 ◆チューニングコストは同水準だが、チャットボットでの解決数が減少した場合効果は徐々に０に近づく効果は徐々に０に近づく

Slide 36

Slide 36 text

セルフサービスコンテンツのほうが生み出す効果は大きい 36 3. セルフサービスコンテンツの評価指標チャットボットによる効果セルフサービスコンテンツによる効果

Slide 37

Slide 37 text

「Guide_HealthScore」ってどんな指標なの？ 37 37 3. セルフサービスコンテンツの評価指標 Guide_HealthScore セルフサービスコンテンツをどれだけ利用してもらえているかコンテンツ内の検索機能を利用して、記事を見つけることができているかコンテンツに訪問した後、公開している記事を見てもらえているか公開している記事が役に立っているか？ひとつの数値

Slide 38

Slide 38 text

セルフサービスコンテンツ上での行動を大まかに分けると「訪問」「検索」「閲覧」「評価」 38 38 訪問  (記事の検索)  記事の閲覧  記事の評価  3. セルフサービスコンテンツの評価指標

Slide 39

Slide 39 text

セルフサービスコンテンツからの離脱ポイントは、どのステップにもある 39 39 訪問  (記事の検索)  記事の閲覧  記事の評価  離脱離脱離脱ネガティブネガティブネガティブ or ポジティブ〇〇の方法はどこだ？   検索してみよう   ふむふむ・・   どこを見たらいいのか分かんないや   検索結果に、   〇〇の方法ないなぁ   書いてあることが   わかんない   似てるけど  違うんだよな･･   何も引っかからない（　＾ω＾）・・・  3. セルフサービスコンテンツの評価指標

Slide 40

Slide 40 text

「Guide_HealthScore」には、複数の要素で構成される 40 40 3. セルフサービスコンテンツの評価指標 Guide_HealthScore 訪問記事の検索記事の閲覧記事の評価訪問数検索成功率記事到達率 upvote率セルフサービスコンテンツをどれだけ利用してもらえているかを測るコンテンツ内の検索機能を利用して、記事を見つけることができているかを測るコンテンツに訪問した後、公開している記事を見てもらえているかを測る公開している記事が役に立っているかどうかを測る

Slide 41

Slide 41 text

構成する要素がそれぞれ一定水準を満たしているかどうかをスコア化 41 41 Guide_HealthScore Guide_HealthScoreを構成する要素の状態 3 すべての要素で目標達成率100%以上 2～1 いずれかの要素で目標達成率100%未満 0 すべての要素で目標達成率100%未達良い状態悪い状態 3. セルフサービスコンテンツの評価指標

Slide 42

Slide 42 text

Guide_HealthScore ？？？？？？？ひとつの数値 Guide_HealthScore ？？？ひとつの数値将来的に「Guide_HealthScore」を構成する要素が増減したり、入れ替えたりするかも？ 42 42 3. セルフサービスコンテンツの評価指標

Slide 43

Slide 43 text

43 4. 改善アクションの紹介

Slide 44

Slide 44 text

44 ①検索成功率の向上施策 4. 改善アクションの紹介

Slide 45

Slide 45 text

検索ワードを確認すると、「キーワード」ではなく「文章」で検索されている 45 45 4. 改善アクションの紹介ログインしないと見れないページ下書きリストを登録するアカウントを変えたいランディングページをつくれますかもう一つ作りたいホームページ作成から公開まで LPをつくれますかメニューを増やしたい

Slide 46

Slide 46 text

検索ワードを確認すると、「キーワード」ではなく「文章」で検索されている 46 46 4. 改善アクションの紹介

Slide 47

Slide 47 text

検索フォーム上に「キーワード」を入力するよう促す文言に変更し、「よく検索されるキーワード」を表示 47 47 4. 改善アクションの紹介

Slide 48

Slide 48 text

検索フォーム上に「キーワード」を入力するよう促す文言に変更し、「よく検索されるキーワード」を表示 48 48 文章検索の割合　減少検索成功率　約6%向上 4. 改善アクションの紹介

Slide 49

Slide 49 text

49 ②投票率の向上施策 4. 改善アクションの紹介

Slide 50

Slide 50 text

記事に対するフィードバック数が少ない 50 50 4. 改善アクションの紹介

Slide 51

Slide 51 text

「なぜ投票してほしいのか」を明示し、検索のヒントや他に参照してほしいコンテンツへのリンクを追加 51 51 4. 改善アクションの紹介

Slide 52

Slide 52 text

「なぜ投票してほしいのか」を明示し、検索のヒントや他に参照してほしいコンテンツへのリンクを追加 52 52 投票率　約23%向上 4. 改善アクションの紹介

Slide 53

Slide 53 text

53 5. まとめ

Slide 54

Slide 54 text

54 まとめセルフサービス領域の指標を決めるまでの道のりと最終的に辿り着いたセルフサービスコンテンツの評価指標についてお話ししました。私自身、新しい指標を見つける・決めるという作業をひとりでリードするのは、初めての経験で想定以上の時間がかかってしまいましたが、良い経験になりました。引き続き、試行錯誤しながらではありますが、改善に向けたアクションを積み上げて顧客体験の向上につなげていきたいと思います。今回お話した内容が少しでもみなさんの参考になれば幸いです。

Slide 55

Slide 55 text

ご清聴ありがとうございました 55 積極採用中!! : https://recruit.pepabo.com/info/career/joblist-cs/#info-career-joblist