Upgrade to Pro — share decks privately, control downloads, hide ads and more …

セルフサービスの健康診断 指標構築&可視化までの苦悩 - self-service health check, Anguish until index construction & visualization

😶
February 28, 2023

セルフサービスの健康診断 指標構築&可視化までの苦悩 - self-service health check, Anguish until index construction & visualization

2023.02.28 CS HACK #78
セルフサービスの健康診断 指標構築&可視化までの苦悩 - self-service health check, Anguish until index construction & visualization

😶

February 28, 2023
Tweet

More Decks by 😶

Other Decks in Business

Transcript

  1. 1
    セルフサービスの健康診断
    指標構築&可視化までの苦悩
    野瀬 麻奈実 / GMO PEPABO inc.
    2023.02.28 CS HACK #78

    View full-size slide

  2. GMOペパボ株式会社 CS室付QCチーム シニア
    2
    自己紹介
    野瀬 麻奈実 Nose Manami
    大学生の時にホスティングサービスのカスタマーサ
    ポートとして入社。自社の複数サービスでメールや
    チャットでの顧客対応に従事。
    現在は、CS領域の品質管理や業務プロセスにおける
    課題解決などに取り組んでいます。
    ● Twitter:@3or9cake
    ● CSHACK ポートフォリオ
    :https://cshack.jp/3or9cake

    View full-size slide

  3. 3
    アジェンダ
    1. ペパボのCS(CustomerService)?
    2. 新指標決定までの道のり
    3. セルフサービスコンテンツの評価指標
    4. 改善アクションの紹介
    5. まとめ

    View full-size slide

  4. 4
    1. ペパボのCS(CustomerService)?

    View full-size slide

  5. GMOペパボ株式会社は「もっとおもしろくできる」を企業理念とし、
    ホスティング、EC支援、ハンドメイドといった分野で複数のサービスを展開しています
    55
    1. ペパボのCS(CustomerService)?

    View full-size slide

  6. 伝説の「教えてロリポおじさん」が「教えてAIロリポおじさん」になって帰ってきているので、
    よかったら質問攻めにしてあげてください。
    66
    1. ペパボのCS(CustomerService)?
    https://pepabo.com/20th/

    View full-size slide

  7. 2020年、ペパボのカスタマーサービスは1つに統合し、新しい組織体制になりました
    77
    ホスティング事業部
    カスタマーサービスグ
    ループ
    EC事業部
    カスタマーサービスグ
    ループ
    minne事業部
    カスタマーサービスグ
    ループ
    CS室
    1. ペパボのCS(CustomerService)?

    View full-size slide

  8. ペパボのカスタマーサービスは、ざっくりいうと3つのチームでできています
    88
    CustomerEngagement
    顧客対応やそれに付随する作業、
    対応品質の管理を行っています。
    CustomerOps
    (CustomerOperations)
    CSが扱う情報の収集、分析、
    活用が行える基盤づくりを行っていま
    す。
    QC
    (QualityControl)
    各グループ活動のサイロ化防止や、
    クオリティや業務プロセスの課題
    発見と解決を行っています。
    1. ペパボのCS(CustomerService)?

    View full-size slide

  9. ペパボのカスタマーサービスは、ざっくりいうと3つのチームでできています
    99
    CustomerEngagement
    顧客対応やそれに付随する作業、
    対応品質の管理を行っています。
    CustomerOps
    (CustomerOperations)
    CSが扱う情報の収集、分析、
    活用が行える基盤づくりを行っていま
    す。
    QC
    (QualityControl)
    各グループ活動のサイロ化防止や、
    クオリティや業務プロセスの課題
    発見と解決を行っています。
    1. ペパボのCS(CustomerService)?

    View full-size slide

  10. ペパボのカスタマーサービスは、ざっくりいうと3つのチームでできています
    10
    10
    CustomerEngagement
    顧客対応やそれに付随する作業、
    対応品質の管理を行っています。
    CustomerOps
    (CustomerOperations)
    CSが扱う情報の収集、分析、
    活用が行える基盤づくりを行っていま
    す。
    QC
    (QualityControl)
    各グループ活動のサイロ化防止や、
    クオリティや業務プロセスの課題
    発見と解決を行っています。
    1. ペパボのCS(CustomerService)?

    View full-size slide

  11. 私が所属しているのは、QCチームです
    11
    11
    CustomerEngagement
    顧客対応やそれに付随する作業、
    対応品質の管理を行っています。
    CustomerOps
    (CustomerOperations)
    CSが扱う情報の収集、分析、
    活用が行える基盤づくりを行っていま
    す。
    QC
    (QualityControl)
    各グループ活動のサイロ化防止や、
    クオリティや業務プロセスの課題
    発見と解決を行っています。
    1. ペパボのCS(CustomerService)?

    View full-size slide

  12. 相互に協力して、顧客体験の向上に取り組んでいます
    12
    12
    CustomerEngagement
    顧客対応やそれに付随する作業、
    対応品質の管理を行っています。
    CustomerOps
    (CustomerOperations)
    CSが扱う情報の収集、分析、
    活用が行える基盤づくりを行っていま
    す。
    QC
    (QualityControl)
    各グループ活動のサイロ化防止や、
    クオリティや業務プロセスの課題
    発見と解決を行っています。
    1. ペパボのCS(CustomerService)?

    View full-size slide

  13. 13
    2. 新指標決定までの道のり

    View full-size slide

  14. 複数サービスを横断した品質管理の標準化
    14
    14
    2. 新指標決定までの道のり
    スプレッドシートに
    数値を手入力
    1か所で全サービスの数値が確認できる
    サービスごとに見て
    いる指標が異なる
    とにかく
    バラバラ
    サービス横断での共通指標
    自動で数値を取得、可視化される
    CS室としての品質管理体制構築

    View full-size slide

  15. 解決を試みる
    問合せ傾向や対応品質などに関して定量的な管理ができる状態
    15
    15
    問合せ後
    聞いてみよう
    メール
    チャット
    電話
    チャットボット
    顧客
    満足度
    レスポンス
    タイム
    応答率
    やりとりの
    回数
    解決率
    対応時間
    自動提案
    2. 新指標決定までの道のり

    View full-size slide

  16. CSが関わる領域は問合せ後だけではない
    16
    16
    問合せ後
    解決をあきらめる
    解決を試みる
    困りごとなく
    サービスを
    活用できている
    困りごと発生
    わからない・・
    どうしたらいいの?
    調べてみよう
    聞いてみよう
    まあ、いいか
    サポート窓口
    FAQ
    マニュアル
    対応品質を測る指標
    お問合せ傾向の把握
    2. 新指標決定までの道のり

    View full-size slide

  17. 問合せ前の状態について、可視化できているか
    17
    17
    2. 新指標決定までの道のり
    1.セルフサービスコンテンツ上に設置しているチャットボットでの解決数など
    2.セルフサービスコンテンツ上の記事ごとの評価
    3.顧客アンケート
    ・局所的な数値
    ・サービスによっては、評価機能を設置していない
    ・アンケート結果は、あくまで裏付け

    View full-size slide

  18. 問合せ前の状態に関しては、可視化が十分でない
    18
    18
    問合せ後
    解決をあきらめる
    解決を試みる
    困りごとなく
    サービスを
    活用できている
    困りごと発生
    わからない・・
    どうしたらいいの?
    調べてみよう
    聞いてみよう
    まあ、いいか
    サポート窓口
    FAQ
    マニュアル
    対応品質を測る指標
    お問合せ傾向の把握
    問合せ前
    可視化が十分でない
    2. 新指標決定までの道のり

    View full-size slide

  19. まず検討したのは「セルフサービススコア」という指標
    19
    19
    2. 新指標決定までの道のり
    セルフサービススコア
    ヘルプセンターを使用した総ユーザー数
    ヘルプセンター内からの問い合わせ数

    View full-size slide

  20. まず検討したのは「セルフサービススコア」という指標
    20
    20
    2. 新指標決定までの道のり
    月別の推移
    セルフサービススコア
    セルフサービススコア
    ヘルプセンターを使用した総ユーザー数
    ヘルプセンター内からの問い合わせ数

    View full-size slide

  21. まず検討したのは「セルフサービススコア」という指標、だめでした
    21
    21
    2. 新指標決定までの道のり
    月別の推移
    セルフサービススコア
    セルフサービススコア
    ヘルプセンターを使用した総ユーザー数
    ヘルプセンター内からの問い合わせ数
    アップダウンが
    激しい

    View full-size slide

  22. ここで一度、途方に暮れる
    22
    22
    2. 新指標決定までの道のり

    View full-size slide

  23. とにかく指標の候補を挙げる
    23
    23
    こういうのって
    定量情報で
    取得できたりし
    ないかなぁ
    2. 新指標決定までの道のり

    View full-size slide

  24. 指標の候補を挙げ、4つのポイントを満たせるかを検討
    24
    24









    ツリーが作れるか
    コントロールするための
    アクションを挙げられるか
    現状値はどうなっているか、
    伸びしろはあるか
    その指標を改善したら
    効果はどこに現れるのか
    2. 新指標決定までの道のり

    View full-size slide

  25. 候補を頂点にしたツリーが作れるかを整理
    25
    25









    ツリーが作れるか
    コントロールするための
    アクションを挙げられるか
    現状値はどうなっているか、
    伸びしろはあるか
    その指標を改善したら
    効果はどこに現れるのか
    2. 新指標決定までの道のり

    View full-size slide

  26. 現状はどうなっているか、改善見込みはあるのか
    26
    26









    ツリーが作れるか
    コントロールするための
    アクションを挙げられるか
    現状値はどうなっているか、
    伸びしろはあるか
    その指標を改善したら
    効果はどこに現れるのか
    2. 新指標決定までの道のり

    View full-size slide

  27. それはコントロールできるものなのか
    27
    27









    ツリーが作れるか
    コントロールするための
    アクションを挙げられるか
    現状値はどうなっているか、
    伸びしろはあるか
    その指標を改善したら
    効果はどこに現れるのか
    2. 新指標決定までの道のり

    View full-size slide

  28. 改善することでどんな効果があるのか、何に貢献するのか
    28
    28









    ツリーが作れるか
    コントロールするための
    アクションを挙げられるか
    現状値はどうなっているか、
    伸びしろはあるか
    その指標を改善したら
    効果はどこに現れるのか
    2. 新指標決定までの道のり

    View full-size slide

  29. 候補に挙げていた指標の例
    29
    29
    2. 新指標決定までの道のり
    セルフサービスコンテンツで
    解決できない
    セルフサービスコンテンツで
    解決できる
    セルフサービス
    コンテンツで解決可能
    な問合せ割合
    月別の推移
    記事到達率

    View full-size slide

  30. 候補に挙げていた指標の例
    30
    30
    2. 新指標決定までの道のり
    セルフサービスコンテンツで
    解決できない
    セルフサービスコンテンツで
    解決できる
    セルフサービス
    コンテンツで解決可能
    な問合せ割合
    月別の推移
    記事到達率
    伸びしろの有無が
    判然としない
    現状値の水準が高い

    View full-size slide

  31. これだ!とまとまったら、合意形成
    31
    31









    ツリーが作れる
    コントロールするための
    アクションがある
    現状値から
    改善の余地がある
    指標を改善することで
    結果、〇〇に良い効果がある
    合意形成
    2. 新指標決定までの道のり

    View full-size slide

  32. 32
    3. セルフサービスコンテンツの評価指標

    View full-size slide

  33. 解決を試みる
    「マニュアルやFAQといったセルフサービスコンテンツの健康状態」を評価する新しい指標の設定
    33
    33
    3. セルフサービスコンテンツの評価指標
    問合せ前
    聞いてみよう
    チャットボット
    Guide_
    Health
    Score
    解決率
    FAQ
    マニュアル

    View full-size slide

  34. マニュアルやFAQなどのセルフサービスコンテンツは利用されている
    34
    ◆問合せ経験なし ◆問合せ前に至るまでに利用したもの
    3. セルフサービスコンテンツの評価指標

    View full-size slide

  35. チャットボットの精度向上のためだけにセルフサービスコンテンツを改善するのは危険
    35
    3. セルフサービスコンテンツの評価指標
    オペレーターが対応していた場合にかかったコスト(仮定コスト)
    Answerbotのチューニングにかかっているコスト(コスト②)
    Answerbot契約コスト(コスト①)
    コスト差分(Answerbotコスト①②-仮定コスト)
    ¥0
    プラス→
    ←マイナス
    ¥0
    プラス→
    ←マイナス
    ◆チャットボットでの解決数が同水準でチューニングコストが増加した場合 ◆チューニングコストは同水準だが、チャットボットでの解決数が減少した場合
    効果は徐々に0に近づく 効果は徐々に0に近づく

    View full-size slide

  36. セルフサービスコンテンツのほうが生み出す効果は大きい
    36
    3. セルフサービスコンテンツの評価指標
    チャットボットによる効果 セルフサービスコンテンツによる効果

    View full-size slide

  37. 「Guide_HealthScore」ってどんな指標なの?
    37
    37
    3. セルフサービスコンテンツの評価指標
    Guide_HealthScore
    セルフサービスコンテンツを
    どれだけ利用してもらえてい
    るか
    コンテンツ内の検索機能を利
    用して、記事を見つけること
    ができているか
    コンテンツに訪問した後、公開
    している記事を見てもらえて
    いるか
    公開している記事が役に立っ
    ているか

    ひとつの数値

    View full-size slide

  38. セルフサービスコンテンツ上での行動を大まかに分けると「訪問」「検索」「閲覧」「評価」
    38
    38
    訪問
 (記事の検索)
 記事の閲覧
 記事の評価

    3. セルフサービスコンテンツの評価指標

    View full-size slide

  39. セルフサービスコンテンツからの離脱ポイントは、どのステップにもある
    39
    39
    訪問
 (記事の検索)
 記事の閲覧
 記事の評価

    離脱 離脱 離脱
    ネガティブ ネガティブ ネガティブ or ポジティブ
    〇〇の方法はどこだ? 
 検索してみよう 
 ふむふむ・・ 

    どこを見たらいいのか分
    かんないや 

    検索結果に、 

    〇〇の方法ないなぁ 

    書いてあることが 

    わかんない 

    似てるけど

    違うんだよな・・ 

    何も引っかからない( 
    ^ω^)・・・

    3. セルフサービスコンテンツの評価指標

    View full-size slide

  40. 「Guide_HealthScore」には、複数の要素で構成される
    40
    40
    3. セルフサービスコンテンツの評価指標
    Guide_HealthScore
    訪問 記事の検索 記事の閲覧 記事の評価
    訪問数 検索成功率 記事到達率 upvote率
    セルフサービスコンテンツを
    どれだけ利用してもらえてい
    るかを測る
    コンテンツ内の検索機能を利
    用して、記事を見つけること
    ができているかを測る
    コンテンツに訪問した後、公開
    している記事を見てもらえて
    いるかを測る
    公開している記事が役に立っ
    ているかどうかを測る

    View full-size slide

  41. 構成する要素がそれぞれ一定水準を満たしているかどうかをスコア化
    41
    41
    Guide_HealthScore Guide_HealthScoreを構成する要素の状態
    3 すべての要素で目標達成率100%以上
    2~1 いずれかの要素で目標達成率100%未満
    0 すべての要素で目標達成率100%未達
    良い状態
    悪い状態
    3. セルフサービスコンテンツの評価指標

    View full-size slide

  42. Guide_HealthScore
    ? ? ? ? ? ?

    ひとつの数値
    Guide_HealthScore
    ? ?

    ひとつの数値
    将来的に「Guide_HealthScore」を構成する要素が増減したり、入れ替えたりするかも?
    42
    42
    3. セルフサービスコンテンツの評価指標

    View full-size slide

  43. 43
    4. 改善アクションの紹介

    View full-size slide

  44. 44
    ①検索成功率の向上施策
    4. 改善アクションの紹介

    View full-size slide

  45. 検索ワードを確認すると、「キーワード」ではなく「文章」で検索されている
    45
    45
    4. 改善アクションの紹介
    ログインしないと見れないページ
    下書きリストを登録する
    アカウントを変えたい
    ランディングページをつくれますか
    もう一つ作りたい
    ホームページ作成から公開まで
    LPをつくれますか
    メニューを増やしたい

    View full-size slide

  46. 検索ワードを確認すると、「キーワード」ではなく「文章」で検索されている
    46
    46
    4. 改善アクションの紹介

    View full-size slide

  47. 検索フォーム上に「キーワード」を入力するよう促す文言に変更し、「よく検索されるキーワード」を表示
    47
    47
    4. 改善アクションの紹介

    View full-size slide

  48. 検索フォーム上に「キーワード」を入力するよう促す文言に変更し、「よく検索されるキーワード」を表示
    48
    48
    文章検索の割合 減少 検索成功率 約6%向上
    4. 改善アクションの紹介

    View full-size slide

  49. 49
    ②投票率の向上施策
    4. 改善アクションの紹介

    View full-size slide

  50. 記事に対するフィードバック数が少ない
    50
    50
    4. 改善アクションの紹介

    View full-size slide

  51. 「なぜ投票してほしいのか」を明示し、検索のヒントや他に参照してほしいコンテンツへのリンクを追加
    51
    51
    4. 改善アクションの紹介

    View full-size slide

  52. 「なぜ投票してほしいのか」を明示し、検索のヒントや他に参照してほしいコンテンツへのリンクを追加
    52
    52
    投票率 約23%向上
    4. 改善アクションの紹介

    View full-size slide

  53. 53
    5. まとめ

    View full-size slide

  54. 54
    まとめ
    セルフサービス領域の指標を決めるまでの道のりと最終的に辿り着いたセルフサービ
    スコンテンツの評価指標についてお話ししました。
    私自身、新しい指標を見つける・決めるという作業をひとりでリードするのは、
    初めての経験で想定以上の時間がかかってしまいましたが、良い経験になりました。
    引き続き、試行錯誤しながらではありますが、改善に向けたアクションを積み上げて顧
    客体験の向上につなげていきたいと思います。
    今回お話した内容が少しでもみなさんの参考になれば幸いです。

    View full-size slide

  55. ご清聴ありがとうございました
    55
    積極採用中!! : https://recruit.pepabo.com/info/career/joblist-cs/#info-career-joblist

    View full-size slide