2023.02.28 CS HACK #78 セルフサービスの健康診断 指標構築&可視化までの苦悩 - self-service health check, Anguish until index construction & visualization
1セルフサービスの健康診断指標構築&可視化までの苦悩野瀬 麻奈実 / GMO PEPABO inc.2023.02.28 CS HACK #78
View Slide
GMOペパボ株式会社 CS室付QCチーム シニア2自己紹介野瀬 麻奈実 Nose Manami大学生の時にホスティングサービスのカスタマーサポートとして入社。自社の複数サービスでメールやチャットでの顧客対応に従事。現在は、CS領域の品質管理や業務プロセスにおける課題解決などに取り組んでいます。● Twitter：@3or9cake● CSHACK ポートフォリオ：https://cshack.jp/3or9cake
3アジェンダ1. ペパボのCS（CustomerService）？2. 新指標決定までの道のり3. セルフサービスコンテンツの評価指標4. 改善アクションの紹介5. まとめ
41. ペパボのCS（CustomerService）？
GMOペパボ株式会社は「もっとおもしろくできる」を企業理念とし、ホスティング、EC支援、ハンドメイドといった分野で複数のサービスを展開しています551. ペパボのCS（CustomerService）？
伝説の「教えてロリポおじさん」が「教えてAIロリポおじさん」になって帰ってきているので、よかったら質問攻めにしてあげてください。661. ペパボのCS（CustomerService）？https://pepabo.com/20th/
2020年、ペパボのカスタマーサービスは１つに統合し、新しい組織体制になりました77ホスティング事業部カスタマーサービスグループEC事業部カスタマーサービスグループminne事業部カスタマーサービスグループCS室1. ペパボのCS（CustomerService）？
ペパボのカスタマーサービスは、ざっくりいうと３つのチームでできています88CustomerEngagement顧客対応やそれに付随する作業、対応品質の管理を行っています。CustomerOps（CustomerOperations）CSが扱う情報の収集、分析、活用が行える基盤づくりを行っています。QC（QualityControl）各グループ活動のサイロ化防止や、クオリティや業務プロセスの課題発見と解決を行っています。1. ペパボのCS（CustomerService）？
ペパボのカスタマーサービスは、ざっくりいうと３つのチームでできています99CustomerEngagement顧客対応やそれに付随する作業、対応品質の管理を行っています。CustomerOps（CustomerOperations）CSが扱う情報の収集、分析、活用が行える基盤づくりを行っています。QC（QualityControl）各グループ活動のサイロ化防止や、クオリティや業務プロセスの課題発見と解決を行っています。1. ペパボのCS（CustomerService）？
ペパボのカスタマーサービスは、ざっくりいうと３つのチームでできています1010CustomerEngagement顧客対応やそれに付随する作業、対応品質の管理を行っています。CustomerOps（CustomerOperations）CSが扱う情報の収集、分析、活用が行える基盤づくりを行っています。QC（QualityControl）各グループ活動のサイロ化防止や、クオリティや業務プロセスの課題発見と解決を行っています。1. ペパボのCS（CustomerService）？
私が所属しているのは、ＱＣチームです1111CustomerEngagement顧客対応やそれに付随する作業、対応品質の管理を行っています。CustomerOps（CustomerOperations）CSが扱う情報の収集、分析、活用が行える基盤づくりを行っています。QC（QualityControl）各グループ活動のサイロ化防止や、クオリティや業務プロセスの課題発見と解決を行っています。1. ペパボのCS（CustomerService）？
相互に協力して、顧客体験の向上に取り組んでいます1212CustomerEngagement顧客対応やそれに付随する作業、対応品質の管理を行っています。CustomerOps（CustomerOperations）CSが扱う情報の収集、分析、活用が行える基盤づくりを行っています。QC（QualityControl）各グループ活動のサイロ化防止や、クオリティや業務プロセスの課題発見と解決を行っています。1. ペパボのCS（CustomerService）？
132. 新指標決定までの道のり
複数サービスを横断した品質管理の標準化14142. 新指標決定までの道のりスプレッドシートに数値を手入力１か所で全サービスの数値が確認できるサービスごとに見ている指標が異なるとにかくバラバラサービス横断での共通指標自動で数値を取得、可視化されるCS室としての品質管理体制構築
解決を試みる問合せ傾向や対応品質などに関して定量的な管理ができる状態1515問合せ後聞いてみようメールチャット電話チャットボット顧客満足度レスポンスタイム応答率やりとりの回数解決率対応時間自動提案2. 新指標決定までの道のり
CSが関わる領域は問合せ後だけではない1616問合せ後解決をあきらめる解決を試みる困りごとなくサービスを活用できている困りごと発生わからない・・どうしたらいいの？調べてみよう聞いてみようまあ、いいかサポート窓口FAQマニュアル対応品質を測る指標お問合せ傾向の把握2. 新指標決定までの道のり
問合せ前の状態について、可視化できているか17172. 新指標決定までの道のり１．セルフサービスコンテンツ上に設置しているチャットボットでの解決数など２．セルフサービスコンテンツ上の記事ごとの評価３．顧客アンケート・局所的な数値・サービスによっては、評価機能を設置していない・アンケート結果は、あくまで裏付け
問合せ前の状態に関しては、可視化が十分でない1818問合せ後解決をあきらめる解決を試みる困りごとなくサービスを活用できている困りごと発生わからない・・どうしたらいいの？調べてみよう聞いてみようまあ、いいかサポート窓口FAQマニュアル対応品質を測る指標お問合せ傾向の把握問合せ前可視化が十分でない2. 新指標決定までの道のり
まず検討したのは「セルフサービススコア」という指標19192. 新指標決定までの道のりセルフサービススコアヘルプセンターを使用した総ユーザー数ヘルプセンター内からの問い合わせ数
まず検討したのは「セルフサービススコア」という指標20202. 新指標決定までの道のり月別の推移セルフサービススコアセルフサービススコアヘルプセンターを使用した総ユーザー数ヘルプセンター内からの問い合わせ数
まず検討したのは「セルフサービススコア」という指標、だめでした21212. 新指標決定までの道のり月別の推移セルフサービススコアセルフサービススコアヘルプセンターを使用した総ユーザー数ヘルプセンター内からの問い合わせ数アップダウンが激しい
ここで一度、途方に暮れる22222. 新指標決定までの道のり
とにかく指標の候補を挙げる2323こういうのって定量情報で取得できたりしないかなぁ2. 新指標決定までの道のり
指標の候補を挙げ、4つのポイントを満たせるかを検討2424指標の候補を挙げるツリーが作れるかコントロールするためのアクションを挙げられるか現状値はどうなっているか、伸びしろはあるかその指標を改善したら効果はどこに現れるのか2. 新指標決定までの道のり
候補を頂点にしたツリーが作れるかを整理2525指標の候補を挙げるツリーが作れるかコントロールするためのアクションを挙げられるか現状値はどうなっているか、伸びしろはあるかその指標を改善したら効果はどこに現れるのか2. 新指標決定までの道のり
現状はどうなっているか、改善見込みはあるのか2626指標の候補を挙げるツリーが作れるかコントロールするためのアクションを挙げられるか現状値はどうなっているか、伸びしろはあるかその指標を改善したら効果はどこに現れるのか2. 新指標決定までの道のり
それはコントロールできるものなのか2727指標の候補を挙げるツリーが作れるかコントロールするためのアクションを挙げられるか現状値はどうなっているか、伸びしろはあるかその指標を改善したら効果はどこに現れるのか2. 新指標決定までの道のり
改善することでどんな効果があるのか、何に貢献するのか2828指標の候補を挙げるツリーが作れるかコントロールするためのアクションを挙げられるか現状値はどうなっているか、伸びしろはあるかその指標を改善したら効果はどこに現れるのか2. 新指標決定までの道のり
候補に挙げていた指標の例29292. 新指標決定までの道のりセルフサービスコンテンツで解決できないセルフサービスコンテンツで解決できるセルフサービスコンテンツで解決可能な問合せ割合月別の推移記事到達率
候補に挙げていた指標の例30302. 新指標決定までの道のりセルフサービスコンテンツで解決できないセルフサービスコンテンツで解決できるセルフサービスコンテンツで解決可能な問合せ割合月別の推移記事到達率伸びしろの有無が判然としない現状値の水準が高い
これだ！とまとまったら、合意形成3131指標の候補を挙げるツリーが作れるコントロールするためのアクションがある現状値から改善の余地がある指標を改善することで結果、〇〇に良い効果がある合意形成2. 新指標決定までの道のり
323. セルフサービスコンテンツの評価指標
解決を試みる「マニュアルやFAQといったセルフサービスコンテンツの健康状態」を評価する新しい指標の設定33333. セルフサービスコンテンツの評価指標問合せ前聞いてみようチャットボットGuide_HealthScore解決率FAQマニュアル
マニュアルやFAQなどのセルフサービスコンテンツは利用されている34◆問合せ経験なし ◆問合せ前に至るまでに利用したもの3. セルフサービスコンテンツの評価指標
チャットボットの精度向上のためだけにセルフサービスコンテンツを改善するのは危険353. セルフサービスコンテンツの評価指標オペレーターが対応していた場合にかかったコスト（仮定コスト）Answerbotのチューニングにかかっているコスト（コスト②）Answerbot契約コスト（コスト①）コスト差分（Answerｂｏｔコスト①②－仮定コスト）¥０プラス→←マイナス¥０プラス→←マイナス◆チャットボットでの解決数が同水準でチューニングコストが増加した場合 ◆チューニングコストは同水準だが、チャットボットでの解決数が減少した場合効果は徐々に０に近づく 効果は徐々に０に近づく
セルフサービスコンテンツのほうが生み出す効果は大きい363. セルフサービスコンテンツの評価指標チャットボットによる効果 セルフサービスコンテンツによる効果
「Guide_HealthScore」ってどんな指標なの？37373. セルフサービスコンテンツの評価指標Guide_HealthScoreセルフサービスコンテンツをどれだけ利用してもらえているかコンテンツ内の検索機能を利用して、記事を見つけることができているかコンテンツに訪問した後、公開している記事を見てもらえているか公開している記事が役に立っているか？ひとつの数値
セルフサービスコンテンツ上での行動を大まかに分けると「訪問」「検索」「閲覧」「評価」3838訪問 (記事の検索) 記事の閲覧 記事の評価 3. セルフサービスコンテンツの評価指標
セルフサービスコンテンツからの離脱ポイントは、どのステップにもある3939訪問 (記事の検索) 記事の閲覧 記事の評価 離脱 離脱 離脱ネガティブ ネガティブ ネガティブ or ポジティブ〇〇の方法はどこだ？ 検索してみよう ふむふむ・・ どこを見たらいいのか分かんないや 検索結果に、 〇〇の方法ないなぁ 書いてあることが わかんない 似てるけど 違うんだよな･･ 何も引っかからない（ ＾ω＾）・・・ 3. セルフサービスコンテンツの評価指標
「Guide_HealthScore」には、複数の要素で構成される40403. セルフサービスコンテンツの評価指標Guide_HealthScore訪問 記事の検索 記事の閲覧 記事の評価訪問数 検索成功率 記事到達率 upvote率セルフサービスコンテンツをどれだけ利用してもらえているかを測るコンテンツ内の検索機能を利用して、記事を見つけることができているかを測るコンテンツに訪問した後、公開している記事を見てもらえているかを測る公開している記事が役に立っているかどうかを測る
構成する要素がそれぞれ一定水準を満たしているかどうかをスコア化4141Guide_HealthScore Guide_HealthScoreを構成する要素の状態3 すべての要素で目標達成率100%以上2～1 いずれかの要素で目標達成率100%未満0 すべての要素で目標達成率100%未達良い状態悪い状態3. セルフサービスコンテンツの評価指標
Guide_HealthScore？ ？ ？ ？ ？ ？？ひとつの数値Guide_HealthScore？ ？？ひとつの数値将来的に「Guide_HealthScore」を構成する要素が増減したり、入れ替えたりするかも？42423. セルフサービスコンテンツの評価指標
434. 改善アクションの紹介
44①検索成功率の向上施策4. 改善アクションの紹介
検索ワードを確認すると、「キーワード」ではなく「文章」で検索されている45454. 改善アクションの紹介ログインしないと見れないページ下書きリストを登録するアカウントを変えたいランディングページをつくれますかもう一つ作りたいホームページ作成から公開までLPをつくれますかメニューを増やしたい
検索ワードを確認すると、「キーワード」ではなく「文章」で検索されている46464. 改善アクションの紹介
検索フォーム上に「キーワード」を入力するよう促す文言に変更し、「よく検索されるキーワード」を表示47474. 改善アクションの紹介
検索フォーム上に「キーワード」を入力するよう促す文言に変更し、「よく検索されるキーワード」を表示4848文章検索の割合 減少 検索成功率 約6%向上4. 改善アクションの紹介
49②投票率の向上施策4. 改善アクションの紹介
記事に対するフィードバック数が少ない50504. 改善アクションの紹介
「なぜ投票してほしいのか」を明示し、検索のヒントや他に参照してほしいコンテンツへのリンクを追加51514. 改善アクションの紹介
「なぜ投票してほしいのか」を明示し、検索のヒントや他に参照してほしいコンテンツへのリンクを追加5252投票率 約23%向上4. 改善アクションの紹介
535. まとめ
54まとめセルフサービス領域の指標を決めるまでの道のりと最終的に辿り着いたセルフサービスコンテンツの評価指標についてお話ししました。私自身、新しい指標を見つける・決めるという作業をひとりでリードするのは、初めての経験で想定以上の時間がかかってしまいましたが、良い経験になりました。引き続き、試行錯誤しながらではありますが、改善に向けたアクションを積み上げて顧客体験の向上につなげていきたいと思います。今回お話した内容が少しでもみなさんの参考になれば幸いです。
ご清聴ありがとうございました55積極採用中!! : https://recruit.pepabo.com/info/career/joblist-cs/#info-career-joblist
3or9cake
clear_inc
kimpachi_d
junki
c0rp_mdm
2720japanoke
srmarketing
ynishiuchi
merrybiz
katsuegu23
cinchr
hideki_ojima
ccceg
hannesfritz
aarron
shpigford
geoffreycrofte
paulrobertlloyd
chriscoyier
keavy
mthomps
shlominoach
nonsquared
lemiorhan
notwaldorf