Mackerel ユーザーを支えるCREの取り組み

Mackerelチームではお客様からのお問い合わせを受け付けるテクニカルサポート業務をCRE(Customer Reliability Engineer)が担当しています。 エンジニアでもあるCREがより快適にMackerelをお使いいただくために、問い合わせに関するデータを基にどのような取り組みをしてテクニカルサポートの改善を日々行っているか、その裏側をご紹介したいと思います。

Transcript

1. Mackerelユーザーを支え るCREの取り組み Hatena Engineer Seminar #16 2021.04.27
2. id:tukaelu (tuka) 2019年5月入社 Mackerel CRE (Customer Reliability Engineer) 自己紹介
3. Customer Reliability Engineer ?
4. https://hatenacorp.jp/recruit/career/cre CREについて
5. • カスタマーサクセス ◦ テクニカルサポート、カスタマーサポートなど • 顧客活動 ◦ プリセールス、デモンストレーションなど • 技術広報 ◦ セミナー企画・講師、テクニカルライティングなど CREの業務内容
6. https://hatenacorp.jp/recruit/interview/cre CREインタビュー記事も公開されています！
7. • Mackerelのテクニカルサポートについて ◦ どのようなことをしているのか ◦ どのような課題を抱えていたのか ◦ どのように改善に取り組んでいるのか ◦ どのような指標を追っているか 今日お話すること
8. Mackerelのテクニカルサポート
9. • Mackerelに関する問い合わせに対応 ◦ 各種サポートチャネル ▪ メール（問い合わせフォーム or DM） ▪ Slack（主に社内からの問い合わせ） ◦ 調査に伴う再現検証や仕様・実装の確認、エスカレーション • 各チーム、プロダクトへのフィードバック • 問い合わせに関する分析 • FAQやヘルプページの新規作成、更新など… テクニカルサポートの主な業務内容
10. • 問い合わせ内容のコンテキスト ◦ 「動かない原因はなんですか？」と言った質問 ▪ OSやミドルウェアなど環境に関する情報がない ▪ どのような手順を実施したかなど状況に関する情報がない • 煩雑な問い合わせチケット管理 ◦ SLO（目標時間内での返信率）、問い合わせ分類などをスプレッド シートによる”温かみのある運用”をしていた • 同じような質問が何度も来る テクニカルサポートが抱えてきた課題
11. 温かみのある対応…
12. 改善の取り組み
13. • 2020年3月にこれまで使用してきたサービスの終了に伴い、別サービス （Zendesk）へ移行 ◦ ユーザーには見えないサポート側から移行した ◦ 実際は2019年末から動き始めて、2020年2月から運用開始 • 2020年6月にユーザーにも見えるフロント側を刷新 ◦ 新しい問い合わせフォームを設置 ◦ FAQサイトをはてなブログからZendesk Guideに移行 サポートツール移行に伴い改善が大幅に進む
14. • 問い合わせフォームの設置 • チケット管理の自動化 • 問い合わせに関する分析 Zendeskになり出来るようになったこと
15. • フォームに任意の項目が設置できるようになった ◦ ただしMackerelではユーザー入力を必要最小限に留めている ◦ 基本的にはCREが問い合わせ内容からカテゴリを分類 ◦ 顧客情報をカルテ的に管理できるようになった ▪ 環境に関する特異点などの記録に使用 • ファイルの添付が可能となった 問い合わせフォームの設置
16. 問い合わせフォームの設置
17. • フォームに任意の項目が設置できるようになった ◦ ただしMackerelではユーザー入力を必要最小限に留めている ◦ 基本的にはCREが問い合わせ内容からカテゴリを分類 ◦ 顧客情報をカルテ的に管理できるようになった ▪ 環境に関する特異点などの記録に使用 • ファイルの添付が可能となった → 「問い合わせ内容のコンテキスト」に関する課題が改善してきた 問い合わせフォームの設置
18. • Zendeskの標準機能でチケットの管理ができた ◦ ほぼ手放しとなり”温かみのある対応”からの解放 ◦ スプレッドシートのように突如壊れることがない（安心） • 任意のマクロを組むことで、定形作業を半自動化できた ◦ 定型文の設定、ステータス変更 → 「煩雑な問い合わせチケット管理」に関する課題が解決！ チケット管理の自動化
19. チケット管理の自動化
20. Good bye 温かみ... 👋
21. • スプレッドシート運用がネックとなり分析が行われてこなかった… ◦ 過去に分析をしている形跡はあった • サポートする立場として知りたかったことがいくつかあった • 最短の対応で解決できているか • 返信までどの程度お待たせしているか • サポート対応への満足度 → ZendeskのBIツールの Explore を使うことにした 問い合わせに関する分析
22. 問い合わせに関する分析
23. • 「初回回答による解決率」を計測することにした ◦ One Touch Ticket + Two Touch Ticketで計測 ▪ Zendesk Explore標準の項目 ◦ One/Two TouchとはサポートチケットがクローズするまでにCREが 返信した回数 • Two Touchも含めているのは解決した旨を返信いただいた際の対応も対 象とするため 最短の対応で解決できているか
24. • サポートからの初回返信時間を計測することにした ◦ 問い合わせを受けてから返信するまでの時間の中央値 （first reply time median） • Zendesk Exploreのプラクティスに乗っかった 返信までどの程度お待たせしているか
25. • CSAT（顧客満足度アンケート）機能を利用することにした ◦ 満足/不満の2択のアンケート（コメントも可） • Zendesk以前はGoogleフォームで運用していた ◦ チケットクローズのタイミングでフォームURLをお知らせ ◦ 10段階評価のアンケート（コメントも可） ◦ 回答率があまりよくなかった… サポート対応への満足度
26. これらを半期計測してみた • 最短の対応で解決できているか ◦ One/Two Touch Tickets の合計で計測 • 返信までどの程度お待たせしているか ◦ 初回返信時間の中央値で計測 • サポート対応への満足度 ◦ CSAT（顧客満足度アンケート）で計測
27. 半期計測してみてどうだったか
28. 最短の対応で解決できているか 初回回答による解決率（One/Two Touch Tickets） • 82%程度のチケットが初回回答で解決（クローズ）していた • ただしユーザーから返信がなくクローズしたものも含むため、本当に解決 したのかは不明 ◦ 実際、チケットクローズの数日後に再オープンするチケットも数%あっ た
29. 初回返信時間（中央値） • 実績が160分前後となり、素早い対応が出来ていることがわかった ◦ 目標を営業時間で250分としていたのでかなり早かった • VoC（顧客の声）などでも素早く返信ができていることに満足されている企 業／ユーザーが多くいた 返信までどの程度お待たせしているか
30. CSAT（顧客満足度アンケート） • 96.3%とかなり高い満足度ということがわかった ◦ 全体の65%に送付して、そのうち13%の回答 ◦ 以前送っていたGoogleフォームより回答率が高くなった • サポート対応に関する評価を期待していたが、コメントを見るとサービスに 関するものが多かった サポートへの満足度
31. 半期回したまとめ 【👍だった点】 • サポートに関する計測／分析ができるようになった ◦ サポート対応のサービスレベルを把握できるようになった ◦ BIツールがあることで定量的な目標が立てやすくなった 【🤔な点】 • 初回回答による解決率／初回返信時間／CSATなどからは、根本的な改 善に繋がる施策などを打ちづらかった
32. • 問い合わせ内容のコンテキスト 【改善】 ◦ 「動かない原因はなんですか？」と言った質問 ▪ OSやミドルウェアなど環境に関する情報がない ▪ どのような手順を実施したかなど状況に関する情報がない • 煩雑な問い合わせチケット管理 【解決】 ◦ SLO（目標時間内での返信率）、問い合わせ分類などをスプレッド シートによる”温かみのある運用”をしていた • 同じような質問が何度も来る 【未解決】 テクニカルサポートが抱えてきた課題
33. • FAQサイトがあまりメンテナンスがされていなかった ◦ これまでのサポートはひたすら打ち返す対応をしていた ◦ 本当に”よくある質問”が反映されていなそう • ユーザーが適切なFAQにたどり着けていない可能性もありそう ◦ FAQで解決できるお問い合わせもそれなりにあった なぜ同じような質問が何度も来るのか🤔
34. • Mackerelユーザーの多くが現役のエンジニア ◦ アプリケーションエンジニア ◦ SRE / インフラエンジニア • エンジニアが利用している技術やサービスなどでわからないことがある場 合、どのようなアクションを取るのか → エンジニアでもある自分達ならどうかを考えることにした ペルソナをゆるく考えてみた🤔
35. 自分達ならどうするか… • 公式サイトが提供するヘルプやFAQ、ブログなどを調べる • それでもわからなければグーグル先生に頼る ◦ 他のユーザーがブログなどで情報を公開をしてくれている • あきらめてサポートに問い合わせる ペルソナをゆるく考えてみた🤔
36. 自分達ならどうするか… • 公式サイトが提供するヘルプやFAQ、ブログなどを調べる • それでもわからなければグーグル先生に頼る ◦ 他のユーザーがブログなどで情報を公開をしてくれている • あきらめてサポートに問い合わせる → まずは自分で調べる、サポートへの問い合わせは最終手段 ペルソナをゆるく考えてみた🤔
37. • 問い合わせをせずに自己解決したいと考えているエンジニアの方は多く いるのではないか ◦ メール対応でブロックされずに解決をしたい • 実際に自己解決（セルフサービス）を好む人は統計上ではカスタマーサ ポートに問い合わせる人のうち76%ほどいるらしい （参考: Support your support with self-service | Zendesk ） → 次の半期は自己解決できるサポート環境を目指していくことに ユーザーが自己解決できるように整えることに
38. • FAQの各記事に投票機能があるが基本的には投票してもらえない • 同様にサポートから記事へのリンクを案内すると、記事の内容で解決がで きたかポップアップ表示されるがクリックしてもらえない • アナリティクスはPV数などは計測できるが解決にどの程度影響を与えた かを計測するのは困難 自己解決したことをどのように計測するか
39. • 理想としては… ◦ ユーザーは困った時にFAQにたどり着き ▪ FAQへのアクセスが増える ◦ 自己解決によりサポートに問い合わせをしてこない ▪ 問い合わせチケットは増えない → セルフサービススコアという指標が存在し計測することにした 理想の自己解決とは
40. “企業が用意したコンテンツを使用して問題を解決しようとしたユーザーの数を、問題の回答を求めてリク エストを送信したユーザーの数で割ったもの ” 算出式： ヘルプセンター(FAQ)のユーザーの総数 / チケットのユーザーの総数 Googleアナリティクスとヘルプセンター - パート1：適切な答えを得るための質問 – Zendeskヘルプ セルフサービススコアとは
41. 引用元: Be like BarkBox: Surpass customer expectations by scaling with smart self-service (ft. BarkBox) - Slideshare FAQのメンテナンス頻度と セルフサービススコアの関係性
42. 引用元: Be like BarkBox: Surpass customer expectations by scaling with smart self-service (ft. BarkBox) - Slideshare FAQのメンテナンス頻度と セルフサービススコアの関係性 Mackerelは Fire & Forget に該当しそう
43. • 2020年8月半ばに計測した時は 9.3 だった ◦ 既に Agile & Iterative (score: 8) を超えていた！？ • スコアが高いのにはMackerel特有の理由がありそう ◦ 監視SaaSという性質上、複数人がメーリングリストアドレスで問い合 わせをしてくる事が多い ▪ 「ヘルプセンター(FAQ)のユーザーの総数 / チケットのユーザーの総数」で算出 セルフサービススコアを知る
44. • FAQによる自己解決を促す ◦ FAQのコンテンツを充実させていく必要がある ▪ FAQ、Googleのそれぞれで検索ヒット率を高める ◦ 問い合わせフォームのサジェストからの遷移率を上げていく どうやってセルフサービススコアを向上させるか
45. ユーザーがFAQにアクセスする最後のチャンス… 問い合わせフォームのサジェスト機能
46. • チケットのカテゴリの細分化と可視化を行い、定期的にコンテンツの見直 し（作成・更新）を実施。 ◦ 問い合わせの種別 ◦ 各種プラグイン ◦ 各種インテグレーション ◦ 各種クラウド製品 FAQをどのように改善していくか
47. FAQをどのように改善していくか • FAQの検索結果が0件となったキーワードを週次でSlackに通知
48. • 検索結果が0件となるキーワードに該当しそうなFAQが… ◦ ない：新規作成できそうか検討 ◦ ある：FAQのチューニングをしてサジェスト精度を上げる ▪ 「メトリクス」→「メトリック」に関連するFAQにヒットするように紐付 けを行う FAQをどのように改善していくか
49. 取り組みの結果
50. • FAQ移行前と比較すると2倍にコンテンツ数を増やすことができた ◦ 分析の結果、求められるものを反映しやすくなった事が大きい ◦ Zendesk内で完結している影響もありそう FAQコンテンツ数
51. • FAQ全体のPV数が増加トレンドにあることがわかった • 問い合わせフォームからFAQの遷移も順調に伸びていた FAQへのアクセス
52. • 半期末（2021年1月末時点）で 12.45 に上昇 ◦ 期初（2020年8月末時点）が 9.74 なので 2.7 ptほど上昇した セルフサービススコアが上昇した
53. まとめ
54. • 改善活動を始めて1年が経ち、着実にサポート環境が改善している ◦ データをもとにしたユーザーが必要とするFAQなどの提供 ◦ ユーザーによる自己解決（セルフサービス）で問い合わせ対応が減る 分、CREはFAQなどの改善に時間が使える • 今後もMackerelを快適に使っていただけるよう改善していきます！ まとめ
55. ご清聴ありがとうございました