Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Mackerel ユーザーを支えるCREの取り組み

Mackerel ユーザーを支えるCREの取り組み

Mackerelチームではお客様からのお問い合わせを受け付けるテクニカルサポート業務をCRE(Customer Reliability Engineer)が担当しています。 エンジニアでもあるCREがより快適にMackerelをお使いいただくために、問い合わせに関するデータを基にどのような取り組みをしてテクニカルサポートの改善を日々行っているか、その裏側をご紹介したいと思います。

Tsukasa Nishiyama

April 27, 2021
Tweet

Other Decks in Programming

Transcript

  1. Mackerelユーザーを支え
    るCREの取り組み
    Hatena Engineer Seminar #16
    2021.04.27

    View full-size slide

  2. id:tukaelu (tuka)
    2019年5月入社
    Mackerel
    CRE (Customer Reliability Engineer)
    自己紹介

    View full-size slide

  3. Customer Reliability Engineer ?

    View full-size slide

  4. https://hatenacorp.jp/recruit/career/cre
    CREについて

    View full-size slide

  5. ● カスタマーサクセス
    ○ テクニカルサポート、カスタマーサポートなど
    ● 顧客活動
    ○ プリセールス、デモンストレーションなど
    ● 技術広報
    ○ セミナー企画・講師、テクニカルライティングなど
    CREの業務内容

    View full-size slide

  6. https://hatenacorp.jp/recruit/interview/cre
    CREインタビュー記事も公開されています!

    View full-size slide

  7. ● Mackerelのテクニカルサポートについて
    ○ どのようなことをしているのか
    ○ どのような課題を抱えていたのか
    ○ どのように改善に取り組んでいるのか
    ○ どのような指標を追っているか
    今日お話すること

    View full-size slide

  8. Mackerelのテクニカルサポート

    View full-size slide

  9. ● Mackerelに関する問い合わせに対応
    ○ 各種サポートチャネル
    ■ メール(問い合わせフォーム or DM)
    ■ Slack(主に社内からの問い合わせ)
    ○ 調査に伴う再現検証や仕様・実装の確認、エスカレーション
    ● 各チーム、プロダクトへのフィードバック
    ● 問い合わせに関する分析
    ● FAQやヘルプページの新規作成、更新など…
    テクニカルサポートの主な業務内容

    View full-size slide

  10. ● 問い合わせ内容のコンテキスト
    ○ 「動かない原因はなんですか?」と言った質問
    ■ OSやミドルウェアなど環境に関する情報がない
    ■ どのような手順を実施したかなど状況に関する情報がない
    ● 煩雑な問い合わせチケット管理
    ○ SLO(目標時間内での返信率)、問い合わせ分類などをスプレッド
    シートによる”温かみのある運用”をしていた
    ● 同じような質問が何度も来る
    テクニカルサポートが抱えてきた課題

    View full-size slide

  11. 温かみのある対応…

    View full-size slide

  12. 改善の取り組み

    View full-size slide

  13. ● 2020年3月にこれまで使用してきたサービスの終了に伴い、別サービス
    (Zendesk)へ移行
    ○ ユーザーには見えないサポート側から移行した
    ○ 実際は2019年末から動き始めて、2020年2月から運用開始
    ● 2020年6月にユーザーにも見えるフロント側を刷新
    ○ 新しい問い合わせフォームを設置
    ○ FAQサイトをはてなブログからZendesk Guideに移行
    サポートツール移行に伴い改善が大幅に進む

    View full-size slide

  14. ● 問い合わせフォームの設置
    ● チケット管理の自動化
    ● 問い合わせに関する分析
    Zendeskになり出来るようになったこと

    View full-size slide

  15. ● フォームに任意の項目が設置できるようになった
    ○ ただしMackerelではユーザー入力を必要最小限に留めている
    ○ 基本的にはCREが問い合わせ内容からカテゴリを分類
    ○ 顧客情報をカルテ的に管理できるようになった
    ■ 環境に関する特異点などの記録に使用
    ● ファイルの添付が可能となった
    問い合わせフォームの設置

    View full-size slide

  16. 問い合わせフォームの設置

    View full-size slide

  17. ● フォームに任意の項目が設置できるようになった
    ○ ただしMackerelではユーザー入力を必要最小限に留めている
    ○ 基本的にはCREが問い合わせ内容からカテゴリを分類
    ○ 顧客情報をカルテ的に管理できるようになった
    ■ 環境に関する特異点などの記録に使用
    ● ファイルの添付が可能となった
    → 「問い合わせ内容のコンテキスト」に関する課題が改善してきた
    問い合わせフォームの設置

    View full-size slide

  18. ● Zendeskの標準機能でチケットの管理ができた
    ○ ほぼ手放しとなり”温かみのある対応”からの解放
    ○ スプレッドシートのように突如壊れることがない(安心)
    ● 任意のマクロを組むことで、定形作業を半自動化できた
    ○ 定型文の設定、ステータス変更
    → 「煩雑な問い合わせチケット管理」に関する課題が解決!
    チケット管理の自動化

    View full-size slide

  19. チケット管理の自動化

    View full-size slide

  20. Good bye 温かみ... 👋

    View full-size slide

  21. ● スプレッドシート運用がネックとなり分析が行われてこなかった…
    ○ 過去に分析をしている形跡はあった
    ● サポートする立場として知りたかったことがいくつかあった
    ● 最短の対応で解決できているか
    ● 返信までどの程度お待たせしているか
    ● サポート対応への満足度
    → ZendeskのBIツールの Explore を使うことにした
    問い合わせに関する分析

    View full-size slide

  22. 問い合わせに関する分析

    View full-size slide

  23. ● 「初回回答による解決率」を計測することにした
    ○ One Touch Ticket + Two Touch Ticketで計測
    ■ Zendesk Explore標準の項目
    ○ One/Two TouchとはサポートチケットがクローズするまでにCREが
    返信した回数
    ● Two Touchも含めているのは解決した旨を返信いただいた際の対応も対
    象とするため
    最短の対応で解決できているか

    View full-size slide

  24. ● サポートからの初回返信時間を計測することにした
    ○ 問い合わせを受けてから返信するまでの時間の中央値
    (first reply time median)
    ● Zendesk Exploreのプラクティスに乗っかった
    返信までどの程度お待たせしているか

    View full-size slide

  25. ● CSAT(顧客満足度アンケート)機能を利用することにした
    ○ 満足/不満の2択のアンケート(コメントも可)
    ● Zendesk以前はGoogleフォームで運用していた
    ○ チケットクローズのタイミングでフォームURLをお知らせ
    ○ 10段階評価のアンケート(コメントも可)
    ○ 回答率があまりよくなかった…
    サポート対応への満足度

    View full-size slide

  26. これらを半期計測してみた
    ● 最短の対応で解決できているか
    ○ One/Two Touch Tickets の合計で計測
    ● 返信までどの程度お待たせしているか
    ○ 初回返信時間の中央値で計測
    ● サポート対応への満足度
    ○ CSAT(顧客満足度アンケート)で計測

    View full-size slide

  27. 半期計測してみてどうだったか

    View full-size slide

  28. 最短の対応で解決できているか
    初回回答による解決率(One/Two Touch Tickets)
    ● 82%程度のチケットが初回回答で解決(クローズ)していた
    ● ただしユーザーから返信がなくクローズしたものも含むため、本当に解決
    したのかは不明
    ○ 実際、チケットクローズの数日後に再オープンするチケットも数%あっ

    View full-size slide

  29. 初回返信時間(中央値)
    ● 実績が160分前後となり、素早い対応が出来ていることがわかった
    ○ 目標を営業時間で250分としていたのでかなり早かった
    ● VoC(顧客の声)などでも素早く返信ができていることに満足されている企
    業/ユーザーが多くいた
    返信までどの程度お待たせしているか

    View full-size slide

  30. CSAT(顧客満足度アンケート)
    ● 96.3%とかなり高い満足度ということがわかった
    ○ 全体の65%に送付して、そのうち13%の回答
    ○ 以前送っていたGoogleフォームより回答率が高くなった
    ● サポート対応に関する評価を期待していたが、コメントを見るとサービスに
    関するものが多かった
    サポートへの満足度

    View full-size slide

  31. 半期回したまとめ
    【👍だった点】
    ● サポートに関する計測/分析ができるようになった
    ○ サポート対応のサービスレベルを把握できるようになった
    ○ BIツールがあることで定量的な目標が立てやすくなった
    【🤔な点】
    ● 初回回答による解決率/初回返信時間/CSATなどからは、根本的な改
    善に繋がる施策などを打ちづらかった

    View full-size slide

  32. ● 問い合わせ内容のコンテキスト 【改善】
    ○ 「動かない原因はなんですか?」と言った質問
    ■ OSやミドルウェアなど環境に関する情報がない
    ■ どのような手順を実施したかなど状況に関する情報がない
    ● 煩雑な問い合わせチケット管理 【解決】
    ○ SLO(目標時間内での返信率)、問い合わせ分類などをスプレッド
    シートによる”温かみのある運用”をしていた
    ● 同じような質問が何度も来る 【未解決】
    テクニカルサポートが抱えてきた課題

    View full-size slide

  33. ● FAQサイトがあまりメンテナンスがされていなかった
    ○ これまでのサポートはひたすら打ち返す対応をしていた
    ○ 本当に”よくある質問”が反映されていなそう
    ● ユーザーが適切なFAQにたどり着けていない可能性もありそう
    ○ FAQで解決できるお問い合わせもそれなりにあった
    なぜ同じような質問が何度も来るのか🤔

    View full-size slide

  34. ● Mackerelユーザーの多くが現役のエンジニア
    ○ アプリケーションエンジニア
    ○ SRE / インフラエンジニア
    ● エンジニアが利用している技術やサービスなどでわからないことがある場
    合、どのようなアクションを取るのか
    → エンジニアでもある自分達ならどうかを考えることにした
    ペルソナをゆるく考えてみた🤔

    View full-size slide

  35. 自分達ならどうするか…
    ● 公式サイトが提供するヘルプやFAQ、ブログなどを調べる
    ● それでもわからなければグーグル先生に頼る
    ○ 他のユーザーがブログなどで情報を公開をしてくれている
    ● あきらめてサポートに問い合わせる
    ペルソナをゆるく考えてみた🤔

    View full-size slide

  36. 自分達ならどうするか…
    ● 公式サイトが提供するヘルプやFAQ、ブログなどを調べる
    ● それでもわからなければグーグル先生に頼る
    ○ 他のユーザーがブログなどで情報を公開をしてくれている
    ● あきらめてサポートに問い合わせる
    → まずは自分で調べる、サポートへの問い合わせは最終手段
    ペルソナをゆるく考えてみた🤔

    View full-size slide

  37. ● 問い合わせをせずに自己解決したいと考えているエンジニアの方は多く
    いるのではないか
    ○ メール対応でブロックされずに解決をしたい
    ● 実際に自己解決(セルフサービス)を好む人は統計上ではカスタマーサ
    ポートに問い合わせる人のうち76%ほどいるらしい
    (参考: Support your support with self-service | Zendesk )
    → 次の半期は自己解決できるサポート環境を目指していくことに
    ユーザーが自己解決できるように整えることに

    View full-size slide

  38. ● FAQの各記事に投票機能があるが基本的には投票してもらえない
    ● 同様にサポートから記事へのリンクを案内すると、記事の内容で解決がで
    きたかポップアップ表示されるがクリックしてもらえない
    ● アナリティクスはPV数などは計測できるが解決にどの程度影響を与えた
    かを計測するのは困難
    自己解決したことをどのように計測するか

    View full-size slide

  39. ● 理想としては…
    ○ ユーザーは困った時にFAQにたどり着き
    ■ FAQへのアクセスが増える
    ○ 自己解決によりサポートに問い合わせをしてこない
    ■ 問い合わせチケットは増えない
    → セルフサービススコアという指標が存在し計測することにした
    理想の自己解決とは

    View full-size slide

  40. “企業が用意したコンテンツを使用して問題を解決しようとしたユーザーの数を、問題の回答を求めてリク
    エストを送信したユーザーの数で割ったもの ”
    算出式:
    ヘルプセンター(FAQ)のユーザーの総数 / チケットのユーザーの総数
    Googleアナリティクスとヘルプセンター - パート1:適切な答えを得るための質問 – Zendeskヘルプ
    セルフサービススコアとは

    View full-size slide

  41. 引用元: Be like BarkBox: Surpass customer expectations by scaling with smart self-service (ft. BarkBox) - Slideshare
    FAQのメンテナンス頻度と
    セルフサービススコアの関係性

    View full-size slide

  42. 引用元: Be like BarkBox: Surpass customer expectations by scaling with smart self-service (ft. BarkBox) - Slideshare
    FAQのメンテナンス頻度と
    セルフサービススコアの関係性
    Mackerelは Fire & Forget に該当しそう

    View full-size slide

  43. ● 2020年8月半ばに計測した時は 9.3 だった
    ○ 既に Agile & Iterative (score: 8) を超えていた!?
    ● スコアが高いのにはMackerel特有の理由がありそう
    ○ 監視SaaSという性質上、複数人がメーリングリストアドレスで問い合
    わせをしてくる事が多い
    ■ 「ヘルプセンター(FAQ)のユーザーの総数 / チケットのユーザーの総数」で算出
    セルフサービススコアを知る

    View full-size slide

  44. ● FAQによる自己解決を促す
    ○ FAQのコンテンツを充実させていく必要がある
    ■ FAQ、Googleのそれぞれで検索ヒット率を高める
    ○ 問い合わせフォームのサジェストからの遷移率を上げていく
    どうやってセルフサービススコアを向上させるか

    View full-size slide

  45. ユーザーがFAQにアクセスする最後のチャンス…
    問い合わせフォームのサジェスト機能

    View full-size slide

  46. ● チケットのカテゴリの細分化と可視化を行い、定期的にコンテンツの見直
    し(作成・更新)を実施。
    ○ 問い合わせの種別
    ○ 各種プラグイン
    ○ 各種インテグレーション
    ○ 各種クラウド製品
    FAQをどのように改善していくか

    View full-size slide

  47. FAQをどのように改善していくか
    ● FAQの検索結果が0件となったキーワードを週次でSlackに通知

    View full-size slide

  48. ● 検索結果が0件となるキーワードに該当しそうなFAQが…
    ○ ない:新規作成できそうか検討
    ○ ある:FAQのチューニングをしてサジェスト精度を上げる
    ■ 「メトリクス」→「メトリック」に関連するFAQにヒットするように紐付
    けを行う
    FAQをどのように改善していくか

    View full-size slide

  49. 取り組みの結果

    View full-size slide

  50. ● FAQ移行前と比較すると2倍にコンテンツ数を増やすことができた
    ○ 分析の結果、求められるものを反映しやすくなった事が大きい
    ○ Zendesk内で完結している影響もありそう
    FAQコンテンツ数

    View full-size slide

  51. ● FAQ全体のPV数が増加トレンドにあることがわかった
    ● 問い合わせフォームからFAQの遷移も順調に伸びていた
    FAQへのアクセス

    View full-size slide

  52. ● 半期末(2021年1月末時点)で 12.45 に上昇
    ○ 期初(2020年8月末時点)が 9.74 なので 2.7 ptほど上昇した
    セルフサービススコアが上昇した

    View full-size slide

  53. ● 改善活動を始めて1年が経ち、着実にサポート環境が改善している
    ○ データをもとにしたユーザーが必要とするFAQなどの提供
    ○ ユーザーによる自己解決(セルフサービス)で問い合わせ対応が減る
    分、CREはFAQなどの改善に時間が使える
    ● 今後もMackerelを快適に使っていただけるよう改善していきます!
    まとめ

    View full-size slide

  54. ご清聴ありがとうございました

    View full-size slide