データを用いてサービス品質の向上に貢献!! SREのプラクティスを用いた守りのデータ分析 / Using Data to Improve Service Quality! Defensive data analysis using SRE practices

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

4 Copyright © 2024 Bitkey Inc. All right reserved. 1. 自己紹介三河内拓也 Takuya Mikouchi 2017 2020 データコンサル企業でデータアナリストとしてのキャリアをスタート。様々な業界のデータ活用プロジェクトに従事ビットキーにジョインデータエンジニア・データアナリスト・アナリティクスエンジニアとして、データ分析基盤の構築からデータ活用まで一貫して担当 2023 SREチームにてサービスの信頼性の計測と運用を推進

Slide 5

Slide 5 text

Slide 6

Slide 6 text

設立　　：2018年5月　拠点　　：東京・大阪・福岡・宮崎従業員数：約230名 Data Platformチーム：2名(絶賛採用募集中!!!)

Slide 7

Slide 7 text

No content

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

15 Copyright © 2024 Bitkey Inc. All right reserved. 今回のテーマの背景：なぜサービス品質という守りのテーマに注力しているかデータを用いてサービス品質の向上に貢献!! SREのプラクティスを用いた守りのデータ分析 ● なぜこのテーマに取り組んでるのか？／守り寄りのテーマに注力している理由は？ ○ 事業のフェーズ的にEnterprise領域に注力している ■ （マーケティング文脈でのデータサイエンスの営みは加速するフェーズにない） ● ※セールス・マーケチーム主導でデータ活用は適切に行われてるというのもある ○ 住宅・オフィス・スマートロック・鍵といった領域を扱うhomehub/workhubにおいては、品質が担保されていることが大前提である => こういった事情があり、ビットキーのデータチームはサービス品質の向上にピンを止めてきた 3. 今回のテーマ

Slide 16

Slide 16 text

16 Copyright © 2024 Bitkey Inc. All right reserved. 今回のテーマの背景：SREのプラクティスとは？データとの関わりは？データを用いてサービス品質の向上に貢献!! SREのプラクティスを用いた守りのデータ分析 ● SREのプラクティスを紹介する前に・・・ ○ 皆さん「サービス品質を定量化して！」ってオーダーを受けたらどうアプローチしますか？ 3. 今回のテーマ

Slide 17

Slide 17 text

Slide 18

Slide 18 text

18 Copyright © 2024 Bitkey Inc. All right reserved. 今回のテーマの背景：SREのプラクティスとは？データとの関わりは？データを用いてサービス品質の向上に貢献!! SREのプラクティスを用いた守りのデータ分析 ● どれも良いインサイトが得られると思います！が、以下のような悩みも出てきます・・・ ○ アンケート収集と分析 → 😢上手くいってない現場にアンケートしづらい ○ アプリレビューの分析 → 😢数が少ない。ちょっと辛辣・・・ ○ 問い合わせ傾向の分析 → 😢全ての不満が問い合わせに来てるわけではない。問い合わせに繋がりづらい種類の不満もある 3. 今回のテーマ

Slide 19

Slide 19 text

19 Copyright © 2024 Bitkey Inc. All right reserved. 今回のテーマの背景：SREのプラクティスとは？データとの関わりは？データを用いてサービス品質の向上に貢献!! SREのプラクティスを用いた守りのデータ分析 ● どれも良いインサイトが得られると思います！が、以下のような悩みも出てきます・・・ ○ アンケート収集と分析 → 😢上手くいってない現場にアンケートしづらい ○ アプリレビューの分析 → 😢数が少ない。ちょっと辛辣・・・ ○ 問い合わせ傾向の分析 → 😢全ての不満が問い合わせに来てるわけではない。問い合わせに繋がりづらい種類の不満もあるどれも定性データであるがゆえの悩み。定量データを使うアプローチを取りたくなります... 3. 今回のテーマ

Slide 20

Slide 20 text

20 Copyright © 2024 Bitkey Inc. All right reserved. 今回のテーマの背景：SREのプラクティスとは？データとの関わりは？ ● 定量データを使うアプローチとは... ○ こちらある分野ではベストプラクティスが確立されています SREのサービスレベルというプラクティスです。今回はこちらを基礎知識から実践方法まで紹介していこうと思います 3. 今回のテーマ

Slide 21

Slide 21 text

Slide 22

Slide 22 text

22 Copyright © 2024 Bitkey Inc. All right reserved. 4. サービスレベルの基礎知識そもそもSREとは ● Site Reliability Engineering ● Software Engineeringの一分野であり、システムの運用と信頼性を向上させることを目的としている ○ 主に以下のような領域を担当 ■ システムやサービスの信頼性の計測と向上 ■ インフラ管理 ■ ソフトウェア開発の運用面の向上（DevOps, CI/CD…） ■ インシデント管理 ● その他色々 ● 職種名としても用いる

Slide 23

Slide 23 text

23 Copyright © 2024 Bitkey Inc. All right reserved. 4. サービスレベルの基礎知識サービスレベルとは。。。例えばこういう指標ですアプリによる解錠成功率（homehubで計測している指標例）・解錠ボタンを押した → その人がそのトビラを開けていいかチェック → 解錠が成功した顔認証成功率（workhubで計測している指標例）・顔をかざした → その人が今そのトビラを開けていいかチェック → 解錠が成功した APIのリクエスト成功率（メジャーな指標）・その他レイテンシや稼働率など様々

Slide 24

Slide 24 text

24 Copyright © 2024 Bitkey Inc. All right reserved. 4. サービスレベルの基礎知識こういった指標をサービスレベル指標（Service Level Indicator : SLI）と呼びます。以降SLIと表記アプリによる解錠成功率（homehubで計測している指標例）・解錠ボタンを押した → その人がそのトビラを開けていいかチェック → 解錠が成功した顔認証成功率（workhubで計測している指標例）・顔をかざした → その人が今そのトビラを開けていいかチェック → 解錠が成功した APIのリクエスト成功率（メジャーな指標）・その他レイテンシや稼働率など様々

Slide 25

Slide 25 text

25 Copyright © 2024 Bitkey Inc. All right reserved. 4. サービスレベルの基礎知識指標（SLI）に対し、その目標値をサービスレベル目標（Service Level Objective : SLO）と呼びます ■SLI/SLO/SLA サービスレベル指標：SLI ・サービス品質を数値または指標として表すもの・ユーザ視点で測定され、ユーザにとってサービスが期待通りに機能しているかどうかを示す指標例：SPIリクエスト成功率、homehubにおけるアプリ解錠成功率、workhubにおける顔認証成功率サービスレベル目標：SLO ・SLIに対する目標例：顔認証成功率の目標値は99.9%（数値は仮）サービスレベル契約：SLA ・サービス提供対象との合意 ref：https://cloud.google.com/blog/ja/products/devops-sre/sre-fundamentals-sli-vs-slo-vs-sla

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

28 Copyright © 2024 Bitkey Inc. All right reserved. 5. サービスレベルの実践 - 計測編 STEP1：品質を計測したい体験(≒機能,操作,タスク)を決定品質を計測したい体験(≒機能,操作,タスク)を決定 SLIの定義（算出方法など）データ準備（ロギングなど）集計・可視化 ● CUJ（Critical User Journey）という考え方を用いて決定していくのが良いとされてます ○ TODO: まずサービスの一連の体験をジャーニーで整理していきます ■ ビットキーはユーザが達成できるコトが多岐に渡るので、この事例では、利用者が最も多い「賃貸住宅への入居」にスコープを絞りました入居登録処理 homehubへの登録招待メール送信アカウント作成部屋を開けれるデジタル上のカギを発行部屋をアプリ解錠部屋を開けれるパスコードの登録入居前入居予定日以降

Slide 29

Slide 29 text

29 Copyright © 2024 Bitkey Inc. All right reserved. 5. サービスレベルの実践 - 計測編 STEP1：品質を計測したい体験(≒機能,操作,タスク)を決定品質を計測したい体験(≒機能,操作,タスク)を決定 SLIの定義（算出方法など）データ準備（ロギングなど）集計・可視化 ● TODO: 整理したジャーニーの中で、中核となるタスクを選択します => これでCUJ完成です。次のSTEPから、この一つ一つのタスクをSLIとして定義していきます入居登録処理 homehubへの登録招待メール送信アカウント作成部屋を開けれるデジタル上のカギを発行部屋をアプリ解錠部屋を開けれるパスコードの登録入居前入居予定日以降

Slide 30

Slide 30 text

Slide 31

Slide 31 text

31 Copyright © 2024 Bitkey Inc. All right reserved. 5. サービスレベルの実践 - 計測編 STEP2：SLIの定義（算出方法など）品質を計測したい体験(≒機能,操作,タスク)を決定 SLIの定義（算出方法など）データ準備（ロギングなど）集計・可視化 ● 弊社ではまず体験を行動/処理/結果に分解しフロー整理します w/エンジニア, PdM, ビジネス側 etc

Slide 32

Slide 32 text

32 Copyright © 2024 Bitkey Inc. All right reserved. [homehub]アプリ解錠成功率 5. サービスレベルの実践 - 計測編 STEP2：SLIの定義（算出方法など）品質を計測したい体験(≒機能,操作,タスク)を決定 SLIの定義（算出方法など）データ準備（ロギングなど）集計・可視化 ● 最終的に算出式や計測定義に落とし込むことでSLIの定義が完了します。解錠成功スマートロックと接続開始

Slide 33

Slide 33 text

33 Copyright © 2024 Bitkey Inc. All right reserved. 5. サービスレベルの実践 - 計測編 STEP3：データ準備（ロギングなど）品質を計測したい体験(≒機能,操作,タスク)を決定 SLIの定義（算出方法など）データ準備（ロギングなど）集計・可視化 ● 以下のような流れで進めることが多いです ○ データログ設計 ■ どういう軸で集計したいかを想定し必要なデータを詰めていきます ○ 分析基盤への連携 ■ BigQueryやSnowﬂakeなどDWH製品へ連携 ■ 次ページにアーキテクチャを掲載しておきます ○ データ・ログ確認 ■ 様々なケースのユーザ行動をトラッキングするため、なんか違う！みたいなパターンがあるので、ちゃんと確認します

Slide 34

Slide 34 text

Slide 35

Slide 35 text

35 Copyright © 2024 Bitkey Inc. All right reserved. 5. サービスレベルの実践 - 計測編 STEP4：集計・可視化品質を計測したい体験(≒機能,操作,タスク)を決定 SLIの定義（算出方法など）データ準備（ロギングなど）集計・可視化 ● データ活用目的ではBIツールに可視化するようにしています ○ BIツールは何でも良いです ○ 構成は以下のような形にしています ■ 昨日の成功率、直近n日間の成功率（スコアカード） ■ 上記の推移 ■ 詳細（表形式） ● AppVersionなどの環境別 ● 製品の種類別 ● スマートロック別（別のページにしたほうが見やすい） ● ユーザ別（別のページにしたほうが見やすい） ● etc

Slide 36

Slide 36 text

36 Copyright © 2024 Bitkey Inc. All right reserved. ● 補足：SREはオブザーバビリティーツールを用いて集計・可視化しているケースが多いです ○ 例：Datadog, New Relic, Grafana 5. サービスレベルの実践 - 計測編 STEP4：集計・可視化品質を計測したい体験(≒機能,操作,タスク)を決定 SLIの定義（算出方法など）データ準備（ロギングなど）集計・可視化 ref：https://docs.datadoghq.com/ja/service_management/service_level_objectives/

Slide 37

Slide 37 text

37 Copyright © 2024 Bitkey Inc. All right reserved. ● 補足：SREはオブザーバビリティーツールを用いて集計・可視化しているケースが多いです ○ GrafanaはBigQuery、DatadogはSnowﬂakeにクエリを投げれるので、相乗りするのはあり 5. サービスレベルの実践 - 計測編 STEP4：集計・可視化品質を計測したい体験(≒機能,操作,タスク)を決定 SLIの定義（算出方法など）データ準備（ロギングなど）集計・可視化 https://grafana.com/grafana/plugins/grafana-bigquery-datasource/

Slide 38

Slide 38 text

38 Copyright © 2024 Bitkey Inc. All right reserved. ● 補足：SREはオブザーバビリティーツールを用いて集計・可視化しているケースが多いです ○ ビットキーでは以下のように使い分けてます ■ オブザーバビリティーツール（Datadog） ● エンジニアによる監視用（どの処理でエラーでた？の深堀りまでできるのが特徴） ● 簡単な定義のSLIの可視化 ■ BIツール（Looker Studio w/BigQuery） ● CSなどビジネス側へのデータ提供用 ● 上記では表現しきれない、複雑な定義のSLIの可視化 5. サービスレベルの実践 - 計測編 STEP4：集計・可視化品質を計測したい体験(≒機能,操作,タスク)を決定 SLIの定義（算出方法など）データ準備（ロギングなど）集計・可視化

Slide 39

Slide 39 text

Slide 40

Slide 40 text

Slide 41

Slide 41 text

41 Copyright © 2024 Bitkey Inc. All right reserved. 6. サービスレベルの実践 - 活用編監視をする前に、、、 ● 監視をする前に、まず可視化した数値をエンジニアやCSなど必要なステークホルダを集めて数値を見る会を開催するといいと思います ○ 体感とのギャップ、期待値とのギャップを話して、アクションを決めていきます ■ 例：調査しよう！改修しよう！問題ないから目標値（SLO）を定めて監視しよう

Slide 42

Slide 42 text

Slide 43

Slide 43 text

43 Copyright © 2024 Bitkey Inc. All right reserved. 6. サービスレベルの実践 - 活用編 ● ビットキーではどのように監視しているか ○ まずはSLOを決めます。初めは99.99%みたいなイケてる目標値を置きがちなんですが、顧客視点を立ったうえで適切かつ現実的な数値を置くと良いと思います ○ その上で以下のような形で監視をしています ■ エンジニアと定期的にSLI/SLOを眺める会を実施 ● BIツールとオブザーバビリティーツールそれぞれ使用 ● 1指標1ダッシュボートではなく、全指標を横断して眺められるようなビューを用意すると良いです ■ SLOを下回ったらSlack通知 ● 通知がなったあとのアクションを決められると良いです ● 興味がある方は知っておくと便利：エラーバジェット、バーンレート ■ CSは問い合わせ起点で数値の確認したり、定期的に顧客状態を確認という使い方監視編

Slide 44

Slide 44 text

Slide 45

Slide 45 text

45 Copyright © 2024 Bitkey Inc. All right reserved. まとめ 7. まとめと今後の展望 ● 今回は「サービスレベル」について概要と実践方法を紹介させていただきました ● この資料に沿っていくとサービス品質の定量化を実現できると思います ● まずやってみたらいいと思うこととしては、社内にSREがいれば、この資料を見せて一度会話してみると面白いかも知れないです

Slide 46

Slide 46 text

Slide 47

Slide 47 text

Slide 48

Slide 48 text

48 Copyright © 2024 Bitkey Inc. All right reserved. わたしたちは、ともに働く仲間を募集しております！職種の一例としては... 1. データアナリスト 2. SRE 3. Software Engineer（WEB、モバイル） 4. PdM 5. EM … など、様々なポジションで募集中です！ご興味があれば右のQRコードまたは、 X(Twitter):@i_am_miko__ までご連絡ください！ We Are Hiring ! 7. まとめと今後の展望