スマートロック開発におけるSLI/SLOを用いた解錠体験の改善 / Improving the unlocking experience using SLI/SLO in smart lock development

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

4 Copyright © 2024 Bitkey Inc. All right reserved. 1. 自己紹介三河内拓也 Takuya Mikouchi 2017 2020 データコンサル企業でデータアナリストとしてのキャリアをスタート。様々な業界のデータ活用プロジェクトに従事ビットキーにジョインデータエンジニア・データアナリストとして、データ分析基盤の構築からデータ活用まで一貫して担当最初のミッションは「プロダクト品質の定量化」ここで初めて「SLI・SLO」の世界に触れる 2023 SREチームに兼務「SLI・SLO」の運用をSREのメンバと共に推進 Datadog RUMが好きです

Slide 5

Slide 5 text

Slide 6

Slide 6 text

設立　　：2018年5月　拠点　　：東京・大阪・福岡・宮崎従業員数：約230名

Slide 7

Slide 7 text

No content

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

14 Copyright © 2024 Bitkey Inc. All right reserved. ビットキーでは、品質の定量化と改善のために、SREのプラクティスであるサービスレベルを用いています 3. 今回のテーマ ■（補足）サービスレベルとは？サービスレベル指標：SLI ・サービス品質を数値または指標として表すもの・ユーザ視点で測定され、ユーザにとってサービスが期待通りに機能しているかどうかを示す指標例：GCSの可用性、成功率、レイテンシサービスレベル目標：SLO ・SLIに対する目標例：GCSの可用性はStandard ストレージ、シングルリージョンで99.9% サービスレベル契約：SLA ・サービス提供対象との合意 ref：https://cloud.google.com/blog/ja/products/devops-sre/sre-fundamentals-sli-vs-slo-vs-sla

Slide 15

Slide 15 text

15 Copyright © 2024 Bitkey Inc. All right reserved. 今回はスマートロックの解錠体験（特にBluetooth通信での解錠の成功率）における、サービスレベルの定義〜計測〜運用までをビットキーではどう進めていったかを主に話をします 3. 今回のテーマサービスレベル指標：SLI ・サービス品質を数値または指標として表すもの・ユーザ視点で測定され、ユーザにとってサービスが期待通りに機能しているかどうかを示す指標例：GCSの可用性、成功率、レイテンシサービスレベル目標：SLO ・SLIに対する目標例：GCSの可用性はStandard ストレージ、シングルリージョンで99.9% ×

Slide 16

Slide 16 text

16 Copyright © 2024 Bitkey Inc. All right reserved. スマートロックの解錠体験をサービスレベルの世界で扱う上で難しいのが、現実世界が関わってきていること・・・これについてどんな悩みがあったか、どうアクションしたかも交えながら、お話していきます 3. 今回のテーマ ■悩みポイントを先に紹介しておくと 😨「目の前にスマートロックがないのに、解錠コマンドを実行する」、「運用上電池をわざと抜いている」みたいな物理的に絶対に失敗するケースってどう扱う？ 😨色々考慮した結果、計測ロジックが複雑になりがちだけど、 Datadogじゃ計測しづらくない？？？ 😨「本来かざすべき QRコードとは別の QR コードをかざして解錠が失敗した」みたいなユーザの現実世界の行動が起因した失敗ケースはどう扱う？

Slide 17

Slide 17 text

17 Copyright © 2024 Bitkey Inc. All right reserved. 今回話さないこと ● Software的にこういう実装をしたら解錠成功率が改善しました ● Hardware的にこういう設計・製造の見直しをしたら改善しました ● Hardware製品の品質保証周りのあれこれ → 今回話すのは、改善に寄与したサービスレベルの定義〜計測〜運用の一連のプロセスを実行していった話を順番に伝えていきます 3. 今回のテーマ

Slide 18

Slide 18 text

Slide 19

Slide 19 text

19 Copyright © 2024 Bitkey Inc. All right reserved. 4. サービスレベル定義ビットキーがサービスレベルの対象にしている体験の紹介（抜粋） ※今回言及しませんが他にも様々な解錠体験、ユーザにおいて重要な解錠以外の体験を定義・計測していますアプリによる解錠（homehub）・マンションの自分の部屋やエントランスの出入り顔認証（workhub）・大型ビルのエントランス、フラッパーゲート（パタパタするあれ）出入り・オフィスの入口、オフィス内の各部屋やブースの出入り QR認証（workhub）・大型ビルのエントランス、フラッパーゲート（パタパタするあれ）出入り

Slide 20

Slide 20 text

20 Copyright © 2024 Bitkey Inc. All right reserved. 4. サービスレベル定義サービスレベルの対象にする体験をどのように決めたか本来は例えば、マンションの入居体験のようなユーザ体験をジャーニーにし、その中の重要な各体験を指標にする（ref. CUJ）今回は解錠にピンが止まってたので、あらゆる解錠体験を洗い出した上で現在の利用頻度から決めたビジネス的な重要度、プロダクトの関心度から判断して対象にすることもありました将来予想される利用頻度から決めることもある

Slide 21

Slide 21 text

21 Copyright © 2024 Bitkey Inc. All right reserved. 4. サービスレベル定義各体験からサービスレベル指標にどう落とし込んだか・定義したか ①関係者を集める（SRE・Software Enginner・Firmware Engineer・PdM…） ②その指標を計測する背景と目的を認識合わせしておく ③対象の体験を分解したフロー図をみんなで作成 ④フロー図内の試行・成功イベントから算出式に落とし込む（レイテンシなら計測範囲）

Slide 22

Slide 22 text

Slide 23

Slide 23 text

23 Copyright © 2024 Bitkey Inc. All right reserved. 4. サービスレベル定義ポイント①：指標を計測する背景と目的を認識合わせは必ず ①関係者を集める（SRE・Software Enginner・Firmware Engineer・PdM…） ②その指標を計測する背景と目的を認識合わせしておく ③対象の体験を分解したフロー図をみんなで作成 ④フロー図内の試行・成功イベントから算出式に落とし込む（レイテンシなら計測範囲） 💡後々指標を定義していくときに発生する悩みポイントの解決に効いてくるので必ずやる!!!

Slide 24

Slide 24 text

Slide 25

Slide 25 text

25 Copyright © 2024 Bitkey Inc. All right reserved. 4. サービスレベル定義ポイント②：定義は割り切りが大事 ※本当はもっと細かい・・・ 😨「目の前にスマートロックがないのに、解錠コマンドを実行する」みたいな物理的に絶対に失敗するケースってどう扱う？・この場合は、真に失敗してるかログ上判別ができない and ユーザ体験上レアケースでSLIにそれほど寄与しないと判断し、考慮しないことに決定

Slide 26

Slide 26 text

26 Copyright © 2024 Bitkey Inc. All right reserved. 4. サービスレベル定義ポイント②：定義は割り切りが大事 ※本当はもっと細かい・・・ 😨「目の前にスマートロックがないのに、解錠コマンドを実行する」みたいな物理的に絶対に失敗するケースってどう扱う？・この場合は、真に失敗してるかログ上判別ができない and ユーザ体験上レアケースでSLIにそれほど寄与しないと判断し、考慮しないことに決定 ↓ 💡ポイント：一定の割り切りが大事。これは集計クエリのロジックやトラッキングする情報自体を単純化することにも繋がり、今後のSLI運用の容易さにも寄与する ※ただしSLOでは一定の失敗があることの考慮が必要

Slide 27

Slide 27 text

27 Copyright © 2024 Bitkey Inc. All right reserved. 4. サービスレベル定義ポイント③：何を意思決定したくて計測したい指標なのかから定義を決めていく 😨「本来かざすべきQRコードとは別の QRコードをかざして解錠が失敗した」みたいなユーザの現実世界の行動が起因した失敗ケースはどう扱う？ ※理解のために、実際の処理とは異なる表現をしている部分が多々あります

Slide 28

Slide 28 text

28 Copyright © 2024 Bitkey Inc. All right reserved. ・この場合は、解錠精度だけでなく、QR認証体験全体を評価したかったので、ユーザの勘違いも我々の製品の落ち度と捉え失敗イベントに分類した 4. サービスレベル定義ポイント③：何を意思決定したくて計測したい指標なのかから定義を決めていく 😨「本来かざすべきQRコードとは別の QRコードをかざして解錠が失敗した」みたいなユーザの現実世界の行動が起因した失敗ケースはどう扱う？ ※理解のために、実際の処理とは異なる表現をしている部分が多々あります

Slide 29

Slide 29 text

29 Copyright © 2024 Bitkey Inc. All right reserved. 4. サービスレベル定義ポイント③：何を意思決定したくて計測したい指標なのかから定義を決めていく 😨「本来かざすべきQRコードとは別の QRコードをかざして解錠が失敗した」みたいなユーザの現実世界の行動が起因した失敗ケースはどう扱う？ ※理解のために、実際の処理とは異なる表現をしている部分が多々あります・この場合は、解錠精度だけでなく、QR認証体験全体を評価したかったので、ユーザの勘違いも我々の製品の落ち度と捉え失敗イベントに分類した ↓ 💡ポイント：ステップ②で計測目的を認識合わせておくと、定義を迷うポイントで柔軟な判断が可能 →要は計測目的に照らし合わせたときに、厳密な定義が必要か必要でないか判断できるということ

Slide 30

Slide 30 text

30 Copyright © 2024 Bitkey Inc. All right reserved. 4. サービスレベル定義このステップを踏んでいくと、サービスレベル指標の定義が決まるアプリによる解錠成功率（homehub）・解錠ボタンを押した → 解錠が成功した・ドアの前に居るか居ないかは考慮しない顔認証成功率（workhub）・登録されている顔をかざした → 解錠が成功した・顔をうまくかざせてるかは考慮しない QR認証成功率（workhub）・QRコードをかざした→解錠が成功した・workhubが発行した解錠以外の用途のQRコードがかざされた場合は失敗とするが、利用可能時間外にQRコードをかざした場合は成功とする

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

35 Copyright © 2024 Bitkey Inc. All right reserved. 5. サービスレベル計測 💡 以下のようなケースに対して、複雑な集計をしたいのでBigQueryを採用している 😨「運用上電池をわざと抜いている」みたいなスマートロックは計測対象外にしたい！！！ 😨「処理上リトライしているので最後に成功してればOK」にしたいからsessionIdごとに判定したい！！！ ※ログ設計と実装をめっちゃ頑張ればできるかもしれないが・・・

Slide 36

Slide 36 text

Slide 37

Slide 37 text

37 Copyright © 2024 Bitkey Inc. All right reserved. 5. サービスレベル計測 💡 リアルタイムに品質を監視するという需要もあるため、Datadogでも並行して計測リアルタイムに品質を監視するという需要もあるため、 Datadogでも並行して計測を行っている。 ※Datadogはログ量で課金されるため、節約のため基本 Errorログしか連携してないが、サービスレベルの計測のためのログのみError以外も連携している

Slide 38

Slide 38 text

Slide 39

Slide 39 text

Slide 40

Slide 40 text

Slide 41

Slide 41 text

Slide 42

Slide 42 text

Slide 43

Slide 43 text

Slide 44

Slide 44 text

44 Copyright © 2024 Bitkey Inc. All right reserved. 6. サービスレベルの改善と運用市場リリース前では、アプリ（バージョンアップ含め）やプロダクトのSLIを確認していたりするリリース前リリース後 ● 😨QAには力入れてるけど、ユーザ相当の利用環境はまた別なんだよね・・・ ○ 💡社員や自社オフィスにTestﬂightなどで、リリース予定バージョンを配布し、成功率をモニタリングしている

Slide 45

Slide 45 text

45 Copyright © 2024 Bitkey Inc. All right reserved. 6. サービスレベルの改善と運用市場リリース前では、アプリ（バージョンアップ含め）やプロダクトのSLIを確認していたりするリリース前リリース後 ● 😨QAには力入れてるけど、ユーザ相当の利用環境はまた別なんだよね・・・ ○ 💡社員や自社オフィスにTestﬂightなどで、リリース予定バージョンを配布し、成功率をモニタリングしている ○ 💡その際、物理的な環境（ドアの材質など）が成功率に影響を与えるので、比較する際は検証対象のスマートロックやメンバを適切に選定する必要がある ↑ SLO本に統計学の章があるのも納得！

Slide 46

Slide 46 text

46 Copyright © 2024 Bitkey Inc. All right reserved. 6. サービスレベルの改善と運用市場リリース後は、監視自体はSREが主体的に行ってます。また定期的に開発者と数値を眺める場の設計において工夫ポイントがありますリリース前リリース後 ● 😨QAには力入れてるけど、ユーザ相当の利用環境はまた別なんだよね・・・ ○ 💡社員や自社オフィスにTestﬂightなどで、リリース予定バージョンを配布し、成功率をモニタリングしている ○ 💡その際、物理的な環境（ドアの材質など）が成功率に影響を与えるので、比較する際は検証対象のスマートロックやメンバを適切に選定する必要がある ↑ SLO本に統計学の章があるのも納得！ ● 😨SREで頑張ってダッシュボード作ったけど、開発者が見てくれないんだよね・・・ ○ プロダクトのフェーズによっては、あると思います（弊社も数年前は...）

Slide 47

Slide 47 text

47 Copyright © 2024 Bitkey Inc. All right reserved. 6. サービスレベルの改善と運用市場リリース後は、監視自体はSREが主体的に行ってます。また定期的に開発者と数値を眺める場の設計において工夫ポイントがありますリリース前リリース後 ● 😨QAには力入れてるけど、ユーザ相当の利用環境はまた別なんだよね・・・ ○ 💡社員や自社オフィスにTestﬂightなどで、リリース予定バージョンを配布し、成功率をモニタリングしている ○ 💡その際、物理的な環境（ドアの材質など）が成功率に影響を与えるので、比較する際は検証対象のスマートロックやメンバを適切に選定する必要がある ↑ SLO本に統計学の章があるのも納得！ ● 😨SREで頑張ってダッシュボード作ったけど、開発者が見てくれないんだよね・・・ ○ プロダクトのフェーズによっては、あると思います（弊社も数年前は...） ○ 💡モニタリングはSREが積極的に行い、開発者にディスパッチしていく ○ 💡 週次や隔週で数値を見る会を実施

Slide 48

Slide 48 text

48 Copyright © 2024 Bitkey Inc. All right reserved. 6. サービスレベルの改善と運用市場リリース後は、監視自体はSREが主体的に行ってます。また定期的に開発者と数値を眺める場の設計において工夫ポイントがありますリリース前リリース後 ● 😨QAには力入れてるけど、ユーザ相当の利用環境はまた別なんだよね・・・ ○ 💡社員や自社オフィスにTestﬂightなどで、リリース予定バージョンを配布し、成功率をモニタリングしている ○ 💡その際、物理的な環境（ドアの材質など）が成功率に影響を与えるので、比較する際は検証対象のスマートロックやメンバを適切に選定する必要がある ↑ SLO本に統計学の章があるのも納得！ ● 😨SREで頑張ってダッシュボード作ったけど、開発者が見てくれないんだよね・・・ ○ プロダクトのフェーズによっては、あると思います（弊社も数年前は...） ○ 💡モニタリングはSREが積極的に行い、開発者にディスパッチしていく ○ 💡 週次や隔週で数値を見る会を実施 ■ 😨これもなんとなくファシリしづらい時があります,,,

Slide 49

Slide 49 text

49 Copyright © 2024 Bitkey Inc. All right reserved. 6. サービスレベルの改善と運用市場リリース後は、監視自体はSREが主体的に行ってます。また定期的に開発者と数値を眺める場の設計において工夫ポイントがありますリリース前リリース後 ● 😨QAには力入れてるけど、ユーザ相当の利用環境はまた別なんだよね・・・ ○ 💡社員や自社オフィスにTestﬂightなどで、リリース予定バージョンを配布し、成功率をモニタリングしている ○ 💡その際、物理的な環境（ドアの材質など）が成功率に影響を与えるので、比較する際は検証対象のスマートロックやメンバを適切に選定する必要がある ↑ SLO本に統計学の章があるのも納得！ ● 😨SREで頑張ってダッシュボード作ったけど、開発者が見てくれないんだよね・・・ ○ プロダクトのフェーズによっては、あると思います（弊社も数年前は...） ○ 💡モニタリングはSREが積極的に行い、開発者にディスパッチしていく ○ 💡 週次や隔週で数値を見る会を実施 ■ 😨これもなんとなくファシリしづらい時があります,,, ■ 💡 SLI/SLO以外のSREに関連する話も相談し合う時間にし、参加者のメリットを増やすようにアレンジしました ● 例：インフラ構成どうしたらいいだろう？

Slide 50

Slide 50 text

Slide 51

Slide 51 text

Slide 52

Slide 52 text

52 Copyright © 2024 Bitkey Inc. All right reserved. 6. サービスレベルの改善と運用 SLIをデータとして捉え、CSやHardwareチームへの提供したりなど、広い用途で活用しています to Hardware to Customer Support ● 😨市場でどのくらいの品質を維持できているのだろうか？ ○ 💡提供しちゃいましょう ○ 💡その際、彼らの品質保証の際の条件と我々の計測条件の違いを明確にするため、フロー図と合わせて提供すると良いと思います ○ 実際部品などが変わった際（製品自体や製造ロット）、SLIが大幅に改善したことがあります

Slide 53

Slide 53 text

53 Copyright © 2024 Bitkey Inc. All right reserved. 6. サービスレベルの改善と運用 SLIをデータとして捉え、CSやHardwareチームへの提供したりなど、広い用途で活用しています to Hardware to Customer Support ● 😨市場でどのくらいの品質を維持できているのだろうか？ ○ 💡提供しちゃいましょう ○ 💡その際、彼らの品質保証の際の条件と我々の計測条件の違いを明確にするため、フロー図と合わせて提供すると良いと思います ○ 実際部品などが変わった際（製品自体や製造ロット）、SLIが大幅に改善したことがあります ● 😨顧客の言う「カギが開かない・反応が遅い」の内容は様々なのでヒアリングに時間がかかるんだよね・・・

Slide 54

Slide 54 text

54 Copyright © 2024 Bitkey Inc. All right reserved. 6. サービスレベルの改善と運用 SLIをデータとして捉え、CSやHardwareチームへの提供したりなど、広い用途で活用しています to Hardware to Customer Support ● 😨市場でどのくらいの品質を維持できているのだろうか？ ○ 💡提供しちゃいましょう ○ 💡その際、彼らの品質保証の際の条件と我々の計測条件の違いを明確にするため、フロー図と合わせて提供すると良いと思います ○ 実際部品などが変わった際（製品自体や製造ロット）、SLIが大幅に改善したことがあります ● 😨顧客の言う「カギが開かない・反応が遅い」の内容は様々なのでヒアリングに時間がかかるんだよね・・・ ● 😨問い合わせが来る前に、困っている顧客、うまく使えていない顧客を把握しサポートしたいんだよね・・・

Slide 55

Slide 55 text

55 Copyright © 2024 Bitkey Inc. All right reserved. 6. サービスレベルの改善と運用 SLIをデータとして捉え、CSやHardwareチームへの提供したりなど、広い用途で活用しています to Hardware to Customer Support ● 😨市場でどのくらいの品質を維持できているのだろうか？ ○ 💡提供しちゃいましょう ○ 💡その際、彼らの品質保証の際の条件と我々の計測条件の違いを明確にするため、フロー図と合わせて提供すると良いと思います ○ 実際部品などが変わった際（製品自体や製造ロット）、SLIが大幅に改善したことがあります ● 😨顧客の言う「カギが開かない・反応が遅い」の内容は様々なのでヒアリングに時間がかかるんだよね・・・ ● 😨問い合わせが来る前に、困っている顧客、うまく使えていない顧客を把握しサポートしたいんだよね・・・ ○ 💡社内システムやダッシュボードから顧客ごとのSLIを参照できるようにしてます

Slide 56

Slide 56 text

Slide 57

Slide 57 text

Slide 58

Slide 58 text

58 Copyright © 2024 Bitkey Inc. All right reserved. 7. まとめと今後の展望 😨やはりSoftwareの監視とは一味違う部分もある現実世界や物理環境の状況を定義の中で考慮し、計測ロジックに落とし込むところ ※といいつつも、結局リクエストに対する成功失敗やレイテンシで表現できるって点では変わらない側面もあるが 💡そのなかでデータエンジニア・アナリストの得意なアプローチを取ることが有用 BigQueryを活用する。統計学のアプローチを改善に活かすまとめ

Slide 59

Slide 59 text

59 Copyright © 2024 Bitkey Inc. All right reserved. “SLOは単なるデータである” * オライリー・ジャパン「SLO サービスレベル目標」の P15 より参照ちなみにSRE本にもこんな記載がある。（だいぶ曲解するが）IoTのような文脈では、サービスレベルを様々な形で計測・活用することが必要だと思いました（今回は”データ”にフォーカスしたが、品証の文化とかも取り入れたら良さそう） 7. まとめと今後の展望

Slide 60

Slide 60 text

Slide 61

Slide 61 text

61 Copyright © 2024 Bitkey Inc. All right reserved. わたしたちは、ともに働く仲間を募集しております！職種の一例としては... 1. SRE 2. Software Engineer（WEB、モバイル） 3. PdM 4. UI/UXデザイナー 5. EM … など、様々なポジションで募集中です！ご興味があれば右のQRコードまたは、 X(Twitter):@i_am_miko__ までご連絡ください！ We Are Hiring ! 7. まとめと今後の展望