オフィスビルを監視しよう：フィジカル×デジタルにまたがるSLI/SLO設計と運用の難しさ / Monitoring Office Buildings: The Challenge of Physical-Digital SLI/SLO Design & Operation

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

19 Copyright © 2025 Bitkey Inc. All right reserved. ビットキーにデータアナリストとしてジョイン。入社初年度から、プロダクト品質の可視化を担当。この時、サービスレベルというプラクティスと出会う自己紹介三河内拓也 Takuya Mikouchi 2017 2020 データコンサル企業でデータアナリストとしてのキャリアをスタート。様々な業界のデータ活用プロジェクトに従事 2025 現在もSREチームと共にサービスレベルの計測と運用を推進

Slide 20

Slide 20 text

20 Copyright © 2025 Bitkey Inc. All right reserved. Outline 1. ビルモニタリングにおいて定義したSLI 2. ビルモニタリングで得られた5つのTips 1. CUJ(Critical User Journey)は普遍である 2. モノも含めたSLI設計の難しさ：前提となる「モノ」の監視は見落としがち 3. DatadogでのID単位のSLO監視は、SLOベースのMonitorではなくMetricベースのMonitorで実現 4. 「SLOを毀損したら、初手SREまたは開発チームが動く」は本当に正解か？ 5. CS（いわゆる顧客対応チームのこと）を巻き込んだSLO運用のポイント 3. まとめ

Slide 21

Slide 21 text

Slide 22

Slide 22 text

No content

Slide 23

Slide 23 text

23 Copyright © 2025 Bitkey Inc. All right reserved. プロダクトはhomehubとworkhubの２つ。本日お話しするworkhubは、働く空間にまつわる体験のDXを実現 1. ビルモニタリングにおいて定義したSLI フレキシブルオフィスオフィステナントテンポラリーユースビル(オーナー) ワーカー不動産管理会社マンションオーナー管理組合デベロッパー居住者暮らしサービスデリバリー会社対象カスタマー/ユーザー 

Slide 24

Slide 24 text

24 Copyright © 2025 Bitkey Inc. All right reserved. workhubの機能群 1. ビルモニタリングにおいて定義したSLI 共通会員向け検索予約契約‧会員管理決済エンジン請求‧⼊⾦管理スマートロック受付顔認証スマートロッカー混雑判定スマートロック受付顔認証制御盤連携会議室予約位置検知スマートロッカー混雑判定 BACNet連携座席予約稼働率レポートマルチテナントエレベータービル総合受付会員向け検索予約契約‧会員管理決済エンジン請求‧⼊⾦管理スマートロック受付顔認証制御盤連携会議室予約位置検知スマートロッカー混雑判定 BACNet連携座席予約稼働率レポートマルチテナントエレベータービル総合受付個室ブース運営パブリックアカウント地図で検索⽬的で検索正式提供開始フレキシブルオフィスオフィステナントテンポラリーユースビル(オーナー) さらなる拡張さらなる拡張

Slide 25

Slide 25 text

25 Copyright © 2025 Bitkey Inc. All right reserved. ビルに導入する場合によく提供している機能 1. ビルモニタリングにおいて定義したSLI 共通会員向け検索予約契約‧会員管理決済エンジン請求‧⼊⾦管理スマートロック受付顔認証スマートロッカー混雑判定スマートロック受付顔認証制御盤連携会議室予約位置検知スマートロッカー混雑判定 BACNet連携座席予約稼働率レポートマルチテナントエレベータービル総合受付会員向け検索予約契約‧会員管理決済エンジン請求‧⼊⾦管理スマートロック受付顔認証制御盤連携会議室予約位置検知スマートロッカー混雑判定 BACNet連携座席予約稼働率レポートマルチテナントエレベータービル総合受付個室ブース運営パブリックアカウント地図で検索⽬的で検索正式提供開始フレキシブルオフィスオフィステナントテンポラリーユースビル(オーナー) さらなる拡張さらなる拡張

Slide 26

Slide 26 text

Slide 27

Slide 27 text

27 Copyright © 2025 Bitkey Inc. All right reserved. 選定した体験フローをベースに、顔認証成功率/QR認証成功率の2つのSLIを定義 1. ビルモニタリングにおいて定義したSLI 顔認証成功率認証後、カギまたは扉が開いた回数／認証端末に顔をかざした回数 QR認証成功率認証後、カギまたは扉が開いた回数／認証端末にQRをかざした回数 ※補足：出入りの体験の気持ちよさとして、認証→ 解施錠にかかった時間もSLIとして計測してます。が、単純化のため本発表では割愛しています「テナント専有部」への出入りフラッパーゲートなど「ビルエントランス」の出入り業務開始

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

30 Copyright © 2025 Bitkey Inc. All right reserved. 本題に行く前に、、、このTipsで伝えたいこと 2. ビルモニタリングで得られた5つのTips 【To SREの皆さん】サービス特性に応じてSLI/SLOの設計や運用はチューニングの余地があるのでは？【To フィジカル×デジタルなサービスに従事するSREの皆さん】難しさはあるが、工夫次第でSLI/SLOの運用は可能

Slide 31

Slide 31 text

Slide 32

Slide 32 text

32 Copyright © 2025 Bitkey Inc. All right reserved. ビルモニタリングの課題：多様な機能が内包され、どの機能も重要かつ監視しがいがあり、監視指標の選定が難しい 1. CUJ(Critical User Journey)は普遍である共通会員向け検索予約契約‧会員管理決済エンジン請求‧⼊⾦管理スマートロック受付顔認証スマートロッカー混雑判定スマートロック受付顔認証制御盤連携会議室予約位置検知スマートロッカー混雑判定 BACNet連携座席予約稼働率レポートマルチテナントエレベータービル総合受付会員向け検索予約契約‧会員管理決済エンジン請求‧⼊⾦管理スマートロック受付顔認証制御盤連携会議室予約位置検知スマートロッカー混雑判定 BACNet連携座席予約稼働率レポートマルチテナントエレベータービル総合受付個室ブース運営パブリックアカウント地図で検索⽬的で検索正式提供開始フレキシブルオフィスオフィステナントテンポラリーユースビル(オーナー) さらなる拡張さらなる拡張

Slide 33

Slide 33 text

33 Copyright © 2025 Bitkey Inc. All right reserved. 解決策：CUJ(Critical User Journey)を整理すること。開発者視点では監視すべき体験の目線合わせがができる。そして、それは自然とユーザのコア体験の信頼性の定義となるというメリットを持つ 1. CUJ(Critical User Journey)は普遍である「テナント専有部」への出入りフラッパーゲートなど「ビルエントランス」の出入り業務開始

Slide 34

Slide 34 text

34 Copyright © 2025 Bitkey Inc. All right reserved. ユーザー⇔システムの詳細なフロー図を整理することで、フィジカル特有の誤動作や例外を洗い出し、より堅牢なSLIの定義やログ設計が可能になる 1. CUJ(Critical User Journey)は普遍であるログ設計・実装→計測へユーザの目的は達成できてないが、あえて成功にしたい動作もリストアップ詳細フロー ※登壇用に簡略化しています誤動作や例外を考慮したより堅牢なSLIの算出式

Slide 35

Slide 35 text

35 Copyright © 2025 Bitkey Inc. All right reserved. Tips1のまとめ 1. CUJ(Critical User Journey)は普遍である CUJを整理することで、目線の揃った監視指標を定義できるこれは”フィジカル”と”デジタル”にまたがるサービスにおいても普遍更に詳細な体験と処理のフローを整理することで、より堅牢なSLIを定義できる ”デジタル”だけで完結するサービスでも、多様な機能を内包していたり、外部システムとの連携が絡むなど、複雑性の高いシステムの場合などでは有用

Slide 36

Slide 36 text

Slide 37

Slide 37 text

37 Copyright © 2025 Bitkey Inc. All right reserved. 今回定義したCUJとSLI（再掲） 2. モノも含めたSLI設計の難しさ：前提となる「モノ」の監視は見落としがち顔認証成功率認証後、カギまたは扉が開いた回数／認証端末に顔をかざした回数 QR認証成功率認証後、カギまたは扉が開いた回数／認証端末にQRをかざした回数「テナント専有部」への出入りフラッパーゲートなど「ビルエントランス」の出入り業務開始

Slide 38

Slide 38 text

Slide 39

Slide 39 text

Slide 40

Slide 40 text

40 Copyright © 2025 Bitkey Inc. All right reserved. 弊社では、物理デバイスの死活監視、物理デバイス間の連携に関するSLIを定めて監視している死活監視 SLI：ビル制御システムとの疎通率 2. モノも含めたSLI設計の難しさ：前提となる「モノ」の監視は見落としがち iPadの電源が落ちているアプリが落ちているビル制御システムと疎通できてないためメンテナンスモードに

Slide 41

Slide 41 text

Slide 42

Slide 42 text

42 Copyright © 2025 Bitkey Inc. All right reserved. Tips2のまとめ “フィジカル”がまたがるサービスにおいては、モノが動いているか？といった、体験の前提となる状況が満たされているかも、サービスレベルを定義できると良い上記は体験のサービスレベルとは分けて定義・計測するとシンプル 2. モノも含めたSLI設計の難しさ：前提となる「モノ」の監視は見落としがち

Slide 43

Slide 43 text

Slide 44

Slide 44 text

44 Copyright © 2025 Bitkey Inc. All right reserved. 前提：弊社が利用しているDatadogにはSLOsというサービスが存在しており、SLI/SLOの設定と Monitor(アラート)設定を行うことができる 3. DatadogでのID単位のSLO監視は、SLOベースのMonitorではなくMetricベースのMonitorで実現 Datadog公式ドキュメントより

Slide 45

Slide 45 text

Slide 46

Slide 46 text

Slide 47

Slide 47 text

47 Copyright © 2025 Bitkey Inc. All right reserved. 前提：ビルモニタリングの特性 3. DatadogでのID単位のSLO監視は、SLOベースのMonitorではなくMetricベースのMonitorで実現機能単位やシステム全体でSLIが下がることは稀 ↓ ビルや出入り口の単位で成功率が下がったり、元々低かったりする傾向がある SLIの低下要因ビルモニタリングの特性

Slide 48

Slide 48 text

48 Copyright © 2025 Bitkey Inc. All right reserved. 前提：ビルモニタリングの特性 3. DatadogでのID単位のSLO監視は、SLOベースのMonitorではなくMetricベースのMonitorで実現機能単位やシステム全体でSLIが下がることは稀 ↓ ビルや出入り口の単位で成功率が下がったり、元々低かったりする傾向がある ↓ ビルという単位でSLOを割った際にアラートを設定したい SLIの低下要因ビルモニタリングの特性

Slide 49

Slide 49 text

49 Copyright © 2025 Bitkey Inc. All right reserved. SLOsの導線で設定したMonitorでは、指標全体の監視はできるが、ID単位(Group単位)のアラート通知が設定できなかった（2025 H1時点登壇者調べ） 3. DatadogでのID単位のSLO監視は、SLOベースのMonitorではなくMetricベースのMonitorで実現 Datadog公式ドキュメントより

Slide 50

Slide 50 text

50 Copyright © 2025 Bitkey Inc. All right reserved. MetricベースのMonitorを採用し、ビルID単位でのSLO監視を実現し対処 3. DatadogでのID単位のSLO監視は、SLOベースのMonitorではなくMetricベースのMonitorで実現 Monitors > New Monitor > Metricを選択 Aggregation > Multi Alert設定をすることでID(Group) 単位でのアラート設定が可能

Slide 51

Slide 51 text

51 Copyright © 2025 Bitkey Inc. All right reserved. ハマりポイント：7日間レンジのSLIを計測した際に、Metricの計測タイミングの仕様？に影響されて、意図した計算結果に中々ならなかった... 3. DatadogでのID単位のSLO監視は、SLOベースのMonitorではなくMetricベースのMonitorで実現 - Monitorを用いた代替運用の紹介：moving_rollback, with lookback, Evaluation Details などの設定今回は試行錯誤の結果、moving_rollup関数を設定 / 過去10分間の平均値で評価 / 「as rate」を採用し計測を安定化

Slide 52

Slide 52 text

52 Copyright © 2025 Bitkey Inc. All right reserved. Tips3のまとめ 3. DatadogでのID単位のSLO監視は、SLOベースのMonitorではなくMetricベースのMonitorで実現 ID単位でSLOを監視したい場合は、MetricベースのMonitorを使おう（SLOsベースでもできるようにしてほしいけど・・・） Datadog Monitorの仕組みを理解して意図通りの計測するとより堅牢なSLIになる

Slide 53

Slide 53 text

Slide 54

Slide 54 text

Slide 55

Slide 55 text

Slide 56

Slide 56 text

56 Copyright © 2025 Bitkey Inc. All right reserved. ビルモニタリングの特性（運用編） 4. 「SLOを毀損したら、初手SREまたは開発チームが動く」は本当に正解か？ ①どのトビラでSLIが下がっているか把握し、使われ方や設置環境を思い出す ↓ ②現地環境を直接確認 or お客様に確認後、改善アクションを実施認証成功率の低下要因 SLIが下がったときの調査

Slide 57

Slide 57 text

57 Copyright © 2025 Bitkey Inc. All right reserved. ビルモニタリングの特性（運用編） 4. 「SLOを毀損したら、初手SREまたは開発チームが動く」は本当に正解か？ ①どのトビラでSLIが下がっているか把握し、使われ方や設置環境を思い出す ↓ ②現地環境を直接確認 or お客様に確認後、改善アクションを実施 🗣 調査者「現地行って電波強度を測定してきます！」 ※もちろん施工時に検査するが、それでも調整が入ることがある 🗣 調査者「実は計画停電だったので問題ないやつでした」 🗣 調査者「なんかQRコードがずっと映り込んでたりしませんか？」 ※流石にログを改善したので今は失敗扱いされないが、過去何度かあったケース認証成功率の低下要因 SLIが下がったときの調査

Slide 58

Slide 58 text

58 Copyright © 2025 Bitkey Inc. All right reserved. ビルモニタリングの特性（運用編） 4. 「SLOを毀損したら、初手SREまたは開発チームが動く」は本当に正解か？認証成功率の低下要因 SLIが下がったときの調査初手の調査内容はフィジカル側に寄る ①どのトビラでSLIが下がっているか把握し、使われ方や設置環境を思い出す ↓ ②現地環境を直接確認 or お客様に確認後、改善アクションを実施 🗣 調査者「現地行って電波強度を測定してきます！」 ※もちろん施工時に検査するが、それでも調整が入ることがある 🗣 調査者「実は計画停電だったので問題ないやつでした」 🗣 調査者「なんかQRコードがずっと映り込んでたりしませんか？」 ※流石にログを改善したので今は失敗扱いされないが、過去何度かあったケース

Slide 59

Slide 59 text

59 Copyright © 2025 Bitkey Inc. All right reserved. ビルモニタリングの特性（運用編） 4. 「SLOを毀損したら、初手SREまたは開発チームが動く」は本当に正解か？認証成功率の低下要因これらは初手開発者が調査するのが効率的だろうか？ ①どのトビラでSLIが下がっているか把握し、使われ方や設置環境を思い出す ↓ ②現地環境を直接確認 or お客様に確認後、改善アクションを実施 🗣 調査者「現地行って電波強度を測定してきます！」 ※もちろん施工時に検査するが、それでも調整が入ることがある 🗣 調査者「実は計画停電だったので問題ないやつでした」 🗣 調査者「なんかQRコードがずっと映り込んでたりしませんか？」 ※流石にログを改善したので今は失敗扱いされないが、過去何度かあったケース SLIが下がったときの調査

Slide 60

Slide 60 text

60 Copyright © 2025 Bitkey Inc. All right reserved. ビルモニタリングの特性（運用編） 4. 「SLOを毀損したら、初手SREまたは開発チームが動く」は本当に正解か？認証成功率の低下要因 SLIが下がったときの調査 NOですよね ①どのトビラでSLIが下がっているか把握し、使われ方や設置環境を思い出す ↓ ②現地環境を直接確認 or お客様に確認後、改善アクションを実施 🗣 調査者「現地行って電波強度を測定してきます！」 ※もちろん施工時に検査するが、それでも調整が入ることがある 🗣 調査者「実は計画停電だったので問題ないやつでした」 🗣 調査者「なんかQRコードがずっと映り込んでたりしませんか？」 ※流石にログを改善したので今は失敗扱いされないが、過去何度かあったケース

Slide 61

Slide 61 text

Slide 62

Slide 62 text

62 Copyright © 2025 Bitkey Inc. All right reserved. Tips4のまとめ 4. 「SLOを毀損したら、初手SREまたは開発チームが動く」は本当に正解か？ ※補足①：一方でObservabilityの向上やドメイン知識獲得のための工夫を突き詰めるという方向性もアリだと思う ※補足②：もちろんビットキーにも、APIのエラー率など開発者やSREが主導して対応するSLOも多々あるビルモニタリングの例のように、サービスやプロダクトの特性によっては、初手の調査対応の適任者が開発者やSREではないケースがありそうそういった場合、柔軟にSLOの運用フローを再構築するのも選択肢として取りうる

Slide 63

Slide 63 text

Slide 64

Slide 64 text

Slide 65

Slide 65 text

Slide 66

Slide 66 text

Slide 67

Slide 67 text

Slide 68

Slide 68 text

Slide 69

Slide 69 text

69 Copyright © 2025 Bitkey Inc. All right reserved. 工夫ポイント③：ダッシュボードでは、見る人の認知負荷を考慮しSummary > Transition > Detailというレイアウトを意識 5. CSを巻き込んだSLO運用のポイント Summary （ぱっと見たい情報） Title Filter Transition （時系列の分析軸） Detail （その他の分析軸）構成ビルモニタリングダッシュボード（イメージ） ※Datadogはカードに時系列グラフを重ねられるので、それで表現ログ一覧や補足的な時系列情報を可視化

Slide 70

Slide 70 text

70 Copyright © 2025 Bitkey Inc. All right reserved. Tips5のまとめ 5. CSを巻き込んだSLO運用のポイント運用の定着には、その主体となる人の既存の業務フローに寄り添うことが肝要 (Waroom × Slackを中心としたアーキテクチャ) 開発者が慣れているツールを運用に使う場合、どう使ってほしいかをガイドしてあげることが定着を助ける (Waroom Runbook機能、Datadogダッシュボードの統一的なレイアウト)

Slide 71

Slide 71 text

Slide 72

Slide 72 text

72 Copyright © 2025 Bitkey Inc. All right reserved. 1 CUJは普遍か？ CUJはフィジカル領域が絡むサービスでも有用でした。特に複雑なサービスにおいては普遍と思われます 2 SLIは体験の計測のみで十分か？フィジカル領域が絡むサービスの場合、必要に応じて前提となる「モノ」や「状態」も監視しましょう 3 DatadogでのSLOの監視はDatadog SLOsを用いればよいか？現状はビル単位のようなID単位でアラートを通知したい場合は、Datadog Monitorを使う必要があります 4 「SLOを毀損したら、初手SREまたは開発チームが動く」は本当に正解か？サービスの特性に応じて、柔軟にSLO運用フローを構築するのも選択肢として取りうるのではと考えてます 5 SLO運用が定着するには？最後に次のスライド以降で語ろうと思います... Conclusion