SLI/SLO をストリーム アラインドチームに導入した話

1. SLI/SLO をストリーム アラインドチー ムに導入した話 2023-03-09
2. スピーカー紹介 2022 年 6 月 Ubie株式会社 Ubie Discovery 入社。 プロダクト開発エンジニアとして病院・クリニック向けのプロダクト 「ユビー AI 問診」の開発・運用や、 Ubie のシステムアーキテク チャを生産性の面から改善していく業務に携わっている。 Twitter: @tsukasa_oishi GitHub: @tsukasaoishi おおいしつかさ Ubie株式会社
3. テクノロジーで人々を適切な医療に案内する
4. なぜストリーム アラインドチームに SLO が必要になっ たか？ 何を計測するべきか、クリティカル ユーザージャーニー から導き出す SLI と SLO を決める どのようにして SLI を計測し、可視化したか 01 03 02 04
5. なぜストリーム アラインドチー ムに SLO が必要に なったか？ 01
8. 変更容易性の低下 責務がわかりにくい 個人による活動の限界
9. ストリーム アラインドチームの誕生
10. Place Image Here 運用タスクの増加
11. SLI/SLO
12. なにを計測するべきか クリティカル ユーザージャー ニーから導き出す 02
13. SLI をどう決めたらいいんだろう？
15. ユーザー ジャーニー全体 の時間や完走率を計測し たが失敗した • ユーザー ジャーニー全体の時間は、ユーザーによっ てばらつきが大きく、 SLO を決定しにくい • 完走率も時間帯によってばらつきが大きい • 完走率が低い = 信頼性が低下しているとは言えない
16. ユーザーが価値を得るための 一連の体験の中で、もっとも重 要なアクションを SLI にする
17. SLI と SLO を決める 03
18. ユーザーに提供している価値が毀損していること を、何をもって表せるか？
19. そのアクションによる結果が正しい挙動で稼働 し続けていること。 これが保てなければ価値を提供できているこ とにはならない。 そのアクションによる結果が想定の範囲内の 時間で価値を提供できていること。 正しい挙動で稼働し続けられても、時間がか かっていたら意味がない。 SLI 可用性 レイテンシ
20. サービス A サービス B サービス C サービス D サービス E サービス F どこで計測するのか
21. サービス A サービス B サービス C サービス D サービス E サービス F どこで計測するのか
22. サービス A サービス B サービス C サービス D サービス E サービス F どこで計測するのか
23. クライアント サイドでの レンダリングの 計測を 検討したが採用しなかっ た • ユーザーの価値を毀損しているかどうかの要因となる のは、レンダリングよりも API コールだった • レイテンシの大部分は API コールが占める • API コールの成否が可用性に大きく影響する
24. サービス A サービス B サービス C サービス D サービス E サービス F どこで計測するのか
25. SLO を決める
26. サービス全体を見ている PO なども交えて議論
27. まずは緩めの値で開始し、運用しながら適正 な値に近づけていくことに
28. どのようにして SLI を 計測し、可視化したか 04
29. ログ受付 prometheus exporter Pub/Sub Monitoring grafana BigQuery
30. ログ受付 prometheus exporter Pub/Sub Monitoring grafana BigQuery API コールを計測。 ある程度バッファリング してから送信
31. ログ受付 prometheus exporter Pub/Sub Monitoring grafana BigQuery Go で実装した prometheus exporter
32. ログ受付 prometheus exporter Pub/Sub Monitoring grafana BigQuery PodMonitoring リソースを定義 しておくことで GMP がメトリクス を取りに来てくれる
33. Google Cloud Managed Service for Prometheus（GMP）は terraform で設 定している Terraform resource “google_monitoring_slo” “ubie_a_team_latency” { service = google_monitoring_cs.ubie_a_team.service_id project = local.project_id display_name = “monthly ubie a team latency p95 < ??ms” slo_id = “ubie-a-team-latency” goal = 0.95 calendar_period = “MONTH” request_based_cli { distribution_cut { Distribution_filter = “metrics.type=...” range { min = 0 max = ?? } } } }
34. Grafanaで可視化
35. まとめ
36. 開発と運用のリソース配分のひとつの指標と して SLI/SLO を利用しました。 SLI をどうやって決めるのか、悩んでいるとこ ろも多いと思うので参考にしていただけたら幸 いです。
37. Thank you. Proprietary + Confidential