SLI/SLO をストリームアラインドチームに導入した話

SLI/SLO をストリームアラインドチームに導入した話 2023-03-09

スピーカー紹介 2022 年 6 月 Ubie株式会社 Ubie Discovery 入社。プロダクト開発エンジニアとして病院・クリニック向けのプロダクト
「ユビー AI 問診」の開発・運用や、 Ubie のシステムアーキテクチャを生産性の面から改善していく業務に携わっている。 Twitter: @tsukasa_oishi GitHub: @tsukasaoishi おおいしつかさ Ubie株式会社

テクノロジーで人々を適切な医療に案内する

なぜストリームアラインドチームに SLO が必要になったか？何を計測するべきか、クリティカルユーザージャーニーから導き出す SLI と
SLO を決めるどのようにして SLI を計測し、可視化したか 01 03 02 04

なぜストリームアラインドチームに SLO が必要になったか？ 01

変更容易性の低下責務がわかりにくい個人による活動の限界

ストリームアラインドチームの誕生

Place Image Here 運用タスクの増加

SLI/SLO

なにを計測するべきかクリティカルユーザージャーニーから導き出す 02

SLI をどう決めたらいいんだろう？

ユーザージャーニー全体の時間や完走率を計測したが失敗した • ユーザージャーニー全体の時間は、ユーザーによってばらつきが大きく、 SLO を決定しにくい
• 完走率も時間帯によってばらつきが大きい • 完走率が低い = 信頼性が低下しているとは言えない

ユーザーが価値を得るための一連の体験の中で、もっとも重要なアクションを SLI にする

SLI と SLO を決める 03

ユーザーに提供している価値が毀損していることを、何をもって表せるか？

そのアクションによる結果が正しい挙動で稼働し続けていること。これが保てなければ価値を提供できていることにはならない。そのアクションによる結果が想定の範囲内の時間で価値を提供できていること。正しい挙動で稼働し続けられても、時間がかかっていたら意味がない。 SLI 可用性
レイテンシ

サービス A サービス B サービス C サービス D サービス E
サービス F どこで計測するのか

クライアントサイドでのレンダリングの計測を検討したが採用しなかった • ユーザーの価値を毀損しているかどうかの要因となるのは、レンダリングよりも API
コールだった • レイテンシの大部分は API コールが占める • API コールの成否が可用性に大きく影響する

サービス A サービス B サービス C サービス D サービス E
サービス F どこで計測するのか

SLO を決める

サービス全体を見ている PO なども交えて議論

まずは緩めの値で開始し、運用しながら適正な値に近づけていくことに

どのようにして SLI を計測し、可視化したか 04

ログ受付 prometheus exporter Pub/Sub Monitoring grafana BigQuery

ログ受付 prometheus exporter Pub/Sub Monitoring grafana BigQuery API コールを計測。ある程度バッファリング
してから送信

ログ受付 prometheus exporter Pub/Sub Monitoring grafana BigQuery Go で実装した prometheus
exporter

ログ受付 prometheus exporter Pub/Sub Monitoring grafana BigQuery PodMonitoring リソースを定義しておくことで
GMP がメトリクスを取りに来てくれる

Google Cloud Managed Service for Prometheus（GMP）は terraform で設定している Terraform
resource “google_monitoring_slo” “ubie_a_team_latency” { service = google_monitoring_cs.ubie_a_team.service_id project = local.project_id display_name = “monthly ubie a team latency p95 < ??ms” slo_id = “ubie-a-team-latency” goal = 0.95 calendar_period = “MONTH” request_based_cli { distribution_cut { Distribution_filter = “metrics.type=...” range { min = 0 max = ?? } } } }

Grafanaで可視化

まとめ

開発と運用のリソース配分のひとつの指標として SLI/SLO を利用しました。 SLI をどうやって決めるのか、悩んでいるところも多いと思うので参考にしていただけたら幸いです。

Thank you. Proprietary + Confidential

SLI/SLO をストリームアラインドチームに導入した話

SLI/SLO をストリームアラインドチームに導入した話

Tsukasa OISHI

More Decks by Tsukasa OISHI

Other Decks in Technology

Featured

Transcript