大量配信システムにおけるSLOの実践:「見えない」信頼性をSLOで可視化

SRE NEXT 2025( https://sre-next.dev/2025/ )講演資料

7/12 14:10 - 14:20
https://sre-next.dev/2025/schedule/#slot084

Transcript

1. 　　｜　　© PLAID Inc. 2025.07.12　　｜　　SRE NEXT　　｜　 1 大量配信システムにおける SLOの実践: 「見えない」信頼性を SLOで可視化 株式会社プレイド ⼟⾕ 優五
2. 2025.07.12　　｜　　SRE NEXT　　｜　 　　｜　　© PLAID Inc. • 2020~2023 Unipos株式会社 • バックエンドエンジニア • SRE • テックリード • 2023~ 株式会社プレイド • KARTE Message テックリード 2 ⾃⼰紹介 Yugo Tsuchiya ⼟⾕ 優五 Github : @gal1996 X: @prooooograming 2025.07.12　　｜　　SRE Next　　｜　
3. 2025.07.12　　｜　　SRE NEXT　　｜　 　　｜　　© PLAID Inc. KARTE Messageについて
4. 2025.07.12　　｜　　SRE NEXT　　｜　 　　｜　　© PLAID Inc. 本日のゴール 4 本⽇のゴール ⽉間10億通を超える⼤規模配信 において1通1通の配信結果を どのようにSLOに落とし込み 運⽤‧改善していったのか
5. 2025.07.12　　｜　　SRE NEXT　　｜　 　　｜　　© PLAID Inc. 本日のテーマ 5 アジェンダ 1. 配信システムの全体像 2. SLI/SLO 3. 運⽤の課題と改善 話すこと
6. 2025.07.12　　｜　　SRE NEXT　　｜　 　　｜　　© PLAID Inc. 本日のテーマ 6 アジェンダ 1. 配信システムの全体像 2. SLI/SLO 3. 運⽤の課題と改善 話すこと
7. 2025.07.12　　｜　　SRE NEXT　　｜　 　　｜　　© PLAID Inc. 配信の最小単位 7 KARTE Messageにおける配信の単位 • キャンペーン ◦ 配信の単位。誰に‧何を‧いつ配信するのかを設定する ◦ 1キャンペーンの配信で⼤量の配信対象へ配信がされる
8. 2025.07.12　　｜　　SRE NEXT　　｜　 　　｜　　© PLAID Inc. 8 配信処理の流れ 配信準備 Cloud Spanner BigQuery Kubernetes Engine 送信処理 Kubernetes Engine Cloud Spanner 配信完了 エンドユーザー メール送信処理 SES プッシュ通知、LINE メール
9. 2025.07.12　　｜　　SRE NEXT　　｜　 　　｜　　© PLAID Inc. 9 配信処理の流れ 配信準備 Cloud Spanner BigQuery Kubernetes Engine 送信処理 Kubernetes Engine Cloud Spanner 配信完了 エンドユーザー メール送信処理 SES プッシュ通知、LINE メール
10. 2025.07.12　　｜　　SRE NEXT　　｜　 　　｜　　© PLAID Inc. 10 配信準備 配信対象の決定 client-data BigQuery user_id email name 000001 user000001@example.com Tony 000002 user000002@example.com Nick … … 005000 user005000@example.com Peter … … 100000 user100000@example.com Steve 配信対象リスト user_id email 000001 user000001@example.com … … 100000 user005000@example.com user_id name 000001 Tony … … 100000 Steve 配信リスト 配信対象 決定クエリ
11. 2025.07.12　　｜　　SRE NEXT　　｜　 　　｜　　© PLAID Inc. 11 配信準備 配信対象のキューイング client-data BigQuery 配信データ Cloud Spanner 000001 user0001@example.com … … 000500 user000500@example.com 099500 user99500@example.com … … 100000 user100000@example.com … 配信対象リスト 配信queue user_id email name 000001 user000001@example.com Tony 000002 user000002@example.com Nick … … 005000 user005000@example.com Peter … … 100000 user100000@example.com Steve
12. 2025.07.12　　｜　　SRE NEXT　　｜　 　　｜　　© PLAID Inc. 12 配信処理の流れ 配信準備 Cloud Spanner BigQuery Kubernetes Engine 送信処理 Kubernetes Engine Cloud Spanner 配信完了 エンドユーザー メール送信処理 SES プッシュ通知、LINE メール
13. 2025.07.12　　｜　　SRE NEXT　　｜　 　　｜　　© PLAID Inc. 13 送信処理 詳細 配信データ Cloud Spanner 配信基盤 Kubernetes Engine … MessagingService 000001 user0001@exmaple.com … … 000500 user000500@example.com 099500 user99500@exmaple.com … … 100000 user100000@example.com …
14. 2025.07.12　　｜　　SRE NEXT　　｜　 　　｜　　© PLAID Inc. 14 配信処理の流れ 配信準備 Cloud Spanner BigQuery Kubernetes Engine 送信処理 Kubernetes Engine Cloud Spanner 配信完了 エンドユーザー メール送信処理 SES プッシュ通知、LINE メール
15. 2025.07.12　　｜　　SRE NEXT　　｜　 　　｜　　© PLAID Inc. 15 メール送信処理 詳細 MessagingService EndUser … SMTP
16. 2025.07.12　　｜　　SRE NEXT　　｜　 　　｜　　© PLAID Inc. 16 配信システムを 俯瞰して見る 配信準備 送信処理 配信完了 エンドユーザー メール送信処理 プッシュ通知、LINE メール Name Compute Engine キャンペーン Name Compute Engine キャンペーン Name Compute Engine キャンペーン
17. 2025.07.12　　｜　　SRE NEXT　　｜　 　　｜　　© PLAID Inc. 本日のテーマ 17 アジェンダ 1. 配信システムの全体像 2. SLI/SLO 3. 運⽤の課題と改善 話すこと
18. 2025.07.12　　｜　　SRE NEXT　　｜　 　　｜　　© PLAID Inc. クライアントの期待 18 クライアントのKARTE Messageに対する期待 • 想定したタイミングで配信が 開始‧完了する • ⾼い確率でメッセージが届く • 意図した対象に意図した 内容が届く • etc
19. 2025.07.12　　｜　　SRE NEXT　　｜　 　　｜　　© PLAID Inc. SLO設定前の課題 19 SLO設定前の課題 クライアントは1通1通の配信に対し て、配信時間や配信の成功の期待値 を持っているが、その期待値を正確 に数値に落とせていない
20. 2025.07.12　　｜　　SRE NEXT　　｜　 　　｜　　© PLAID Inc. 20 各STEPでのSLO 送信処理 配信完了 エンドユーザー メール送信処理 プッシュ通知、LINE メール 各STEPごとにSLOを設定 配信準備 配信準備の 成功率 送信処理の 成功率 配信時間の 達成率
21. 2025.07.12　　｜　　SRE NEXT　　｜　 　　｜　　© PLAID Inc. 21 送信処理STEP SLO 送信処理 配信完了 エンドユーザー メール送信処理 プッシュ通知、LINE メール 各STEPごとにSLOを設定 配信準備 配信準備の 成功率 送信処理の 成功率 配信時間の 達成率
22. 2025.07.12　　｜　　SRE NEXT　　｜　 　　｜　　© PLAID Inc. 22 配信データ Cloud Spanner 配信基盤 Kubernetes Engine … MessagingService 000001 user0001@exmaple.com … … 000500 user000500@example.com 099500 user99500@exmaple.com … … 100000 user100000@example.com … 99.5%以上がリクエスト成功 でキャンペーン成功 送信処理STEP SLO
23. 2025.07.12　　｜　　SRE NEXT　　｜　 　　｜　　© PLAID Inc. 23 送信処理STEP SLO 送信処理 配信完了 エンドユーザー メール送信処理 プッシュ通知、LINE メール Name Compute Engine キャンペーン Name Compute Engine キャンペーン SLO: 99.9% 配信準備 配信準備の 成功率
24. 2025.07.12　　｜　　SRE NEXT　　｜　 　　｜　　© PLAID Inc. 24 メール送信処理 SLO 送信処理 配信完了 エンドユーザー メール送信処理 プッシュ通知、LINE メール 各STEPごとにSLOを設定 配信準備 配信準備の 成功率 送信処理の 成功率 配信時間の 達成率
25. 2025.07.12　　｜　　SRE NEXT　　｜　 　　｜　　© PLAID Inc. 25 MessagingService EndUser … 2時間以内 メール送信処理 SLO
26. 2025.07.12　　｜　　SRE NEXT　　｜　 　　｜　　© PLAID Inc. 26 送信処理 配信完了 エンドユーザー プッシュ通知、LINE メール 送信処理の 成功率 配信準備 配信準備の 成功率 メール送信処理 Name Compute Engine キャンペーン SLO: 98.0% メール送信処理 SLO
27. 2025.07.12　　｜　　SRE NEXT　　｜　 　　｜　　© PLAID Inc. 27 ダッシュボードでの可 視化 様々な指標を可視化 • SLI/SLO • 配信ボリュームごとのエラー率 • 配信チャンネルごとのエラー内訳 • キャンペーン単位での成功‧失敗 • etc
28. 2025.07.12　　｜　　SRE NEXT　　｜　 　　｜　　© PLAID Inc. 本日のテーマ 28 アジェンダ 1. 配信システムの全体像 2. SLI/SLO 3. 運⽤の課題と改善 話すこと
29. 2025.07.12　　｜　　SRE NEXT　　｜　 　　｜　　© PLAID Inc. 29 運⽤の課題 SLOの運⽤で直⾯した課題 これまで説明したSLOは技術的な 側⾯が強く、ビジネスサイドの メンバーには理解が難しい
30. 2025.07.12　　｜　　SRE NEXT　　｜　 　　｜　　© PLAID Inc. 30 • 成功率の⼊れ⼦ ◦ 99.5%以上の送信対象への送信成功でキャンペーンが成功 ◦ SLOとしては成功したキャンペーンが99.9%以上 • 各STEPのSLOがブリーチした時の影響が不透明 ◦ 配信準備が失敗したらエンドユーザーにはどういう影響が出 る？ ◦ 送信時間が遅延するとエンドユーザーにはどういう影響が出 る？ • etc… 運⽤の課題
31. 2025.07.12　　｜　　SRE NEXT　　｜　 　　｜　　© PLAID Inc. 31 どのように解決したか 複数の技術観点のSLI/SLOを組み合わせ ビジネス向けSLI/SLOを定義 運⽤の改善
32. 2025.07.12　　｜　　SRE NEXT　　｜　 　　｜　　© PLAID Inc. 32 ビジネス向けの SLO 送信処理 配信完了 エンドユーザー メール送信処理 プッシュ通知、LINE メール 配信準備 配信準備の 成功率 送信処理の 成功率 配信時間の 達成率
33. 2025.07.12　　｜　　SRE NEXT　　｜　 　　｜　　© PLAID Inc. 33 送信処理 配信完了 エンドユーザー メール送信処理 プッシュ通知、LINE メール 配信準備 • エンドユーザーに配信が届いたか • 配信が遅延していないか 配信時間の 達成率 ビジネス向けの SLO
34. 2025.07.12　　｜　　SRE NEXT　　｜　 　　｜　　© PLAID Inc. 34 配信処理の流れ 送信処理 配信完了 エンドユーザー メール送信処理 プッシュ通知、LINE メール 配信準備 信頼性を⾃分たちで管理できる 信頼性を管理しきれない部分がある ex) IP/ドメインレピュテーション,etc ビジネス向けの SLO
35. 2025.07.12　　｜　　SRE NEXT　　｜　 　　｜　　© PLAID Inc. 35 配信処理の流れ 送信処理 配信完了 エンドユーザー メール送信処理 プッシュ通知、LINE メール 配信準備 • エンドユーザーに配信が届いたか • 配信が遅延していないか 配信時間の 達成率 ビジネス向けの SLO
36. 2025.07.12　　｜　　SRE NEXT　　｜　 　　｜　　© PLAID Inc. 36 今後の展望 • エラーバジェットの有効な活⽤ • より納得感の持てるSLOの閾値 • 配信システム以外のSLO • etc 今後の展望
37. 2025.07.12　　｜　　SRE NEXT　　｜　 　　｜　　© PLAID Inc. ブースもあるよ 37 ブースもあるよ プレイドでは⼀緒に働く仲間 も募集しております！