Share
Embed
大量配信システムにおけるSLOの実践:「見えない」信頼性をSLOで可視化
SRE NEXT 2025( https://sre-next.dev/2025/ )講演資料
7/12 14:10 - 14:20
https://sre-next.dev/2025/schedule/#slot084
PLAID Tech PRO
July 11, 2025
Transcript
38 slides
-
2025.07.12 | SRE NEXT | | © PLAID Inc. • 2020~2023 Unipos株式会社 • バックエンドエンジニア
• SRE • テックリード • 2023~ 株式会社プレイド • KARTE Message テックリード 2 ⾃⼰紹介 Yugo Tsuchiya ⼟⾕ 優五 Github : @gal1996 X: @prooooograming 2025.07.12 | SRE Next | -
2025.07.12 | SRE NEXT | | © PLAID Inc. 本日のゴール 4 本⽇のゴール ⽉間10億通を超える⼤規模配信 において1通1通の配信結果を
どのようにSLOに落とし込み 運⽤‧改善していったのか -
2025.07.12 | SRE NEXT | | © PLAID Inc. 本日のテーマ 5 アジェンダ 1. 配信システムの全体像
2. SLI/SLO 3. 運⽤の課題と改善 話すこと -
2025.07.12 | SRE NEXT | | © PLAID Inc. 本日のテーマ 6 アジェンダ 1. 配信システムの全体像
2. SLI/SLO 3. 運⽤の課題と改善 話すこと -
2025.07.12 | SRE NEXT | | © PLAID Inc. 配信の最小単位 7 KARTE Messageにおける配信の単位 •
キャンペーン ◦ 配信の単位。誰に‧何を‧いつ配信するのかを設定する ◦ 1キャンペーンの配信で⼤量の配信対象へ配信がされる -
2025.07.12 | SRE NEXT | | © PLAID Inc. 8 配信処理の流れ 配信準備 Cloud Spanner
BigQuery Kubernetes Engine 送信処理 Kubernetes Engine Cloud Spanner 配信完了 エンドユーザー メール送信処理 SES プッシュ通知、LINE メール -
2025.07.12 | SRE NEXT | | © PLAID Inc. 9 配信処理の流れ 配信準備 Cloud Spanner
BigQuery Kubernetes Engine 送信処理 Kubernetes Engine Cloud Spanner 配信完了 エンドユーザー メール送信処理 SES プッシュ通知、LINE メール -
2025.07.12 | SRE NEXT | | © PLAID Inc. 10 配信準備 配信対象の決定 client-data BigQuery
user_id email name 000001 [email protected] Tony 000002 [email protected] Nick … … 005000 [email protected] Peter … … 100000 [email protected] Steve 配信対象リスト user_id email 000001 [email protected] … … 100000 [email protected] user_id name 000001 Tony … … 100000 Steve 配信リスト 配信対象 決定クエリ -
2025.07.12 | SRE NEXT | | © PLAID Inc. 11 配信準備 配信対象のキューイング client-data BigQuery
配信データ Cloud Spanner 000001 [email protected] … … 000500 [email protected] 099500 [email protected] … … 100000 [email protected] … 配信対象リスト 配信queue user_id email name 000001 [email protected] Tony 000002 [email protected] Nick … … 005000 [email protected] Peter … … 100000 [email protected] Steve -
2025.07.12 | SRE NEXT | | © PLAID Inc. 12 配信処理の流れ 配信準備 Cloud Spanner
BigQuery Kubernetes Engine 送信処理 Kubernetes Engine Cloud Spanner 配信完了 エンドユーザー メール送信処理 SES プッシュ通知、LINE メール -
2025.07.12 | SRE NEXT | | © PLAID Inc. 13 送信処理 詳細 配信データ Cloud
Spanner 配信基盤 Kubernetes Engine … MessagingService 000001 [email protected] … … 000500 [email protected] 099500 [email protected] … … 100000 [email protected] … -
2025.07.12 | SRE NEXT | | © PLAID Inc. 14 配信処理の流れ 配信準備 Cloud Spanner
BigQuery Kubernetes Engine 送信処理 Kubernetes Engine Cloud Spanner 配信完了 エンドユーザー メール送信処理 SES プッシュ通知、LINE メール -
2025.07.12 | SRE NEXT | | © PLAID Inc. 16 配信システムを 俯瞰して見る 配信準備 送信処理
配信完了 エンドユーザー メール送信処理 プッシュ通知、LINE メール Name Compute Engine キャンペーン Name Compute Engine キャンペーン Name Compute Engine キャンペーン -
2025.07.12 | SRE NEXT | | © PLAID Inc. 本日のテーマ 17 アジェンダ 1. 配信システムの全体像
2. SLI/SLO 3. 運⽤の課題と改善 話すこと -
2025.07.12 | SRE NEXT | | © PLAID Inc. クライアントの期待 18 クライアントのKARTE Messageに対する期待 •
想定したタイミングで配信が 開始‧完了する • ⾼い確率でメッセージが届く • 意図した対象に意図した 内容が届く • etc -
2025.07.12 | SRE NEXT | | © PLAID Inc. SLO設定前の課題 19 SLO設定前の課題 クライアントは1通1通の配信に対し て、配信時間や配信の成功の期待値
を持っているが、その期待値を正確 に数値に落とせていない -
2025.07.12 | SRE NEXT | | © PLAID Inc. 20 各STEPでのSLO 送信処理 配信完了 エンドユーザー
メール送信処理 プッシュ通知、LINE メール 各STEPごとにSLOを設定 配信準備 配信準備の 成功率 送信処理の 成功率 配信時間の 達成率 -
2025.07.12 | SRE NEXT | | © PLAID Inc. 21 送信処理STEP SLO 送信処理 配信完了
エンドユーザー メール送信処理 プッシュ通知、LINE メール 各STEPごとにSLOを設定 配信準備 配信準備の 成功率 送信処理の 成功率 配信時間の 達成率 -
2025.07.12 | SRE NEXT | | © PLAID Inc. 22 配信データ Cloud Spanner 配信基盤
Kubernetes Engine … MessagingService 000001 [email protected] … … 000500 [email protected] 099500 [email protected] … … 100000 [email protected] … 99.5%以上がリクエスト成功 でキャンペーン成功 送信処理STEP SLO -
2025.07.12 | SRE NEXT | | © PLAID Inc. 23 送信処理STEP SLO 送信処理 配信完了
エンドユーザー メール送信処理 プッシュ通知、LINE メール Name Compute Engine キャンペーン Name Compute Engine キャンペーン SLO: 99.9% 配信準備 配信準備の 成功率 -
2025.07.12 | SRE NEXT | | © PLAID Inc. 24 メール送信処理 SLO 送信処理 配信完了
エンドユーザー メール送信処理 プッシュ通知、LINE メール 各STEPごとにSLOを設定 配信準備 配信準備の 成功率 送信処理の 成功率 配信時間の 達成率 -
2025.07.12 | SRE NEXT | | © PLAID Inc. 26 送信処理 配信完了 エンドユーザー プッシュ通知、LINE
メール 送信処理の 成功率 配信準備 配信準備の 成功率 メール送信処理 Name Compute Engine キャンペーン SLO: 98.0% メール送信処理 SLO -
2025.07.12 | SRE NEXT | | © PLAID Inc. 27 ダッシュボードでの可 視化 様々な指標を可視化 •
SLI/SLO • 配信ボリュームごとのエラー率 • 配信チャンネルごとのエラー内訳 • キャンペーン単位での成功‧失敗 • etc -
2025.07.12 | SRE NEXT | | © PLAID Inc. 本日のテーマ 28 アジェンダ 1. 配信システムの全体像
2. SLI/SLO 3. 運⽤の課題と改善 話すこと -
2025.07.12 | SRE NEXT | | © PLAID Inc. 30 • 成功率の⼊れ⼦ ◦ 99.5%以上の送信対象への送信成功でキャンペーンが成功
◦ SLOとしては成功したキャンペーンが99.9%以上 • 各STEPのSLOがブリーチした時の影響が不透明 ◦ 配信準備が失敗したらエンドユーザーにはどういう影響が出 る? ◦ 送信時間が遅延するとエンドユーザーにはどういう影響が出 る? • etc… 運⽤の課題 -
2025.07.12 | SRE NEXT | | © PLAID Inc. 32 ビジネス向けの SLO 送信処理 配信完了
エンドユーザー メール送信処理 プッシュ通知、LINE メール 配信準備 配信準備の 成功率 送信処理の 成功率 配信時間の 達成率 -
2025.07.12 | SRE NEXT | | © PLAID Inc. 33 送信処理 配信完了 エンドユーザー メール送信処理
プッシュ通知、LINE メール 配信準備 • エンドユーザーに配信が届いたか • 配信が遅延していないか 配信時間の 達成率 ビジネス向けの SLO -
2025.07.12 | SRE NEXT | | © PLAID Inc. 34 配信処理の流れ 送信処理 配信完了 エンドユーザー
メール送信処理 プッシュ通知、LINE メール 配信準備 信頼性を⾃分たちで管理できる 信頼性を管理しきれない部分がある ex) IP/ドメインレピュテーション,etc ビジネス向けの SLO -
2025.07.12 | SRE NEXT | | © PLAID Inc. 35 配信処理の流れ 送信処理 配信完了 エンドユーザー
メール送信処理 プッシュ通知、LINE メール 配信準備 • エンドユーザーに配信が届いたか • 配信が遅延していないか 配信時間の 達成率 ビジネス向けの SLO -
2025.07.12 | SRE NEXT | | © PLAID Inc. 36 今後の展望 • エラーバジェットの有効な活⽤ •
より納得感の持てるSLOの閾値 • 配信システム以外のSLO • etc 今後の展望