カナリアリリースの異常検知を SLOバーンレートを用いて実装した話

【8社共催】After SRE NEXT 2025 LT&交流 Night
2025/7/29
https://timeedev.connpass.com/event/359985/

カナリアリリースの異常検知を SLOバーンレートを用いて実装した話
株式会社hacomono SRE部 SREグループ 岩本大樹

Transcript

1. Last Update 2022.03.16 カナリアリリースの異常検知を
 SLOバーンレートを用いて実装した話
 株式会社hacomono SRE部 SREグループ 岩本大樹

2. 2 自己紹介 
 ▪ 名前：岩本 大樹(いわもとだいき)
 
 ▪ 年齢：27
 
 ▪ 経歴：新卒から2社を経由して2024年1月にhacomonoに入社
 
 ▪ 推しのAIエージェント：kiro
 
 ▪ 特徴：インコを肩に乗せ、自作キーボードで仕事をしている。 
 　　　　自作キーボード語れる方いたら是非喋りましょう 

3. 3 ▪ 初参加、良い刺激
 
 ▪ 懇親会で配ったウコンがまさかの開始 3分で売り切れ
 
 
 
 
 
 
 
 ▪ 今年のSRE Nextのテーマが “Talk Next”→ hacomonoの “Next”の話をします
 SRE Nextお疲れ様でした！ 

4. section 次期基盤 ”infra v2” について hacomonoの”Next”の話
 1
5. 5 ▪ “infra v2”という名の次期基盤を構築中 
 
 ▪ 現行の二つのプラットフォーム ※ を統合した共通のECS基盤
 hacomonoにおける “Next”
 ※hacomonoのプラットフォームの変遷については弊社 VPoPEが書いたブログ (https://techblog.hacomono.jp/entry/2022/12/20/070000)をご覧ください
6. 6 現在のhacomonoの基盤
 シングルテナント マルチテナント
7. 7 infra v2の基盤

8. 8 現状のプラットフォームの課題 
 迫り来る EC2の脆弱性 開発者の 認知負荷の拡大 耐障害性 巨大DB の移行が難しい 巨大テナントの ノイジーネイバー etc…
9. 9 現状のプラットフォームの課題 
 迫り来る EC2の脆弱性 開発者の 認知負荷の拡大 耐障害性 巨大DB の移行が難しい 巨大テナントの ノイジーネイバー etc…
10. section infra v2で解決したい耐障害性の話 
 2 カナリアリリースの採用
11. 11 ▪ 現行のプラットフォームには耐障害性がなく、リリース後のインシデントに顧客連絡で気づくことが多々 ▪ infra v2では、インシデントを未然に検知し大規模障害になることを防ぎたい 
 
 → カナリアリリース方式を採用
 
 現状の耐障害性に対する課題 毎月10件以上、ひどい時は22件...
12. 12 カナリアリリースを導入する 
 ▪カナリアリリースによって...
 - 全ユーザーに展開する前に小規模なユーザーグループで問題を検出できるため、大規模な障害を防げる 
 - 問題が発生した場合、影響範囲が限定的なため素早く元のバージョンに戻すことが可能 
 
 ▪ カナリアリリース中の異変について、すぐに検知したい 
 
 → SLO使えるのでは？
 
 ▪ hacomonoでは既にdatadogにてSLOを導入しているので、その仕組みを流用すればできそう ※ 
 ※hacomonoにおけるSLO運用に関しては私が書いたブログ (https://techblog.hacomono.jp/entry/2024/10/08/1100)をご覧ください
13. 13 ▪ infra v2におけるデプロイフローの CUJを「リリースが正常に完了すること 」と定義
 
 ▪ CUJを担保するためのSLIを下記の通り定義
 　1. リリース後のターゲットグループに来るリクエストの可用性 (エラーレート)
 　2. リリース後のターゲットグループに来るリクエストのレイテンシ (p99.5)
 
 ▪ SLIに対するSLOを設定
 　1. の可用性が99.5%
 　2. のレイテンシが0.5秒以下であること
 
 ▪ 異常検知アラートの発火条件 
 　1. プライマリ/セカンダリ両方のターゲットグループでインスタンスが稼働中 
 　2. プライマリターゲットグループでバーンレートアラートが鳴動していない 
 　3. セカンダリターゲットグループでバーンレートアラートが鳴動した 
 
 →　上記三つの条件のComposite Monitorを設定することで実現
 
 カナリアリリースの信頼性を SLOを使って担保してみる 

14. section 具体的なデプロイフロー 
 3 カナリアリリースのフローとその異常検知
15. 15 具体的なデプロイフロー
16. 16 具体的なデプロイフロー
17. 17 具体的なデプロイフロー
18. 18 具体的なデプロイフロー
19. 19 具体的なデプロイフロー デプロイした ブランチで 異常発生
20. 20 具体的なデプロイフロー デプロイした ブランチで 異常発生
21. 21 具体的なデプロイフロー
22. 22 SPOGを意識したモニタリングダッシュボード
23. 23 ECSネイティブの Blue/Greenデプロイについて 

24. 24 まとめ
 ▪ hacomonoの”Next”である次期基盤作ってます 
 
 
 ▪ 次期基盤ではカナリアリリースを採用し、 SLOのバーンレートを用いて信頼性の担保を行います 
 
 
 ▪ ECSネイティブのBlue/Green はカナリアリリースが含まれ次第対応予定 
 
 
 ▪ 最終的な成果に関してはブログ書きます 🙏

25. https://www.hacomono.jp/