SREによる信頼性の高いサービス提供への挑戦【Qiita Conference 2023】

Slide 1

Slide 1 text

Qiita Conference 2023 SREによる信頼性の高いサービス提供への挑戦～定量的観測と改善のサイクルによるデータドリブンなサービス信頼性管理～莊亞帆株式会社うるるおもいで事業グループえんフォト事業部開発課 Engineering Manager

Slide 2

Slide 2 text

Qiita Conference 2023 Opening あなたの開発チームは下記のことに困っていませんか？開発チームがデリバリーファーストで開発をどんどん進めた結果、いつのまにか、突発的な障害対応に費やした時間がだんだん長くなり、その影響でデリバリーの速度がどんどん落ちている。改善はしたいけど、開発の納期に間に合うために改善する余裕も徐々になくなり、悪循環の日々が続く。。。

Slide 3

Slide 3 text

Qiita Conference 2023 本セッション想定の視聴者とゴール想定の視聴者 1. サービスの信頼性を効率的に改善する方法を知りたい方。 2. 継続的にサービスの信頼性を維持しながら開発を進める方法を知りたい方。本日のゴール 1. 定量的観測と改善のサイクルによるデータドリブンなサービス信頼性管理のメリットを理解する 2. 本日紹介するサービス信頼性維持、向上の仕組み (SRE)を知り、導入のイメージをもてるようになる

Slide 4

Slide 4 text

Qiita Conference 2023 本日お話したいこと 1. 自己紹介 2. えんフォトの紹介 3. えんフォトのサービス信頼性管理における課題 4. SREを用いたデータドリブンなサービス信頼性管理方法の導入 5. まとめ 6. エンジニア採用のお知らせ

Slide 5

Slide 5 text

Qiita Conference 2023 自己紹介えんフォトの紹介えんフォトのサービス信頼性管理における課題まとめエンジニア採用のお知らせ SREを用いたデータドリブンなサービス信頼性管理方法の導入 1. 2. 3. 4. 5. 6.

Slide 6

Slide 6 text

Qiita Conference 2023 自己紹介莊亞帆 (ソウアハン) 経歴 ● 台湾出身、35歳 ● 2014年10月来日 ● Android App/Web APP/Infra/DevOps領域の開発を経験し、 2019年に株式会社うるるへジョイン ● うるるではCloud Solution Architect兼 Develop Team Scrum Masterとして活動 ● 現在はえんフォトのEMとして開発組織成長に務める趣味 ● サウナ/温泉旅行 @YafanChuang @yafan_chuang

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Qiita Conference 2023 えんフォトの紹介 ● 写真販売の手間を80％以上削減できる、保育園・幼稚園向け写真販売システム ● 2014年にサービスを開始 ● 4,100以上の園・27万人以上の保護者

Slide 9

Slide 9 text

Qiita Conference 2023 えんフォトの紹介：プロダクトビジョン世界中のファミリーにもっと幸せな思い出を届けよう

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Qiita Conference 2023 えんフォトのサービス信頼性管理における課題えんフォト従来のサービス信頼性の管理方法：リアクティブなアプローチアラート通知開発チームどんどん開発を進めるシステムメトリクス監視死活監視エラー監視監視インフラレイヤーアプリケーションレイヤー課題解消運用保守チーム

Slide 12

Slide 12 text

Qiita Conference 2023 えんフォトのサービス信頼性管理における課題えんフォト従来のサービス信頼性の管理方法：リアクティブなアプローチシステムメトリクス監視死活監視アラート通知監視開発チームどんどん開発を進めるインフラレイヤー課題解消運用保守チーム開発チームはデリバリーを優先する。デリバリーを優先した結果、十分に信頼性を考慮できず、運用保守対応工数が慢性的に増える。エラー監視アプリケーションレイヤー

Slide 13

Slide 13 text

Qiita Conference 2023 えんフォトのサービス信頼性管理における課題えんフォト従来のサービス信頼性の管理方法：リアクティブなアプローチシステムメトリクス監視死活監視アラート通知監視 DevOpsチームどんどん開発を進めるインフラレイヤー課題解消 DevOpsチーム結局、運用保守工数が増え、開発スピードがどんどん落ちてしまう。エラー監視アプリケーションレイヤー

Slide 14

Slide 14 text

Qiita Conference 2023 えんフォトのサービス信頼性管理における課題十分に信頼性を考慮して開発を進めればいいのだが。。。どこまで考慮すればいいのか？どういう状態が信頼性のあるサービスだと言えるのか？目指す目標はなんだろうか？信頼性の評価の基準はなんだろうか？

Slide 15

Slide 15 text

Qiita Conference 2023 えんフォトのサービス信頼性管理における課題サービスの信頼性が低いと誰も喜ばないと分かるのだが。。。私達エンジニアは常に様々な制約と戦う中で、完璧なシステムを作ることはなかなか難しい。そして、非常に労力がかかる。コスト品質納期

Slide 16

Slide 16 text

Qiita Conference 2023 えんフォトのサービス信頼性管理における課題エンジニアカスタマーサポートユーザービジネスサイド皆を幸せにする方法はないか？

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Qiita Conference 2023 SREを用いたデータドリブンなサービス信頼性管理方法の導入 SREとは ● Site Reliability Engineering ● サイトの信頼性を向上、維持する仕組み ● Start by Google

Slide 19

Slide 19 text

Qiita Conference 2023 SREを用いたデータドリブンなサービス信頼性管理方法の導入なぜSREを導入するのか？リアクティブなアプローチ ↓ プロアクティブなアプローチへ ● 障害の発生を前提にシステムを設計、開発する。 ● 定量的な信頼性指標と目標を策定し、達成する前提で開発を行う。 ● システム維持、運用作業を自動化し、重複的な価値の低い手動作業を排除することで、ヒューマンエラーやオペレーションコストを抑える。

Slide 20

Slide 20 text

Qiita Conference 2023 SREを用いたデータドリブンなサービス信頼性管理方法の導入なぜSREを導入するのか？エンジニアカスタマーサポートユーザービジネスサイド SREの仕組みを用いることで、具体的な指標や目標を持って求めるサービスの信頼性レベルを維持する前提でどんどん開発することができる。

Slide 21

Slide 21 text

Qiita Conference 2023 SREを用いたデータドリブンなサービス信頼性管理方法の導入なぜSREを導入するのか？エンジニアカスタマーサポートユーザービジネスサイドつまり、全員が納得の行く基準でサービスの信頼性を維持できる。

Slide 22

Slide 22 text

Qiita Conference 2023 SREを用いたデータドリブンなサービス信頼性管理方法の導入・障害系の問い合わせやクレームを減らしたい。カスタマーサポート・障害によるビジネス損失をしたくない。・新しい機能をどんどん開発してほしい。ビジネスサイド・開発に集中したい。・適切な運用/保守の工数を確保したい。エンジニア・安定、快適にサービスを利用したい。ユーザー全員が納得の行く基準をどうやって決める？

Slide 23

Slide 23 text

Qiita Conference 2023 ・安定、快適にサービスを利用したい。・障害によるビジネス損失をしたくない。・新しい機能をどんどん開発してほしい。・障害系の問い合わせやクレームを減らしたい。・開発に集中したい。・適切な運用/保守の工数を確保したい。求めること求めることに対する具体的な定義 (何がどの状態であるか？) = ? (具体的な指標) SREを用いたデータドリブンなサービス信頼性管理方法の導入

Slide 24

Slide 24 text

Qiita Conference 2023 SREにおけるサービス信頼性維持の仕組み保証事項に対する定量的な指標各SLI指標の維持目標値一定期間の維持目標に対する達成度合い SREを用いたデータドリブンなサービス信頼性管理方法の導入例：サービスの安定稼働 SLO (Service Level Objective) SLI (Service Level Indicator) Error Budget SLA (Service Level Agreement) サービスの信頼性レベルの保証事項サービスの稼働時間は99.5%の可用性を保証する・サービスの応答確認OK(200 OK)の合計時間・1ヶ月の応答確認OK(200 OK)の合計時間が99.9%以上である Error Budgetの消耗状況 = 46% (例)

Slide 25

Slide 25 text

Qiita Conference 2023 SREを用いたデータドリブンなサービス信頼性管理方法の導入 Error Budget = 予算 = 許容範囲サービスの稼働時間のSLO目標を99.9% 合計時間：720時間許容範囲：43.2分現状 = 20分間のダウンタイム発生 Error Budgetの消耗状況 = 46% 現状 = 40分間のダウンタイム発生 Error Budgetの消耗状況 = 93% どんどんリリースしてOK 改善活動をしたほうがいい

Slide 26

Slide 26 text

Qiita Conference 2023 １、保証事項(SLA)を定義し、指標(SLI)を定義する 3、指標に対する維持目標(SLO)を設定する２、指標(SLI)を計測する 4、Error Budgetを監視し、目標(SLO)を達成する前提で開発と信頼性維持、改善活動を行う SREを開始する流れ SREを用いたデータドリブンなサービス信頼性管理方法の導入 5、定期的にSLA、SLI、 SLOの見直しをする

Slide 27

Slide 27 text

Qiita Conference 2023 1、SLA(サービスレベルの保証事項)、SLIの定義(サービスレベル指標) SREを用いたデータドリブンなサービス信頼性管理方法の導入求めること SLA例 ● サービスの継続稼働率は99.9%以上 ● リクエスト成功率は99.9%以上 ● 5秒以内に応答するリクエスト数が 99.9%以上 ● などなど。。。保証したいサービスレベルの項目(SLA) ・安定、快適にサービスを利用したい。・障害によるビジネス損失をしたくない。・新しい機能をどんどん開発してほしい。・障害系の問い合わせやクレームを減らしたい。・開発に集中したい。・適切な運用/保守の工数を確保したい。

Slide 28

Slide 28 text

Qiita Conference 2023 1、SLA(サービスレベルの保証事項)、SLIの定義(サービスレベル指標) SREを用いたデータドリブンなサービス信頼性管理方法の導入サービスの応答確認の200 OKの合計時間 / 月間合計時間更にSLIにに落とし込むサービスの継続稼働率は99.9% 以上保証したいサービスレベル (SLA) リクエスト成功率は99.9%以上 5秒以内に応答するリクエスト数が99.9%以上 HTTPリクエストのレスポンスコードが500~599以外のリクエスト数 / 月間リクエスト総数 5秒以内実行完了のWeb Transaction数 / 月間合計Web Transaction総数

Slide 29

Slide 29 text

Qiita Conference 2023 2、SLI(サービスレベル指標)の計測：計測、可視化、監視 SREを用いたデータドリブンなサービス信頼性管理方法の導入サービスの応答確認の200 OKの合計時間 / 月間合計時間 HTTPリクエストのレスポンスコードが500~599以外のリクエスト数 / 月間リクエスト総数 5秒以内実行完了のWeb Transaction数 / 月間合計Web Transaction総数計測対象(SLI) 計測方法(例) 監視(例) Slack ErrorBudgetの確認アラート確認 Dashboard Web Transaction計測 200 OK計測様々なツールでメトリクス計測独自の計測サーバーレスの実行時間計測 Prometheus Dashboard SLI/SLO/ ErrorBudgetの可視化 Dashboard Dashboard 集約

Slide 30

Slide 30 text

Qiita Conference 2023 SREを用いたデータドリブンなサービス信頼性管理方法の導入 3、SLO(サービスレベル目標)の設定：設定方法現状でギリギリで達成できる目標理想の目標達成できる？ YES 維持、改善してみる・リソースを増やす・目標を下げる NO ・目標を現状維持・目標を上げる

Slide 31

Slide 31 text

Qiita Conference 2023 4、SLOの維持、向上 SREを用いたデータドリブンなサービス信頼性管理方法の導入 Spikeの原因はなにか？ 1. 各SLI、SLO、ErrorBudgetをDashboardで可視化し、だれも見れる状態にする 2. 毎日の朝会でチームメンバーを集め、チェックをしてから行動を決める月初～現時点までのSLI値が SLOを上回っているか？エラーバジェットの余剰分はあるか？ SLIの推移傾向は想定通りか？

Slide 32

Slide 32 text

Qiita Conference 2023 SREを用いたデータドリブンなサービス信頼性管理方法の導入 4、SLOの維持、向上：エラーバジェットの燃焼速度の監視と使い切った時の対応 SLO維持できない可能性がある。要注意 SLOを維持できない可能性が高い。要対応エラーバジェットポリシーエラーバジェットを使い切った時の対応ポリシー例： ● リリースを凍結し、エラーバジェットが回復するまでに改善活動を行う。 ● 重要なリリースの場合は責任者権限でリリースを許可することができる

Slide 33

Slide 33 text

Qiita Conference 2023 5、定期見直し：SLOの見直し SREを用いたデータドリブンなサービス信頼性管理方法の導入 99.9% 99.9% 99.9% 99.99% (達成) 99.95% 99.7% (未達) 2人月 99.99% (引き上げ) 99.95% (現状維持) 99.9% (現状維持) 99.95% 99.99% 99.99 % 判断理想値より上回る→引き上げサービスの応答確認の200 OKの合計時間 / 月間合計時間 HTTPリクエストのレスポンスコードが500~599以外のリクエスト数 / 月間リクエスト総数 5秒以内実行完了のWeb Transaction数 / 月間合計Web Transaction総数リソースを投入し改善してみる ↓ 3人月投入リソース SLI SLO (現状) 実績修正後SLO SLO (理想)

Slide 34

Slide 34 text

Qiita Conference 2023 5、定期見直し：SLOの見直し SREを用いたデータドリブンなサービス信頼性管理方法の導入投入リソース SLI SLO (現状) 99.9% 99.9% 99.9% 実績 99.99% 99.95% 99.7% (未達) 修正後SLO 2人月 99.99% (引き上げ) 99.95% (現状維持) 99.5% (引き下げ) SLO (理想) 99.95% 99.99% 99.99 % 判断サービスの応答確認の200 OKの合計時間 / 月間合計時間 HTTPリクエストのレスポンスコードが500~599以外のリクエスト数 / 月間リクエスト総数 5秒以内実行完了のWeb Transaction数 / 月間合計Web Transaction総数リソースを変更せず、理想値を引き下げる

Slide 35

Slide 35 text

Qiita Conference 2023 5、定期見直し：SLI/SLAの見直し SREを用いたデータドリブンなサービス信頼性管理方法の導入 SLA/SLI 定期的に見直しをすべきな理由サービスが常に変化するため、 SLA(それに伴うSLI、SLOも)はサービスの実態と常に一致であるべきだからサービスの応答確認の200OKの合計時間 / 月間合計時間 HTTPリクエストのレスポンスコードが 500~599以外のリクエスト数 / 月間リクエスト総数 5秒以内実行完了のWeb Transaction数 / 月間合計Web Transaction総数見直し

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Qiita Conference 2023 まとめ本日のゴール① 定量的観測と改善のサイクルによるデータドリブンなサービス信頼性管理のメリットを理解するエンジニアカスタマーサポートユーザービジネスサイド SREの仕組みを用いることで、全員が納得の行く基準でサービスの信頼性を維持できる。

Slide 38

Slide 38 text

Qiita Conference 2023 １、保証事項(SLA)を定義し、指標(SLI)を定義する 3、指標に対する維持目標(SLO)を設定する２、指標(SLI)を計測する 4、Error Budgetを監視し、目標(SLO)を達成する前提で開発と信頼性維持、改善活動を行う本日のゴール② 本日紹介するサービス信頼性維持、向上の仕組み(SRE)を知り、導入のイメージをもてるようになるまとめ 5、定期的にSLI、 SLOの見直しをする

Slide 39

Slide 39 text

Slide 40

Slide 40 text

Qiita Conference 2023 エンジニア採用のお知らせうるるはエンジニア募集中です！！興味ある方は右のQRコードで ULURUのEngineer Recruiting Site を是非見てみてください！ https://engineer.uluru.biz/

Slide 41

Slide 41 text

Qiita Conference 2023 ご清聴ありがとうございました！！