[VPoE Global Summit] サービスレベル目標による信頼性への投資最適化

by sato-s

Slide 1

Slide 1 text

Slide 2

Slide 2 text

No content

Slide 3

Slide 3 text

No content

Slide 4

Slide 4 text

No content

Slide 5

Slide 5 text

今⽇のお話 ✨“信頼性” 5

Slide 6

Slide 6 text

💡信頼性とは? “求められる機能を、定められた条件の下で、定められた期間にわたり、障害を起こすことなく実⾏する確率”[1] 6 [1] Betsy Beyer、 Chris Jones Jennifer Petoff、 Niall Richard Murphy編／澤田武男、関根達夫、細川一茂、矢吹大輔監訳／ Sky株式会社玉川竜司訳『SRE サイトリライアビリティエンジニアリング – Google の信頼性を支えるエンジニアリングチーム』株式会社オーム社、 2017年、p.xiv 「期待通りに使える」

Slide 7

Slide 7 text

信頼性が低い状態とは？ ❏ 遅い ❏ 動かない 7

Slide 8

Slide 8 text

信頼性が低いと…… ❏ ECサイト ➠ユーザーが離脱しほかで買い物 ❏ 広告 ➠ みてもらえない ❏ 定額制サービス ➠ 解約 8

Slide 9

Slide 9 text

9 どこまで信頼性に投資すべきか？ ✔ 100msのレスポンスを95msに改善! ✔ 0.001%の確率で発⽣するエラーを改善! 他の機能を作っていたほうがユーザーのためになったのでは？

Slide 10

Slide 10 text

10 信頼性機能開発信頼性と機能開発への投資のバランスを取る必要がある

Slide 11

Slide 11 text

信頼性の計測

Slide 12

Slide 12 text

Webアプリケーションの信頼性指標 ❏ レイテンシー ❏ 悪化すれば「遅い」と⾔われる ❏ エラーレート ❏ 悪化すれば「動かない」と⾔われる 12

Slide 13

Slide 13 text

13 機能開発システムの複雑さ⬆ レイテンシー悪化エラーレート悪化機能開発を⾏えば⾏うほど、信頼性は下がってしまう信頼性の低下

Slide 14

Slide 14 text

14 機能開発レイテンシーエラーレート

Slide 15

Slide 15 text

15 機能開発レイテンシーエラーレートレイテンシーやエラーレートのような信頼性を計測し、開発計画を変えることが重要

Slide 16

Slide 16 text

16 信頼性を計測し開発計画を変更.... やってない.... というひとがいるかもしれません

Slide 17

Slide 17 text

17 たぶん、（暗黙的に）信頼性を計測しててます

Slide 18

Slide 18 text

“それ※をどうやって計測しますか？ほとんどの⼈にとって、その答えは「今⽇誰が怒鳴っているかによる」でしょう”[2] 18 [2] David N. Blank-Edelman著／山口能迪訳『SREをはじめよう – 個人と組織による信頼性獲得への第一歩』株式会社オーム社、 2024年、p.174 文字の強調（色分け）は引用者によるものです ※引⽤者注: 信頼性のこと

Slide 19

Slide 19 text

「誰が怒鳴っているか」による信頼性計測⼈数ベース 19 数⼈が怒っている😠😠😠 誰も怒っていない😊 たくさんの⼈が怒っている 😡😡😡😡 😡😡😡😡 😡😡😡😡 信頼性高信頼性中信頼性低

Slide 20

Slide 20 text

20 営業部⻑が怒っている 😠 ⼀般社員しか怒ってない 😊 重要ユーザーが怒っている😡 信頼性高信頼性中信頼性低「誰が怒鳴っているか」による信頼性計測ロールベース

Slide 21

Slide 21 text

「誰が怒鳴っているか」による信頼性計測の問題点

Slide 22

Slide 22 text

22 信頼性に投資すべきときに投資できない機能開発レイテンシーエラーレートだれかを怒らせるライン信頼性への投資を開始すべきライン ❏ 誰かを怒らせて初めて信頼性の低下に気づく ❏ 対応が後⼿に回る ❏ 発覚したときは緊急事態

Slide 23

Slide 23 text

23 信頼性に投資すべき所に投資できない ❏ 1⼈の意⾒だとしても声の⼤きさや、地位の⾼さ、ビジネス上の関係値によって、投資対象が決まる ❏ 信頼性の悪化は、極端な使われ⽅や偶発的な問題によって、ごく⼀部の⼈だけにしか影響していなかった可能性必ずしも優先度の⾼い信頼性の問題に対処できるわけではない

Slide 24

Slide 24 text

24 今⽇は「誰が怒鳴っているか」より良いやり⽅を紹介します!

Slide 25

Slide 25 text

サービルレベル⽬標（SLO）とはなにか？

Slide 26

Slide 26 text

● サービルレベル⽬標（SLO）とは？ ○ ➠ サービスレベル指標（SLI）に対する⽬標値 ● サービルレベル指標（SLI）とは？ ○ ➠ 信頼性に対するユーザーの満⾜度を測ることのできる指標 26

Slide 27

Slide 27 text

27 ECサイトにおけるSLIの具体例 ❏ 「トップページ」表⽰のレイテンシー ❏ 「カートへ追加」ボタンのレイテンシー ❏ 「購⼊」ボタンのエラーレート “悪くなったときにユーザーが不満を抱く指標”

Slide 28

Slide 28 text

28 ❏ 「トップページ」表⽰のレイテンシー※が2秒以内 ❏ 「カートへ追加」ボタンのレイテンシー※が4秒以内 ❏ 「購⼊」ボタンのエラーレートが1%以内 SLIに対する⽬標値がSLOになる ※実際はp99、p95といった下位N%を除外した最も悪いレイテンシーの値が採⽤されます。レイテンシーはネットワークの状態によって極端な悪い値が出ることがあるため、 SLOでは平均値ではなく、このような統計値が採⽤されます。

Slide 29

Slide 29 text

29 SLOを使った投資判断現在過去未来過去の⼀定期間のSLIを集計 SLOを達成？機能開発に投資信頼性に投資 true false これからの投資を決定

Slide 30

Slide 30 text

SLO導⼊前のSmartHR

Slide 31

Slide 31 text

31 新機能A開発新機能B開発新機能C開発 SLO導⼊前のSmartHR ❏ 基本は新機能の開発が続く ❏ 信頼性への投資は “問い合わせがあった時” ❏ ⾃発的な信頼性への投資もあるが、エンジニアのセンスと興味次第

Slide 32

Slide 32 text

32 SLO導⼊前のSmartHR 適切な時に適切な信頼性への投資が⾏えなかったため、信頼性の問題が積み重なっていってしまった... ⼤規模な障害につながってしまう...

Slide 33

Slide 33 text

SmartHR⼤規模障害

Slide 34

Slide 34 text

❏ 2024/9頃からSmartHR全体の信頼性が許容不能なレベルまで低下 ❏ レイテンシーが極端に悪化したり、レスポンスがエラーになる事象がユーザーから多数報告される

Slide 35

Slide 35 text

35 当時のSLO 当時はSLOは⼀応定義されている状態（運⽤されていない）

Slide 36

Slide 36 text

❏ 9⽉だけで7回の“アクセスしづらい不具合”のお知らせ ❏ 復旧を宣⾔しても、その後アクセスしづらい事象が再発

Slide 37

Slide 37 text

❏ 相互に依存する問題が多数発⽣していた ❏ どれか1つへの対処を⾏っても信頼性が根本的に回復しなかった ❏ →このため何度も復旧宣⾔をしてしまった DBコネクション枯渇スロークエリ不適切なIndexの利用 DBのCPU不足リクエストの滞留なにが起きていたのか？

Slide 38

Slide 38 text

38 ⼤規模障害への反省 ❏ 本来なら逐次的に対応が⾏われているべきだった ❏ 根本的な原因は信頼性への投資を適切に⾏えない開発プロセス SLOの本格的な導⼊へ

Slide 39

Slide 39 text

SLO導⼊後のSmartHR

Slide 40

Slide 40 text

40 SLO導⼊後のSmartHR スプリントスプリントスプリント 👁 SLOの確認 👁 SLOの確認 👁 SLOの確認 ❏ 1スプリントに1回、SLOの確認を実施 ❏ SLOを達成したか否かに応じて次のスプリントでのタスクを調整 ※より洗練された運⽤ではSLOの未達成の程度（エラーバジェット）に応じて、信頼性への投資を⾏うかを調整することがあります

Slide 41

Slide 41 text

41 SLO前 SLO後判断タイミング問い合わせが来たら定期的な監視信頼性対応時の開発体制緊急対応になりがち通常のスプリントの中で消化判断基準問い合わせの性質‧量計測による判断をする⼈問い合わせに対応する⼈が中⼼プロダクトオーナー含むチーム全体の合意に基づく信頼性への投資がどう変わったか?

Slide 42

Slide 42 text

42 信頼性に対して、必要な時に必要な投資を⾏う体制が確⽴🎉 事業成⻑への投資も安⼼

Slide 43

Slide 43 text

まとめ

Slide 44

Slide 44 text

まとめ 1. 「誰が怒鳴っているか」による信頼性計測の問題点 2. SLOによって、信頼性に対して適切な投資ができるようになる 3. SmartHRでは信頼性投資をSLOで改善