運用の優秀性 5つのステージと可観測性

by Seigo Watanabe

Slide 1

Slide 1 text

運⽤の優秀性 5つのステージと可観測性〜システム監視の「これまで」と「これから」〜 2024.06.28 渡辺聖剛@アライアンス事業部

Slide 2

Slide 2 text

#devio2024 本セッションの撮影/スクリーンショットは OK ! です後⽇『DevelopersIO』で記事が公開されます 2 ご注意 https://dev.classmethod.jp/author/watanabe-seigo/

Slide 3

Slide 3 text

#devio2024 X (f.k.a. Twitter) への投稿はハッシュタグ #devio2024 でお願いいたします。 3 お願い

Slide 4

Slide 4 text

#devio2024 みなさん、監視してますか！（挨拶運⽤ 4

Slide 5

Slide 5 text

#devio2024 「運⽤」とは ● 組織のリソースを活⽤し、 ● 対価や評価を得ることを⽬的に、 ● 外部に対して、 ● 何らかのサービスを継続的に提供し続けることそのために必要な⾏動を「運⽤」と定義する https://thinkit.co.jp/story/2010/12/16/1934?page=0%2C2 “(運用とは) サービスを継続的にデリバリすること” ———— 波田野裕一 / 運用設計ラボ合同会社 5

Slide 6

Slide 6 text

#devio2024 サービス(価値)のデリバリ https://www.irasutoya.com/ 価値の発揮価値の創出価値のデリバリクライアント ➡ 開発 ➡ 運⽤ 6

Slide 7

Slide 7 text

#devio2024 SREの原則(Principle) #3 Well engineered software 巧妙な設計のソフトウェア ➡ 99.9% Well engineered operation 巧妙な設計の運⽤ ➡ 99.99% 良いサービスを作るだけでは可⽤性に限界があるが、良い運⽤は限界値を引き上げる https://www.usenix.org/conference/srecon17americas/program/presentation/rensin https://www.usenix.org/sites/default/ﬁles/conference/protected-ﬁles/srecon17_americas_slides_rensin.pdf “It takes well engineered operations -- including shared monitoring and fast rollbacks -- to get to 4 9” ———— David K. Rensin, Sr. Director of Engineering at Google 7

Slide 8

Slide 8 text

#devio2024 運⽤の質 ➡ サービス価値に直結 Quality Value Operational Excellence オペレーショナル‧エクセレンス 8

Slide 9

Slide 9 text

#devio2024 ● 初出：1995年 “The Discipline of Market Leaders” ○ 邦題「ナンバーワン企業の法則」 ○ 3つある Value Disciplines のうちのひとつ ○ ビジネス全体について⾔及した⽤語 ● 「運⽤の質」についての指標オペレーショナル‧エクセレンス https://en.wikipedia.org/wiki/The_Discipline_of_Market_Leaders https://www.process-mining.jp/2020/03/03/value-of-pm-from-strategy/ 9

Slide 10

Slide 10 text

#devio2024 AWS Well-Architected 6 つの柱 ● Operational excellence (運⽤上の優秀性) ● Security (セキュリティ) ● Reliability (信頼性) ● Performance eﬃciency (パフォーマンス効率) ● Cost optimization (コスト最適化) ● Sustainability (サステナビリティ) https://aws.amazon.com/jp/architecture/well-architected/ 10

Slide 11

Slide 11 text

#devio2024 ほかにも ● Google Cloud アーキテクチャフレームワーク ● Microsoft Azure Well-Architected Framework ● Oracle (OCI)、Alibaba ... クラウドプラットフォームの共通認識的な⽤語といえる（でも定義はまちまち） https://cloud.google.com/architecture/framework/operational-excellence?hl=ja https://learn.microsoft.com/ja-jp/azure/well-architected/operational-excellence/principles 11

Slide 12

Slide 12 text

#devio2024 運⽤上の優秀性 - AWS Well-Architected 「運⽤上の優秀性」を向上させる ➡ 運⽤の質が向上する ➡ サービスの価値が向上する https://docs.aws.amazon.com/ja_jp/wellarchitected/latest/operational-excellence-pillar/operational-excellence.html “優れたカスタマーエクスペリエンスを着実に提供しながら、ソフトウェアを正しく構築するために取り組むこと” (a commitment to build software correctly while consistently delivering a great customer experience.) ———— 運用上の優秀性 / AWS Well-Architected Framework 12

Slide 13

Slide 13 text

#devio2024 どうすれば / 何をすれば「運⽤上の優秀性」は向上するのか... 13

Slide 14

Slide 14 text

#devio2024 今⽇お話ししたいこと： The Journey to Operational Excellence 14

Slide 15

Slide 15 text

#devio2024 登壇者紹介 15 2021 APN AWS Top Engineer / ALL AWS Certifications Engineer 2022 APN ALL AWS Certifications Engineer 2023,2024 Japan AWS All Certifications Engineer 2019 Mackerel Ambassador 2023 New Relic Partner Trailblazer https://dev.classmethod.jp/author/watanabe-seigo/ https://www.credly.com/users/seigo-watanabe.29d196c2 ▸ クラスメソッド株式会社アライアンス事業部 ▸ 指向 : 運⽤‧モニタリング‧SRE ▸ 好きな AWS サービス : Certificate Manager (ACM) Route 53 CloudWatch metric streams ▸ 好きな Google Cloud サービス : Compute Engine Live Migration Cloud Operations suite ▸ ネタを挟まないと死んじゃう病渡辺聖剛 (Seigo Watanabe)

Slide 16

Slide 16 text

#devio2024 本⽇のアジェンダ 1. イントロダクション 2. The Journey to Operational Excellence 3. 運⽤上の優秀性と可観測性 4. デモ 5. これからの話 6. まとめ 16

Slide 17

Slide 17 text

#devio2024 おわび本セッションのタイトルには「運⽤の優秀性」と記載されていますが、 AWS Well-Architected Framework に基づく正しい表記は「運⽤上の優秀性」となります。訂正しお詫びします。 https://pictogram2.com/?p=780 17

Slide 18

Slide 18 text

#devio2024 （再掲）今⽇お話ししたいこと： The Journey to Operational Excellence 18

Slide 19

Slide 19 text

#devio2024 今⽇お話ししたいこと : より具体的には... The Journey to Operational Excellence (Ledet’s model of Operational Improvement) これをベースにお話しします https://www.assetivity.com.au/articles/reliability-improvement/reliability-in-operations/ 19

Slide 20

Slide 20 text

Slide 21

Slide 21 text

#devio2024 監視 = 問題 (異常) を⾒つけるための⼿段運⽤ (サービスのデリバリ) に⽀障を来すような問題‧異常の発⽣を検知する ● 機器や処理の停⽌/遅延 ● エラー ● 利⽤期限 (証明書など) “監視とは情報収集を行った結果に応じて適切な宛先に発報すること” ———— IPA 非機能要求グレード 2018 04_項目一覧 C.1.3.1「運用監視」計測 Measurement 検知 Detect 対処 Respond Resolve 21

Slide 22

Slide 22 text

Slide 23

Slide 23 text

#devio2024 監視だけでは「計画」に対応できない (本来の意味での) 監視 ➡ 発⽣した異常を検知し通知 ● 特定の「ポイント」を監視 ● その範囲でしか予測不能 ➡ 複雑な未来予測や現状分析を⾏うには「監視」だけでは不⼗分 https://commons.wikimedia.org/wiki/File:AxisCCTV.jpg 23

Slide 24

Slide 24 text

“Monitoring means that you already know what is important. (監視は、何が重要かが既に判明している場合に意味を持つ)” ⸺ Dr. Werner Vogels CTO, Amazon https://dev.classmethod.jp/articles/202012-report-reinvent-keynote-observability/

Slide 25

Slide 25 text

#devio2024 何が重要か分かってない場合 Observability / o11y 可観測性(オブザーバビリティ) 25

Slide 26

Slide 26 text

#devio2024 可観測性(オブザーバビリティ) 可⽤性、拡張性、耐障害性、と同じように、可観測性は「観測可能な性能」を意味する概念 ➡「システム内部情報がどれだけ⼊⼿可能か」の指標 Operation 運用 Observability 可観測性 monitoring 監視 26

Slide 27

Slide 27 text

#devio2024 天気予報での「監視」と「可観測性」 https://www.ﬂickr.com/photos/hiroooooki/821009 6693 監視（を行う）可観測性（を高める） ● 気温や湿度、降⽔量、⾵速などを定点観測 ● 注意報‧警報 ● ⾬が降ったら傘をさす ➡ 災害に備える‧回避する ● 観測網の構築‧⾼度化 ○ 観測点、センサー ○ 各種レーダーや⼈⼯衛星 ● 気象予測⽤のHPC導⼊ ● 分かりやすい報道‧アプリ ➡ 予報精度の向上‧⻑期予報 27

Slide 28

Slide 28 text

Slide 29

Slide 29 text

#devio2024 より可観測性の⾼い「監視」モダン監視 29

Slide 30

Slide 30 text

#devio2024 モダン監視 : これからの監視監視：個々の動きを観察、個別に判断モダン監視：監視を多層的に組み合わせたもの https://newrelic.com/jp/blog/best-practices/what-is-observability-diﬀerence-from-monitoring https://www.oreilly.co.jp/books/9784873118642/ “モダンな監視デザインの最初のパターンは、組み合わせ可能な監視です” ———— Mike Julian, “入門監視” O’Reilly “モダン監視はオブザーバビリティに含まれる要素のひとつであり、通過点” ———— 清水毅, 上席エヴァンジェリスト, New Relic 30

Slide 31

Slide 31 text

#devio2024 監視のモダナイゼーション前提 : クラウドプラットフォーム (AWS等) を使うだけでインフラストラクチャの可観測性は⾼まる ‧デフォルトで⼤量のメトリクス収集 ‧ログや観測データの分析/保存機能も内蔵モダン監視 : これまで計測できていなかった領域‧⼿法による監視 ‧アプリケーション性能監視 (APM) ‧アプリケーション内部の観測 (proﬁle)、リアルユーザ挙動監視 (RUM) ‧外インフラからのシンセティクス(合成)監視⾼度な統合と分析‧可視化しきい値に加え「ふるまい」による異常 (anomaly) 検知 Reactive 《故障対応》 Planned 《計画的対応》 31

Slide 32

Slide 32 text

#devio2024 New Relic デモンストレーション 32

Slide 33

Slide 33 text

#devio2024 New Relic APMの先駆者であり業界のリーダーポジション（のひとつ）by Gartner MQ 「よいソフトウェア」の構築⽀援することを重視 33

Slide 34

Slide 34 text

#devio2024 AWS (CloudWatch) だけだと...? Gartner MQ的にはチャレンジャーポジション機能 (パーツ) は揃っているが統合性に⽋ける印象 ➡ 「監視」には⼗分以上「モダン監視」というには少し弱い (頑張りが必要) ➡ 運⽤にとって重要なのは不変！ https://dev.classmethod.jp/articles/202310-cloudwatch-and-beyond/ 34

Slide 35

Slide 35 text

#devio2024 デモ構成 AWS Cloud EC2 instance contents Apache MariaDB New Relic Agent ALB Session Manager EIP テレメトリデータ Linux OS WordPress PHP メトリックデータ (MetricStream) CloudWatch 35

Slide 36

Slide 36 text

#devio2024 (DEMO) 36

Slide 37

Slide 37 text

#devio2024 これからの話 37

Slide 38

Slide 38 text

#devio2024 ➡ ステージが進むにつれ可観測性 (o11y) の重要度は増加していく運⽤上の優秀性 5つのステージ(Domain) Don’t ﬁx it 《塩漬け》 Reactive 《故障対応》 Planned 《計画的対応》 Proactive 《定常的な開発》 Strategic 《戦略的事業展開》 Fix it after it breaks Fix it before it breaks Don't just fix it, improve it Asset management ( No claim, No fix ) 問題が⾒つかれば対応する計画どおりに対応する monitoring 監視 o11y 可観測性常に開発を継続し問題点を未然につぶす全てのコストを戦略的にコントロールする 38

Slide 39

Slide 39 text

#devio2024 組織運営に関わるひと（統制担当） Governance CCoE Platform Control 定常的な開発 = SDLC (Software Development Life Cycle) Code Review Build Deploy Operate Measure Improve Repeat 開発段階に関わるひと（開発担当）ビジネスに関わるひと（ビズ担当）運⽤段階に関わるひと（運⽤担当） 39

Slide 40

Slide 40 text

#devio2024 組織運営に関わるひと（統制担当） Governance CCoE Platform Control SDLC と DevOps Code Review Build Deploy Operate Measure Improve Repeat サービス展開に関わるひとびと（サービス担当） 40

Slide 41

Slide 41 text

#devio2024 SREの原則(Principle) #3 の続き Well engineered software 巧妙な設計のソフトウェア ➡ 99.9% Well engineered operation 巧妙な設計の運⽤ ➡ 99.99% Well engineered Business 巧妙な設計のビジネス ➡ 99.999% https://www.usenix.org/conference/srecon17americas/program/presentation/rensin https://www.usenix.org/sites/default/ﬁles/conference/protected-ﬁles/srecon17_americas_slides_rensin.pdf “It takes well engineered operations -- including shared monitoring and fast rollbacks -- to get to 4 9” ———— David K. Rensin, Sr. Director of Engineering at Google 41 “... and a well engineered business to get 5 9’s. Usually around making hard choices about SLOs and SLAs” ———— David K. Rensin, Sr. Director of Engineering at Google

Slide 42

Slide 42 text

#devio2024 運⽤上の優秀性 5つのステージ(Domain) Don’t ﬁx it 《塩漬け》 Reactive 《故障対応》 Planned 《計画的対応》 Proactive 《定常的な開発》 Strategic 《戦略的事業展開》 Fix it after it breaks Fix it before it breaks Don't just fix it, improve it Asset management ( No claim, No fix ) 問題が⾒つかれば対応する計画どおりに対応する常に開発を継続し問題点を未然につぶす全てのコストを戦略的にコントロールする表⾯化するまで何も対応しない ● 運⽤のステージに応じて必要な可観測性のレベルは異なる ● より「上」の運⽤ステージに⾄るには、運⽤だけでは⾜りない ● むしろサービス展開の全てが開発であり運⽤でありビジネス 42

Slide 43

Slide 43 text

#devio2024 まとめ 43

Slide 44

Slide 44 text

#devio2024 運⽤上の優秀性と監視‧可観測性 ● Reactive な運⽤だけではサービス価値は上がらない ● ステージを Planned ➡ Proactive へと上げていこう ● そのためには可観測性 (オブザーバビリティ) の向上とともに、開発‧運⽤‧ビジネスが⼀体となっていく必要あり ● その⼀歩⽬として監視のモダナイゼーション、つまり「モダン監視」の導⼊を！ 44

Slide 45

Slide 45 text

#devio2024 成功させるには “短距離⾛ではなく、マラソンである” “Remember: it's a marathon, not a sprint” 45 https://cloud.google.com/blog/ja/products/gcp/sre-success-starts-with-getting-leadership-on-board

Slide 46

Slide 46 text

No content