オビザーバビリティ成熟モデル

 オビザーバビリティ成熟モデル

Observability Japan Online #1

F2f9d54e8fafad3fce62bbf072cdab1e?s=128

Kazunori Otani

March 17, 2020
Tweet

Transcript

  1. ©2008–20 New Relic, Inc. All rights reserved オビザーバビリティ成熟モデル Kazunori Otani

    2020-03-17, Observability Japan Online #1
  2. ©2008–20 New Relic, Inc. All rights reserved 2 Safe Harbor

    This presentation and the information herein (including any information that may be incorporated by reference) is provided for informational purposes only and should not be construed as an offer, commitment, promise or obligation on behalf of New Relic, Inc. (“New Relic”) to sell securities or deliver any product, material, code, functionality, or other feature. Any information provided hereby is proprietary to New Relic and may not be replicated or disclosed without New Relic’s express written permission. Such information may contain forward-looking statements within the meaning of federal securities laws. Any statement that is not a historical fact or refers to expectations, projections, future plans, objectives, estimates, goals, or other characterizations of future events is a forward-looking statement. These forward-looking statements can often be identified as such because the context of the statement will include words such as “believes,” “anticipates,” “expects” or words of similar import. Actual results may differ materially from those expressed in these forward-looking statements, which speak only as of the date hereof, and are subject to change at any time without notice. Existing and prospective investors, customers and other third parties transacting business with New Relic are cautioned not to place undue reliance on this forward-looking information. The achievement or success of the matters covered by such forward-looking statements are based on New Relic’s current assumptions, expectations, and beliefs and are subject to substantial risks, uncertainties, assumptions, and changes in circumstances that may cause the actual results, performance, or achievements to differ materially from those expressed or implied in any forward-looking statement. Further information on factors that could affect such forward-looking statements is included in the filings New Relic makes with the SEC from time to time. Copies of these documents may be obtained by visiting New Relic’s Investor Relations website at ir.newrelic.com or the SEC’s website at www.sec.gov. New Relic assumes no obligation and does not intend to update these forward-looking statements, except as required by law. New Relic makes no warranties, expressed or implied, in this presentation or otherwise, with respect to the information provided.
  3. ©2008–20 New Relic, Inc. All rights reserved 3 今日のお話すること •

    オブザーバビリティ成熟モデル • まとめ
  4. ©2008–20 New Relic, Inc. All rights reserved 4 今日のお話しないこと •

    New Relicのこと
  5. ©2008–20 New Relic, Inc. All rights reserved 5 歓迎 #o11yjp

  6. 6 ©2008–19 New Relic, Inc. All rights reserved 大谷 和紀(おおたに

    かずのり) • @katzchang • Senior Customer Success Manager • 略歴 ◦ SI業界 7年 ◦ VOYAGE GROUP / Zucks 8年 ◦ New Relic 4ヶ月 • AWS, Scala, Go, Make • ajito.fm 準レギュラー • ボルダリング ずっと中級者 自己紹介
  7. 7 ©2008–19 New Relic, Inc. All rights reserved Observability 成熟モデル

  8. オブザーバビリティ 成熟モデル Getting Started: 計測を始める 4 2 3 0 1

    Reactive: 受動的対応 Proactive: 積極的対応 Predictive: 予測的対応 Data Driven: データ駆動
  9. Observability 成熟モデル Getting Started: 計測を始める 4 2 3 0 1

    Reactive: 受動的対応 Proactive: 積極的対応 Predictive: 予測的対応 Data Driven: データ駆動
  10. ©2008–20 New Relic, Inc. All rights reserved Step 0: Getting

    Started 計測を始める • 何を持って正常に動いているとするのか ◦ For SRE ▪ Latency, Traffic, Errors, Saturation ◦ For Server App? ◦ For Browser App? ◦ For Mobile App? ◦ For ?? • どのように動いているか ◦ オブザーバビリティ 10
  11. ©2008–19 New Relic, Inc. All rights reserved 11 オブザーバビリティとは? 根本原因

    根本原因 根本原因 課題 症状 監視 • 動いているか動いていないか オブザーバビリティ • どう動いているのか
  12. ©2008–20 New Relic, Inc. All rights reserved オブザーバビリティ 4つの柱 12

    Metric Event Log 定期的にグループ 化,、収集された測 定値の集合 ある瞬間に発生す る個別のアクショ ン 特定のコードブ ロックが実行され たときにシステム が生成する、シン プルなテキスト行 Trace 異なるコンポーネ ント間のトランザク ションの因果連鎖
  13. Observability 成熟モデル Getting Started: 計測を始める 4 2 3 0 1

    Reactive: 受動的対応 Proactive: 積極的対応 Predictive: 予測的対応 Data Driven: データ駆動
  14. ©2008–20 New Relic, Inc. All rights reserved Step 1: Reactive

    受動的対応 行動例 指標例 • サービス停止への対応 • アラートへの対応 • 障害対応の改善 • … 14 • サービス停止率 • 障害発生率 • MTTR • …
  15. Observability 成熟モデル Getting Started: 計測を始める 4 2 3 0 1

    Reactive: 受動的対応 Proactive: 積極的対応 Predictive: 予測的対応 Data Driven: データ駆動
  16. ©2008–20 New Relic, Inc. All rights reserved Step 2: Proactive

    積極的対応 行動例 指標例 • 不安定さをなくす • パフォーマンスの改善 • サービスレベルの策定 • ユーザ体験の定義と計測 16 • エラー発生率 • レスポンスタイム • SLI/SLOの策定割合 • パフォーマンス別離脱率
  17. ©2008–20 New Relic, Inc. All rights reserved Step 2: Proactive

    積極的 特徴 • 不安定さをなくす • 応答時間そのものの改善 • 特性に応じたサービスレベルの定義と計測 • ユーザ体験の定義と計測 • 指標 • MTTD • SLI/SLOが定義されているサービスの割合 • クリティカル・ケイパビリティの策定の割合 17
  18. Observability 成熟モデル Getting Started: 計測を始める 4 2 3 0 1

    Reactive: 受動的対応 Proactive: 積極的対応 Predictive: 予測的対応 Data Driven: データ駆動
  19. ©2008–20 New Relic, Inc. All rights reserved Step 3: Predictive

    予測的対応 行動例 指標例 • ちょうどよいスケーリング • 避難訓練 • 実験的デプロイ 19 • コストの削減 • エラーバジェットの消費率 • デプロイ頻度
  20. ©2008–20 New Relic, Inc. All rights reserved ウェブサービスとモバイルアプリを運用し ている場合、違う品質保証のやり方をしな いとうまくいかない。

    自分が知ってるやり方で全部やろうとする と……とんでもない目に合う。 20 和田 卓人 - https://ajito.fm/40/
  21. ©2008–20 New Relic, Inc. All rights reserved Step 3: Predictive

    予測的対応 21 https://medium.com/@copyconstruct/testing-in-production-the-safe-way-18ca102d0ef1
  22. 成長企業とその他の企業の差 デプロイ頻度 コミットからデプロイまでの時間 障害からの復旧時間 変更時のエラー発生率 https://services.google.com/fh/files/misc/state-of-devops-2019.pdf

  23. Observability 成熟モデル Getting Started: 計測を始める 4 2 3 0 1

    Reactive: 受動的対応 Proactive: 積極的対応 Predictive: 予測的対応 Data Driven: データ駆動
  24. ©2008–20 New Relic, Inc. All rights reserved Step 4: Data

    Driven データ駆動 行動例 指標例 • デプロイの評価 • 顧客満足の向上 • カオスエンジニアリング 24 • ビジネス指標の向上 • CSAT/Netスコアの改善 • 環境によらないサービスの継続
  25. 25 ©2008–19 New Relic, Inc. All rights reserved まとめ

  26. Observability 成熟モデル Getting Started: 計測を始める 4 2 3 0 1

    Reactive: 受動的対応 Proactive: 積極的対応 Predictive: 予測的対応 Data Driven: データ駆動
  27. ©2008–20 New Relic, Inc. All rights reserved The goal of

    an observability team is not to collect logs, metrics or traces. It is to build a culture of engineering based on facts and feedback, and then spread that culture within the broader organization. オブザーバビリティチームの目標は、ログ、メトリクス、トレースの収 集ではない。 事実とフィードバックに基づいたエンジニアリング文化の構築であ り、その文化を組織全体に広げることがゴールだ。 27 https://twitter.com/taotetek/status/974989022115323904
  28. ©2008–20 New Relic, Inc. All rights reserved 28 ツールと文化 

  29. ©2008–20 New Relic, Inc. All rights reserved ツールを変えると運用が変わるんです。 運用が変わると何が変わると思います? 文化が変わるんです。

    文化がプロダクトを育てるんですよ。 29 曽根 壮大