$30 off During Our Annual Pro Sale. View Details »

オビザーバビリティ成熟モデル

 オビザーバビリティ成熟モデル

Observability Japan Online #1

Kazunori Otani

March 17, 2020
Tweet

More Decks by Kazunori Otani

Other Decks in Technology

Transcript

  1. ©2008–20 New Relic, Inc. All rights reserved
    オビザーバビリティ成熟モデル
    Kazunori Otani
    2020-03-17, Observability Japan Online #1

    View Slide

  2. ©2008–20 New Relic, Inc. All rights reserved 2
    Safe Harbor
    This presentation and the information herein (including any information that may be incorporated by reference) is provided for informational
    purposes only and should not be construed as an offer, commitment, promise or obligation on behalf of New Relic, Inc. (“New Relic”) to sell
    securities or deliver any product, material, code, functionality, or other feature. Any information provided hereby is proprietary to New Relic and
    may not be replicated or disclosed without New Relic’s express written permission.
    Such information may contain forward-looking statements within the meaning of federal securities laws. Any statement that is not a historical
    fact or refers to expectations, projections, future plans, objectives, estimates, goals, or other characterizations of future events is a
    forward-looking statement. These forward-looking statements can often be identified as such because the context of the statement will include
    words such as “believes,” “anticipates,” “expects” or words of similar import.
    Actual results may differ materially from those expressed in these forward-looking statements, which speak only as of the date hereof, and are
    subject to change at any time without notice. Existing and prospective investors, customers and other third parties transacting business with
    New Relic are cautioned not to place undue reliance on this forward-looking information. The achievement or success of the matters covered by
    such forward-looking statements are based on New Relic’s current assumptions, expectations, and beliefs and are subject to substantial risks,
    uncertainties, assumptions, and changes in circumstances that may cause the actual results, performance, or achievements to differ materially
    from those expressed or implied in any forward-looking statement. Further information on factors that could affect such forward-looking
    statements is included in the filings New Relic makes with the SEC from time to time. Copies of these documents may be obtained by visiting
    New Relic’s Investor Relations website at ir.newrelic.com or the SEC’s website at www.sec.gov.
    New Relic assumes no obligation and does not intend to update these forward-looking statements, except as required by law. New Relic makes
    no warranties, expressed or implied, in this presentation or otherwise, with respect to the information provided.

    View Slide

  3. ©2008–20 New Relic, Inc. All rights reserved 3
    今日のお話すること
    ● オブザーバビリティ成熟モデル
    ● まとめ

    View Slide

  4. ©2008–20 New Relic, Inc. All rights reserved 4
    今日のお話しないこと
    ● New Relicのこと

    View Slide

  5. ©2008–20 New Relic, Inc. All rights reserved 5
    歓迎
    #o11yjp

    View Slide

  6. 6
    ©2008–19 New Relic, Inc. All rights reserved
    大谷 和紀(おおたに かずのり)
    ● @katzchang
    ● Senior Customer Success Manager
    ● 略歴
    ○ SI業界 7年
    ○ VOYAGE GROUP / Zucks 8年
    ○ New Relic 4ヶ月
    ● AWS, Scala, Go, Make
    ● ajito.fm 準レギュラー
    ● ボルダリング ずっと中級者
    自己紹介

    View Slide

  7. 7
    ©2008–19 New Relic, Inc. All rights reserved
    Observability 成熟モデル

    View Slide

  8. オブザーバビリティ 成熟モデル
    Getting Started: 計測を始める
    4
    2
    3
    0
    1 Reactive: 受動的対応
    Proactive: 積極的対応
    Predictive: 予測的対応
    Data Driven: データ駆動

    View Slide

  9. Observability 成熟モデル
    Getting Started: 計測を始める
    4
    2
    3
    0
    1 Reactive: 受動的対応
    Proactive: 積極的対応
    Predictive: 予測的対応
    Data Driven: データ駆動

    View Slide

  10. ©2008–20 New Relic, Inc. All rights reserved
    Step 0: Getting Started 計測を始める
    ● 何を持って正常に動いているとするのか
    ○ For SRE
    ■ Latency, Traffic, Errors, Saturation
    ○ For Server App?
    ○ For Browser App?
    ○ For Mobile App?
    ○ For ??
    ● どのように動いているか
    ○ オブザーバビリティ
    10

    View Slide

  11. ©2008–19 New Relic, Inc. All rights reserved 11
    オブザーバビリティとは?
    根本原因
    根本原因
    根本原因
    課題
    症状
    監視
    • 動いているか動いていないか
    オブザーバビリティ
    • どう動いているのか

    View Slide

  12. ©2008–20 New Relic, Inc. All rights reserved
    オブザーバビリティ 4つの柱
    12
    Metric Event Log
    定期的にグループ
    化,、収集された測
    定値の集合
    ある瞬間に発生す
    る個別のアクショ

    特定のコードブ
    ロックが実行され
    たときにシステム
    が生成する、シン
    プルなテキスト行
    Trace
    異なるコンポーネ
    ント間のトランザク
    ションの因果連鎖

    View Slide

  13. Observability 成熟モデル
    Getting Started: 計測を始める
    4
    2
    3
    0
    1 Reactive: 受動的対応
    Proactive: 積極的対応
    Predictive: 予測的対応
    Data Driven: データ駆動

    View Slide

  14. ©2008–20 New Relic, Inc. All rights reserved
    Step 1: Reactive 受動的対応
    行動例 指標例
    ● サービス停止への対応
    ● アラートへの対応
    ● 障害対応の改善
    ● …
    14
    ● サービス停止率
    ● 障害発生率
    ● MTTR
    ● …

    View Slide

  15. Observability 成熟モデル
    Getting Started: 計測を始める
    4
    2
    3
    0
    1 Reactive: 受動的対応
    Proactive: 積極的対応
    Predictive: 予測的対応
    Data Driven: データ駆動

    View Slide

  16. ©2008–20 New Relic, Inc. All rights reserved
    Step 2: Proactive 積極的対応
    行動例 指標例
    ● 不安定さをなくす
    ● パフォーマンスの改善
    ● サービスレベルの策定
    ● ユーザ体験の定義と計測
    16
    ● エラー発生率
    ● レスポンスタイム
    ● SLI/SLOの策定割合
    ● パフォーマンス別離脱率

    View Slide

  17. ©2008–20 New Relic, Inc. All rights reserved
    Step 2: Proactive 積極的
    特徴
    ● 不安定さをなくす
    ● 応答時間そのものの改善
    ● 特性に応じたサービスレベルの定義と計測
    ● ユーザ体験の定義と計測

    指標
    ● MTTD
    ● SLI/SLOが定義されているサービスの割合
    ● クリティカル・ケイパビリティの策定の割合
    17

    View Slide

  18. Observability 成熟モデル
    Getting Started: 計測を始める
    4
    2
    3
    0
    1 Reactive: 受動的対応
    Proactive: 積極的対応
    Predictive: 予測的対応
    Data Driven: データ駆動

    View Slide

  19. ©2008–20 New Relic, Inc. All rights reserved
    Step 3: Predictive 予測的対応
    行動例 指標例
    ● ちょうどよいスケーリング
    ● 避難訓練
    ● 実験的デプロイ
    19
    ● コストの削減
    ● エラーバジェットの消費率
    ● デプロイ頻度

    View Slide

  20. ©2008–20 New Relic, Inc. All rights reserved
    ウェブサービスとモバイルアプリを運用し
    ている場合、違う品質保証のやり方をしな
    いとうまくいかない。
    自分が知ってるやり方で全部やろうとする
    と……とんでもない目に合う。
    20
    和田 卓人 - https://ajito.fm/40/

    View Slide

  21. ©2008–20 New Relic, Inc. All rights reserved
    Step 3: Predictive 予測的対応
    21
    https://medium.com/@copyconstruct/testing-in-production-the-safe-way-18ca102d0ef1

    View Slide

  22. 成長企業とその他の企業の差
    デプロイ頻度 コミットからデプロイまでの時間
    障害からの復旧時間 変更時のエラー発生率
    https://services.google.com/fh/files/misc/state-of-devops-2019.pdf

    View Slide

  23. Observability 成熟モデル
    Getting Started: 計測を始める
    4
    2
    3
    0
    1 Reactive: 受動的対応
    Proactive: 積極的対応
    Predictive: 予測的対応
    Data Driven: データ駆動

    View Slide

  24. ©2008–20 New Relic, Inc. All rights reserved
    Step 4: Data Driven データ駆動
    行動例 指標例
    ● デプロイの評価
    ● 顧客満足の向上
    ● カオスエンジニアリング
    24
    ● ビジネス指標の向上
    ● CSAT/Netスコアの改善
    ● 環境によらないサービスの継続

    View Slide

  25. 25
    ©2008–19 New Relic, Inc. All rights reserved
    まとめ

    View Slide

  26. Observability 成熟モデル
    Getting Started: 計測を始める
    4
    2
    3
    0
    1 Reactive: 受動的対応
    Proactive: 積極的対応
    Predictive: 予測的対応
    Data Driven: データ駆動

    View Slide

  27. ©2008–20 New Relic, Inc. All rights reserved
    The goal of an observability team is not to collect logs,
    metrics or traces.
    It is to build a culture of engineering based on facts
    and feedback, and then spread that culture within the
    broader organization.
    オブザーバビリティチームの目標は、ログ、メトリクス、トレースの収
    集ではない。
    事実とフィードバックに基づいたエンジニアリング文化の構築であ
    り、その文化を組織全体に広げることがゴールだ。
    27
    https://twitter.com/taotetek/status/974989022115323904

    View Slide

  28. ©2008–20 New Relic, Inc. All rights reserved 28
    ツールと文化 

    View Slide

  29. ©2008–20 New Relic, Inc. All rights reserved
    ツールを変えると運用が変わるんです。
    運用が変わると何が変わると思います?
    文化が変わるんです。
    文化がプロダクトを育てるんですよ。
    29
    曽根 壮大

    View Slide