Slide 1

Slide 1 text

©2008–20 New Relic, Inc. All rights reserved オビザーバビリティ成熟モデル Kazunori Otani 2020-03-17, Observability Japan Online #1

Slide 2

Slide 2 text

©2008–20 New Relic, Inc. All rights reserved 2 Safe Harbor This presentation and the information herein (including any information that may be incorporated by reference) is provided for informational purposes only and should not be construed as an offer, commitment, promise or obligation on behalf of New Relic, Inc. (“New Relic”) to sell securities or deliver any product, material, code, functionality, or other feature. Any information provided hereby is proprietary to New Relic and may not be replicated or disclosed without New Relic’s express written permission. Such information may contain forward-looking statements within the meaning of federal securities laws. Any statement that is not a historical fact or refers to expectations, projections, future plans, objectives, estimates, goals, or other characterizations of future events is a forward-looking statement. These forward-looking statements can often be identified as such because the context of the statement will include words such as “believes,” “anticipates,” “expects” or words of similar import. Actual results may differ materially from those expressed in these forward-looking statements, which speak only as of the date hereof, and are subject to change at any time without notice. Existing and prospective investors, customers and other third parties transacting business with New Relic are cautioned not to place undue reliance on this forward-looking information. The achievement or success of the matters covered by such forward-looking statements are based on New Relic’s current assumptions, expectations, and beliefs and are subject to substantial risks, uncertainties, assumptions, and changes in circumstances that may cause the actual results, performance, or achievements to differ materially from those expressed or implied in any forward-looking statement. Further information on factors that could affect such forward-looking statements is included in the filings New Relic makes with the SEC from time to time. Copies of these documents may be obtained by visiting New Relic’s Investor Relations website at ir.newrelic.com or the SEC’s website at www.sec.gov. New Relic assumes no obligation and does not intend to update these forward-looking statements, except as required by law. New Relic makes no warranties, expressed or implied, in this presentation or otherwise, with respect to the information provided.

Slide 3

Slide 3 text

©2008–20 New Relic, Inc. All rights reserved 3 今日のお話すること ● オブザーバビリティ成熟モデル ● まとめ

Slide 4

Slide 4 text

©2008–20 New Relic, Inc. All rights reserved 4 今日のお話しないこと ● New Relicのこと

Slide 5

Slide 5 text

©2008–20 New Relic, Inc. All rights reserved 5 歓迎 #o11yjp

Slide 6

Slide 6 text

6 ©2008–19 New Relic, Inc. All rights reserved 大谷 和紀(おおたに かずのり) ● @katzchang ● Senior Customer Success Manager ● 略歴 ○ SI業界 7年 ○ VOYAGE GROUP / Zucks 8年 ○ New Relic 4ヶ月 ● AWS, Scala, Go, Make ● ajito.fm 準レギュラー ● ボルダリング ずっと中級者 自己紹介

Slide 7

Slide 7 text

7 ©2008–19 New Relic, Inc. All rights reserved Observability 成熟モデル

Slide 8

Slide 8 text

オブザーバビリティ 成熟モデル Getting Started: 計測を始める 4 2 3 0 1 Reactive: 受動的対応 Proactive: 積極的対応 Predictive: 予測的対応 Data Driven: データ駆動

Slide 9

Slide 9 text

Observability 成熟モデル Getting Started: 計測を始める 4 2 3 0 1 Reactive: 受動的対応 Proactive: 積極的対応 Predictive: 予測的対応 Data Driven: データ駆動

Slide 10

Slide 10 text

©2008–20 New Relic, Inc. All rights reserved Step 0: Getting Started 計測を始める ● 何を持って正常に動いているとするのか ○ For SRE ■ Latency, Traffic, Errors, Saturation ○ For Server App? ○ For Browser App? ○ For Mobile App? ○ For ?? ● どのように動いているか ○ オブザーバビリティ 10

Slide 11

Slide 11 text

©2008–19 New Relic, Inc. All rights reserved 11 オブザーバビリティとは? 根本原因 根本原因 根本原因 課題 症状 監視 • 動いているか動いていないか オブザーバビリティ • どう動いているのか

Slide 12

Slide 12 text

©2008–20 New Relic, Inc. All rights reserved オブザーバビリティ 4つの柱 12 Metric Event Log 定期的にグループ 化,、収集された測 定値の集合 ある瞬間に発生す る個別のアクショ ン 特定のコードブ ロックが実行され たときにシステム が生成する、シン プルなテキスト行 Trace 異なるコンポーネ ント間のトランザク ションの因果連鎖

Slide 13

Slide 13 text

Observability 成熟モデル Getting Started: 計測を始める 4 2 3 0 1 Reactive: 受動的対応 Proactive: 積極的対応 Predictive: 予測的対応 Data Driven: データ駆動

Slide 14

Slide 14 text

©2008–20 New Relic, Inc. All rights reserved Step 1: Reactive 受動的対応 行動例 指標例 ● サービス停止への対応 ● アラートへの対応 ● 障害対応の改善 ● … 14 ● サービス停止率 ● 障害発生率 ● MTTR ● …

Slide 15

Slide 15 text

Observability 成熟モデル Getting Started: 計測を始める 4 2 3 0 1 Reactive: 受動的対応 Proactive: 積極的対応 Predictive: 予測的対応 Data Driven: データ駆動

Slide 16

Slide 16 text

©2008–20 New Relic, Inc. All rights reserved Step 2: Proactive 積極的対応 行動例 指標例 ● 不安定さをなくす ● パフォーマンスの改善 ● サービスレベルの策定 ● ユーザ体験の定義と計測 16 ● エラー発生率 ● レスポンスタイム ● SLI/SLOの策定割合 ● パフォーマンス別離脱率

Slide 17

Slide 17 text

©2008–20 New Relic, Inc. All rights reserved Step 2: Proactive 積極的 特徴 ● 不安定さをなくす ● 応答時間そのものの改善 ● 特性に応じたサービスレベルの定義と計測 ● ユーザ体験の定義と計測 ● 指標 ● MTTD ● SLI/SLOが定義されているサービスの割合 ● クリティカル・ケイパビリティの策定の割合 17

Slide 18

Slide 18 text

Observability 成熟モデル Getting Started: 計測を始める 4 2 3 0 1 Reactive: 受動的対応 Proactive: 積極的対応 Predictive: 予測的対応 Data Driven: データ駆動

Slide 19

Slide 19 text

©2008–20 New Relic, Inc. All rights reserved Step 3: Predictive 予測的対応 行動例 指標例 ● ちょうどよいスケーリング ● 避難訓練 ● 実験的デプロイ 19 ● コストの削減 ● エラーバジェットの消費率 ● デプロイ頻度

Slide 20

Slide 20 text

©2008–20 New Relic, Inc. All rights reserved ウェブサービスとモバイルアプリを運用し ている場合、違う品質保証のやり方をしな いとうまくいかない。 自分が知ってるやり方で全部やろうとする と……とんでもない目に合う。 20 和田 卓人 - https://ajito.fm/40/

Slide 21

Slide 21 text

©2008–20 New Relic, Inc. All rights reserved Step 3: Predictive 予測的対応 21 https://medium.com/@copyconstruct/testing-in-production-the-safe-way-18ca102d0ef1

Slide 22

Slide 22 text

成長企業とその他の企業の差 デプロイ頻度 コミットからデプロイまでの時間 障害からの復旧時間 変更時のエラー発生率 https://services.google.com/fh/files/misc/state-of-devops-2019.pdf

Slide 23

Slide 23 text

Observability 成熟モデル Getting Started: 計測を始める 4 2 3 0 1 Reactive: 受動的対応 Proactive: 積極的対応 Predictive: 予測的対応 Data Driven: データ駆動

Slide 24

Slide 24 text

©2008–20 New Relic, Inc. All rights reserved Step 4: Data Driven データ駆動 行動例 指標例 ● デプロイの評価 ● 顧客満足の向上 ● カオスエンジニアリング 24 ● ビジネス指標の向上 ● CSAT/Netスコアの改善 ● 環境によらないサービスの継続

Slide 25

Slide 25 text

25 ©2008–19 New Relic, Inc. All rights reserved まとめ

Slide 26

Slide 26 text

Observability 成熟モデル Getting Started: 計測を始める 4 2 3 0 1 Reactive: 受動的対応 Proactive: 積極的対応 Predictive: 予測的対応 Data Driven: データ駆動

Slide 27

Slide 27 text

©2008–20 New Relic, Inc. All rights reserved The goal of an observability team is not to collect logs, metrics or traces. It is to build a culture of engineering based on facts and feedback, and then spread that culture within the broader organization. オブザーバビリティチームの目標は、ログ、メトリクス、トレースの収 集ではない。 事実とフィードバックに基づいたエンジニアリング文化の構築であ り、その文化を組織全体に広げることがゴールだ。 27 https://twitter.com/taotetek/status/974989022115323904

Slide 28

Slide 28 text

©2008–20 New Relic, Inc. All rights reserved 28 ツールと文化 

Slide 29

Slide 29 text

©2008–20 New Relic, Inc. All rights reserved ツールを変えると運用が変わるんです。 運用が変わると何が変わると思います? 文化が変わるんです。 文化がプロダクトを育てるんですよ。 29 曽根 壮大