Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Observabilityとダッシュボードのベストプラクティス
Search
o11yfes
October 05, 2023
Technology
0
590
Observabilityとダッシュボードのベストプラクティス
o11yfes
October 05, 2023
Tweet
Share
More Decks by o11yfes
See All by o11yfes
Observabilityジャーニーを実現するためのAWSサービス:CloudWatch編
o11yfes2023
0
540
Observability はじめの一歩 CloudWatch Synthetics
o11yfes2023
0
330
Observabilityジャーニーを実現するためのAWSサービス:OSS編
o11yfes2023
1
410
AWS Observability ベストプラクティス 大紹介
o11yfes2023
0
610
AWS Observability 関連最新アップデート
o11yfes2023
0
290
Amazon CloudWatchはじめとしたObservabilityの最近のアップデート紹介
o11yfes2023
0
340
ECサイトのサーバ監視: コード化の取り組みとメリット
o11yfes2023
0
200
マイクロサービスのためのシステム運用を一瞬でラクにするオブザーバビリティ事例
o11yfes2023
1
460
Other Decks in Technology
See All in Technology
Introduction to OpenSearch Project - Search Engineering Tech Talk 2025 Winter
tkykenmt
2
150
事業モメンタムを生み出すプロダクト開発
macchiitaka
0
100
サイト信頼性エンジニアリングとAmazon Web Services / SRE and AWS
ymotongpoo
7
1.7k
ExaDB-XSで利用されているExadata Exascaleについて
oracle4engineer
PRO
3
280
LINE NEWSにおけるバックエンド開発
lycorptech_jp
PRO
0
330
[OpsJAWS Meetup33 AIOps] Amazon Bedrockガードレールで守る安全なAI運用
akiratameto
1
120
サバイバルモード下でのエンジニアリングマネジメント
konifar
8
1.8k
OPENLOGI Company Profile for engineer
hr01
1
20k
ディスプレイ広告(Yahoo!広告・LINE広告)におけるバックエンド開発
lycorptech_jp
PRO
0
500
いまからでも遅くない!コンテナでWebアプリを動かしてみよう!コンテナハンズオン編
nomu
0
170
マーケットプレイス版Oracle WebCenter Content For OCI
oracle4engineer
PRO
3
540
LINEギフトにおけるバックエンド開発
lycorptech_jp
PRO
0
390
Featured
See All Featured
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
233
17k
Rebuilding a faster, lazier Slack
samanthasiow
80
8.9k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
How to Ace a Technical Interview
jacobian
276
23k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
33
2.1k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
30
4.6k
Building a Modern Day E-commerce SEO Strategy
aleyda
38
7.1k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
33
2.8k
Optimising Largest Contentful Paint
csswizardry
34
3.1k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
6
580
Done Done
chrislema
182
16k
The Pragmatic Product Professional
lauravandoore
32
6.4k
Transcript
Observabilityと Dashboard Best Practice 2023/9/22 ソリューションアーキテクト 宮崎 友貴 © 2023,
Amazon Web Services, Inc. or its affiliates.
© 2023, Amazon Web Services, Inc. or its affiliates. 2
⾃⼰紹介 名前︓宮崎 友貴 所属︓技術統括本部 エンタープライズ技術本部 通信・メディアグループ 通信ソリューション第⼀部 担当アカウント︓通信業界のお客様 好きなAWSサービス︓CloudWatch / Lambda
© 2023, Amazon Web Services, Inc. or its affiliates. アジェンダ
1. Observability ベストプラクティス 2. ダッシュボード ベストプラクティス 3. CloudWatch Dashboard の活⽤
Observability ベストプラクティス
© 2023, Amazon Web Services, Inc. or its affiliates. Observability(可観測性)
視認性 迅速なトラブル シューティング 顧客体験
© 2023, Amazon Web Services, Inc. or its affiliates. Observability
ベストプラクティス 1. 成功の基準を明確にし、重要なものを監視する 2. システム全体の健全性の把握とツールの選定をする 3. ワークロードの全てのレイヤーからテレメトリーデータを収集する 4. データは重要だが、細部にとらわれすぎない 5. 最初からObservabilityを組み込む ワークロード︓クラウドアプリケーションを構成するリソースとコードのコレクション テレメトリーデータ︓メトリクス、ログ、トレースなどのシステムの状態を表すデータ AWS Observability Best Practices︓ https://aws-observability.github.io/observability-best-practices/guides/#best-practices-overview
© 2023, Amazon Web Services, Inc. or its affiliates. Observability
のサイクル インストルメンテーション* ログ、メトリクス、 トレース アラーム、 ダッシュボード 質問 運⽤の カイゼン *Instrumentation = ログ、メトリクス、トレースなどのデータを取得し 外部に送信できるようシステムに組み込むこと
© 2023, Amazon Web Services, Inc. or its affiliates. Amazonにおけるインシデントの対応例
ポストモーテム 様々なツール による分析 アラーム ダッシュボード メトリクス分析 ログ分析 ⽣ログ トレース 抽 象 度 ⾼ 低 インシデントによる影響から 再発防⽌策などをまとめた⽂書
© 2023, Amazon Web Services, Inc. or its affiliates. Amazonにおけるインシデントの対応例
ポストモーテム 様々なツール による分析 アラーム ダッシュボード メトリクス分析 ログ分析 ⽣ログ トレース 抽 象 度 ⾼ 低 インシデントによる影響から 再発防⽌策などをまとめた⽂書
ダッシュボード ベストプラクティス
© 2023, Amazon Web Services, Inc. or its affiliates. ダッシュボードベストプラクティス
1. ⽬的別ダッシュボードの構築 2. 適切な情報を適切な⽅法で表⽰するダッシュボードの設計 3. 常に改善と拡張を繰り返すダッシュボードのメンテナンス
© 2023, Amazon Web Services, Inc. or its affiliates. ⽬的別ダッシュボードの構築
ユーザー AWS Cloud API マイクロサービス EC2インスタンス データベース バックエンド マイクロサービス コンテナ Lambda バックエンド マイクロサービス
© 2023, Amazon Web Services, Inc. or its affiliates. インフラストラクチャ
ダッシュボード ⽬的別ダッシュボードの構築 ユーザー マイクロサービス ダッシュボード システム ダッシュボード カスタマーエクスペリエンス ダッシュボード 依存関係 ダッシュボード AWS Cloud API マイクロサービス EC2インスタンス データベース バックエンド マイクロサービス コンテナ Lambda バックエンド マイクロサービス 使⽤するユーザーおよび使⽤する理由に基づいて、 各ダッシュボードを作成することが重要 ⾼レベル ⾼レベル ビジネスオーナー サービスオペレーター あらゆる関係者 低レベル 低レベル 低レベル インフラ 運⽤担当 各サービス 主管/開発者 各サービス 主管/開発者 システム 運⽤担当
© 2023, Amazon Web Services, Inc. or its affiliates. 14
⾼レベル 低レベル ︓サービスレイヤー ︓インフラレイヤー カスタマーエクスペリエンスダッシュボード • Amazon で最も重要かつ広く使われている • 「影響を受ける顧客の数は︖」といった質問に答える • サービスの健全性や外型監視、RUM の情報など システムレベルでのダッシュボード • システムやエンドポイントが動作していることを確認 • ⼊⼒関連、処理関連、出⼒関連の情報を表⽰する キャパシティプランニングと予測ダッシュボード • サービス成⻑の視覚化により⻑期的な予測に役⽴てる 伝えたいメッセージを絞るため、 これらのダッシュボードでは情報の過多を避ける マイクロサービス固有のダッシュボード • サービスの実装に特化したデータを表⽰ • 運⽤メンバーはデータの異常を特定するのに活⽤ インフラストラクチャのダッシュボード • インフラのリソースを確認 依存関係のダッシュボード • 他チームのマイクロサービスと依存関係がある場合作成 • 依存関係に特化した専⽤のダッシュボードを⽤意する 各チームがリクエストに関する特定の処理を担当するので 1つ以上の専⽤マイクロサービスに特化した ダッシュボードを作成する ビジネスオーナー サービスオペレーター あらゆる関係者 各サービス主管/開発者 インフラ運⽤担当 使⽤するユーザーおよび使⽤する理由に基づいて、 各ダッシュボードを作成することが重要 ⽬的別ダッシュボードの構築
© 2023, Amazon Web Services, Inc. or its affiliates. ダッシュボードの設計
参照︓https://aws.amazon.com/builders-library/building-dashboards-for-operational-visibility/ 最重要なメトリクスは最上部に⼤きく表⽰ 想定しうる最⼩のディスプレイサイズにレイアウト 単⼀のタイムゾーン (例:UTC) を表⽰ エラー時だけメトリクス表⽰するような グラフには頼らない 最⼩の時間間隔とデータポイントピリオドを使⽤ ⾒る⼈がすぐに理解し使うことができることが 重要
© 2023, Amazon Web Services, Inc. or its affiliates. ダッシュボードの設計
同⼀の時間幅と分解能でデータを表⽰ アラームのしきい値でグラフに注釈を付ける 1 つのグラフ内で過多な情報表⽰を避ける 縮⼩表⽰によりデータポイントの範囲に合わせる 左と右の両⽅の y 軸をすでに表⽰しているグラフでは、 ⽔平ラインを追加表⽰しないかグラフを分ける データの範囲が⼤きく異なる複数のメトリクスでは、 過多な表⽰を避ける
© 2023, Amazon Web Services, Inc. or its affiliates. ダッシュボードの設計
設計書や⼿順書のリンクを挿⼊ グラフの説明⽂をテキストで表⽰ ユースケースによって、 メトリクスの最新値、アラームステータスを活⽤
© 2023, Amazon Web Services, Inc. or its affiliates. ダッシュボードのメンテナンス
新機能のデプロイ前 “ ダッシュボードに何か変更はありますか ? ” ポイント • 開発プロセスに組み込み、ダッシュボードを更新する • ステージング環境にも同様のダッシュボードを⽤意する • ダッシュボードのレイアウトに IaC を採⽤する ダッシュボードを更新する 常に改善と拡張を続けることが重要 ダッシュボードは⼀度作ったら終わりではない
© 2023, Amazon Web Services, Inc. or its affiliates. ダッシュボードのメンテナンス
ダッシュボードは⼀度作ったら終わりではない “ ダッシュボードはお客様への影響を明確にしましたか? ” “障害原因を明確にすることに貢献しましたか? ” “ 修復時間を短くすることの助けになりましたか? ” 常に改善と拡張を続けることが重要 ポイント • 根本原因をより早く特定できたか、平均復旧時間を短縮できたかどうかを検討する • 価値のなくなったグラフは積極的に削除する ダッシュボードを改良する 障害発⽣後
© 2023, Amazon Web Services, Inc. or its affiliates. 週次のオペレーション会議でレビュー
約15分のスロットで分割 参照︓https://aws.amazon.com/jp/blogs/opensource/the-wheel/
CloudWatch Dashboard の活用
© 2023, Amazon Web Services, Inc. or its affiliates. CloudWatch
Dashboard • 折れ線グラフ、数値、ゲージ、テキスト、ア ラーム、Lambdaによるカスタムウィジェット でお好みのダッシュボードを作成 • 異なるアカウント、異なるリージョンの リソースでも、ダッシュボード化が可能 • ⾃動更新間隔(10s, 1m, 2m, 5m, 15m)、 時間範囲、タイムゾーンの調整が可能 • 異なる時間範囲での⽐較が可能 • ⾃動⽣成ダッシュボードも活⽤可能 カスタマイズ可能なダッシュボードを作成 Amazon CloudWatch
Q&A
Thank you!