Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
第17回 雲勉LT【オンライン】Amazon Managed Grafanaを使ってCloudWatchログを分析・可視化する
Search
iret.kumoben
March 26, 2024
Technology
0
73
第17回 雲勉LT【オンライン】Amazon Managed Grafanaを使ってCloudWatchログを分析・可視化する
下記、勉強会での資料です。
https://youtu.be/9lZp-eWf1L4
iret.kumoben
March 26, 2024
Tweet
Share
More Decks by iret.kumoben
See All by iret.kumoben
第140回 雲勉 今度こそ AWS CDK で構築してみたくなるようなCDK活用集
iret
0
33
第139回 雲勉 Amazon Q Developerで安全快適な IaC with Terraform
iret
0
32
第138回 雲勉 Google Cloudではじめるプラットフォームエンジニアリング
iret
0
30
第137回 雲勉 Google Cloud Vertex AIとLangGraphを味方につけてRAGを改善したひ
iret
0
78
第136回 雲勉 AIに構成図を読み込ませてサーバー作成(Amazon Bedrock)
iret
0
86
第135回 雲勉 AWS Verified Access 入門 ~ VPNを利用せずに拠点/端末からAWSへアクセス ~
iret
1
120
第134回 雲勉 未経験クラウドエンジニア1年生(社会人1年生)の奮闘記
iret
0
60
第133回 雲勉 【オンライン】今度こそ既存のAWSリソースをいい感じにコードに落とし込みたい!
iret
0
55
第132回 雲勉【オンライン】春の生成AI祭り
iret
1
73
Other Decks in Technology
See All in Technology
AWSで”最小権限の原則”を実現するための考え方 /20240722-ssmjp-aws-least-privilege
opelab
10
4.3k
20240717_イケコパ代表Copilot_in_Teams会社でこう使ってます
ponponmikankan
2
430
データ分析を支える技術 生成AI再入門
ishikawa_satoru
0
380
Git 研修 Basic【MIXI 24新卒技術研修】
mixi_engineers
PRO
0
310
Luupの開発組織におけるインシデントマネジメントの変遷 ver.RoadtoSRENEXT2024
grimoh
1
270
大規模ドラレコデータ収集・機械学習基盤を支える AWS CDK 〜導入・運用事例紹介〜
pemugi
0
110
サービス開発を前に進めるために 新米リードエンジニアが 取り組んだこと / Steps Taken by a Novice Lead Engineer to Advance Service Development
nologyance
0
180
プレイドにおけるDatadog APMの活用方法
plaidtech
PRO
2
120
AWSサービスメニュー開発をしていてAWSを好きだ!と感じた瞬間
toru_kubota
0
130
Amazon FSx for NetApp ONTAPのパフォーマンスチューニング要素をまとめてみた #cm_odyssey #devio2024
non97
0
220
How to Think Like a Performance Engineer
csswizardry
4
590
AutomatedLabを使って内部ペンテストを勉強しよう! -やられ社内ネットワークの自動構築-
n_etupirka
1
610
Featured
See All Featured
Music & Morning Musume
bryan
43
5.9k
How To Stay Up To Date on Web Technology
chriscoyier
784
250k
Adopting Sorbet at Scale
ufuk
71
8.8k
Build your cross-platform service in a week with App Engine
jlugia
227
17k
Keith and Marios Guide to Fast Websites
keithpitt
408
22k
Pencils Down: Stop Designing & Start Developing
hursman
118
11k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
12
3.8k
Faster Mobile Websites
deanohume
303
30k
Designing for Performance
lara
604
67k
Designing with Data
zakiwarfel
96
5k
StorybookのUI Testing Handbookを読んだ
zakiyama
15
4.9k
How to Ace a Technical Interview
jacobian
274
23k
Transcript
第17回 雲勉LT【オンライン】 Amazon Managed Grafanaを使って CloudWatchログを分析・可視化する
0.講師⾃⼰紹介 2 n 名前 上地航平(うえち こうへい) • (所属)クラウドインテグレーション事業部 MSP開発セクション •
(経歴) MSP運⽤→MSP開発 • (アイレット歴) 3年⽬ • (何か⼀⾔) 好きなAWSサービス︓Amazon Managed Grafana
アジェンダ 3 1. CloudWatchログを分析・可視化する⽅法 2. CloudWatch Logsインサイトクエリを使った⽅法 3. 事前にカスタムメトリクスを⽣成する⽅法 4.
カスタムメトリクスを採⽤する時の注意点 5. まとめ Amazon Managed Grafanaを使ってCloudWatchログを分析・可視化する
4 ▪まえがき 前回は「Amazon Managed Grafanaダッシュボードを⼀緒に構築しましょう」というテーマでお話させて頂きました。 そこではサンプルとして、CloudWatchメトリクスを可視化したりしました。 ▪本⽇のゴール 今回は構築したダッシュボード上にCloudWatchログを分析して可視化する⽅法についてお話したいと思っています。 以下2点を理解できる内容となっています。 •
CloudWatchログを分析・可視化する⽅法 • カスタムメトリクスを採⽤する際の注意点 ▪本⽇話さない内容 • Amazon Managed Grafanaダッシュボードの初期構築⼿順 過去の雲勉で解説させて頂いておりますので、ぜひご参照ください。 ◯ https://www.youtube.com/watch?v=yo56gGH_o90 1. 本⽇のゴール
1. CloudWatchログを分析・可視化す る⽅法 5
1. CloudWatchログを分析・可視化する⽅法 6 ▼Amazon Managed Grafanaで、CloudWatchログを可視化するにはどうすれば良いのでしょうか︖ ⼤きく2つの⽅法があります。 1. CloudWatch Logsインサイトクエリ(後述、インサイトクエリ)を使った⽅法。
2. 事前にカスタムメトリクスを⽣成する⽅法。 詳しく⾒ていきましょう。
2-1. CloudWatch Logsインサイトクエリを 使った⽅法 7
2-1. CloudWatch Logsインサイトクエリを使った⽅法 8 ▼有⽤なシナリオ 「複雑な条件指定によるフィルタリングや集計を⾏いたい。」 デメリットととして、扱うログのデータ量が多くなるとインサイトクエリで取得するまで実⾏に時間がかかったりしま す。 例︓1年分のログデータからフィルタ、集計する。 ▼可視化の⽅法
Amazon Managed Grafanaダッシュボードのパネルでは、インサイトクエリを設定できます。 このパネルは更新されたタイミングで、インサイトクエリを実⾏し最新データをダッシュボードに反映します。 実装⼿順
2-1. CloudWatch Logsインサイトクエリを使った⽅法 9 ⼿順 ①Amazon Managed Grafanaワークスペースにログインする。 ダッシュボード内の右上アイコンをクリックし、表⽰された「Add a
new panel」をクリックします。 パネル作成の詳細画⾯へ遷移する。 ②詳細画⾯で、対象のデータセットを選択します。 ③「CloudWatch Logs」を選択し、さらに「Select Log Group」をクリックする。対象ロググループを検索し選択します。 1 2 3 3
2-1. CloudWatch Logsインサイトクエリを使った⽅法 10 ④インサイトクエリを記述する。 ⑤「Run Query」をクリックすると、クエリ結果がパネルに表⽰されます。 →対象CWAログデータからフィルタしたり、集計したり様々な表⽰形式で可視化できます。 4 5
2-2. 事前にカスタムメトリクスを⽣成する⽅法 11
2-2. 事前にカスタムメトリクスを⽣成する⽅法 12 ▼有⽤なシナリオ 「特定のログデータの出現頻度を可視化したい。」 インサイトクエリと⽐較すると、⻑期間においてログデータ出現頻度を低コストで可視化できます。 ▼可視化の⽅法 CloudWatch Logsのメトリクスフィルターを使⽤して、カスタムメトリクスを事前に⽣成します。 Amazon
Managed Grafanaでは、カスタムメトリクスをデータソースとして可視化します。 2023-04-25T10:15:32.456Z [INFO] UserService - xxx 2023-04-25T10:16:01.789Z [WARN] PaymentGateway - xxx 2023-04-25T10:16:05.123Z [ERROR] DatabaseConnection - xxx 2023-04-25T10:17:10.789Z [WARN] InventoryManager - xxx 2023-04-25T10:18:30.456Z [INFO] ProductRecommendation -xxx このログの出現頻度だけを可視化したい など、低コストで実現できます。
2-2. 事前にカスタムメトリクスを⽣成する⽅法 13 ⼿順 ①AWSアカウントにログイン後、「CloudWatch」サービス画⾯に遷移する。 ②「対象ロググループ」をクリックし詳細画⾯へ遷移する。 ③アクションタブの中から「メトリクスフィルターを作成」をクリックする。 ④メトリクスフィルター作成画⾯では、フィルターパターンを⼊⼒する。 (1つのメトリクスフィルターにつき、1つのフィルターパターンを定義できます。) 1
2 3 4
2-2. 事前にカスタムメトリクスを⽣成する⽅法 14 ⑤⾚枠の箇所には作成したいリソース名で作成する。 ※「メトリクス名前空間」と「メトリクス名」は、Amazon Managed Grafanaパネルの作成で使⽤するので控えます。 5 5
2-2. 事前にカスタムメトリクスを⽣成する⽅法 15 ⑥「すべてのメトリクス」をクリックする。 ⑦ ⑤の⼿順で命名した「メトリクス名前空間」が存在している事。またカスタムメトリクスが発⽣している事を確認する。 6 7
2-2. 事前にカスタムメトリクスを⽣成する⽅法 16 <Amazon Managed Grafanaの操作に移ります(パネル作成⽅法はp.11と同様のため割愛します。)> ⑧ 「CloudWatch Metrics」と「Metric Search」を選択する。
⑨「Namespace」と「Metric name」は、メトリクスフィルター作成⼿順で⼊⼒した「メトリクス名前空間」、「メトリク ス名」とする。 ⑩「Run Query」をクリックし、カスタムメトリクスが確認できればOK。 8 9 8 10
3. カスタムメトリクスを採⽤する時の注意点 17
3. カスタムメトリクスを採⽤する時の注意点 18 CloudWatchの標準メトリクスとカスタムメトリクスは、次のように抽象化されます。 • 1⽇〜14⽇まで 1分間隔で集約されます。 • 15⽇~62⽇まで 5分間隔で集約されます。
• 63⽇~454⽇まで 1時間間隔で集約されます。 • 455⽇以降 1⽇間隔で集約されます。 タイムスタンプ 値 01:00 1 01:01 2 01:03 3 01:04 4 01:05 5 例︓メトリクス発⽣タイミング データポイントの統計情報 値 合計 15 平均 15 最⼩ 15 最⼤ 15 データポイントの統計情報 値 合計 15 平均 3 最⼩ 1 最⼤ 5 “15”に集約される 1⽇~14⽇まで 15⽇~62⽇まで
4. まとめ 19
4. まとめ 20 ▶ CWAログのデータを、Amazon Managed Grafanaで可視化する⽅法は2つあります。 ①インサイトクエリを使った⽅法。 ↳柔軟にフィルタリングでき集計が可能です。 しかし⻑期間のデータを扱う場合、⽐例してクエリスキャン量や実⾏時間なども多くなりますので注意が必要で
す。 ②事前にカスタムメトリクスを⽣成する⽅法。 ↳⻑期間の可視化したいログデータが特定できている場合などのシチュエーションに最適です。低コストで実装 可能です。しかし以下のメトリクス要件に注意が必要です。 ▶ カスタムメトリクスを採⽤する際は、データポイントの抽象化が許容できるか要件を確認しましょう。
動画URL 21 n 動画タイトル 第17回 雲勉LT Amazon Managed Grafanaを使ってCloudWatchログを分析・可視化する n
動画URL https://youtu.be/9lZp-eWf1L4
22 ご清聴頂きありがとうございました。