Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
何を使って可視化する?AWSでのログ分析/What-do-you-use-to-visuali...
Search
emi
May 23, 2024
Technology
2
1.6k
何を使って可視化する?AWSでのログ分析/What-do-you-use-to-visualise-it-log-analysis-in-AWS
Hibiya.Tech #5「愛情爆発!わたしの推し技術を語りたい」
登壇資料です。
https://classmethod.connpass.com/event/316770/
emi
May 23, 2024
Tweet
Share
More Decks by emi
See All by emi
DynamoDB でスロットリングが発生したとき/when_throttling_occurs_in_dynamodb_short
emiki
0
430
DynamoDB でスロットリングが発生したとき_大盛りver/when_throttling_occurs_in_dynamodb_long
emiki
1
660
AWS ログ解析のオデッセイ~システムの息遣いを読み解く冒険~/aws-log-analysis-odyssey-deciphering-the-breathing-of-systems
emiki
2
1.4k
Terraformあれやこれ/terraform-this-and-that
emiki
9
3.5k
AWS を使う上で知っておきたいオンプレミス知識/aws-on-premise-essentials
emiki
1
5.4k
サーバーのセキュリティ対策とコンテナのセキュリティ対策の違い/hibiyatech_differences-between-server-security-and-container-security
emiki
0
1.6k
FSx for NetApp ONTAP のエンドポイントについて語りたい/hibiyatech1-i-want-to-talk-about-fsx-for-netapp-ontap-endpoints
emiki
0
1.1k
トレーナー視点を盗む~AWSトレーニングを通して学ぶ他者への伝え方~/Imitating-the-trainers-perspective-learning-how-to-communicate-to-others-through-AWS-training
emiki
0
67
IAM ロールはエクスカリバー~イメージでつかむ IAM ロールの世界~ #devio2023/IAM-Roles-are-Excalibur-Grasping-the-World-of-IAM-Roles-with-Images-devio2023
emiki
0
1.5k
Other Decks in Technology
See All in Technology
スタートアップで取り組んでいるAzureとMicrosoft 365のセキュリティ対策/How to Improve Azure and Microsoft 365 Security at Startup
yuj1osm
0
210
終了の危機にあった15年続くWebサービスを全力で存続させる - phpcon2024
yositosi
0
280
大幅アップデートされたRagas v0.2をキャッチアップ
os1ma
2
520
LINEヤフーのフロントエンド組織・体制の紹介【24年12月】
lycorp_recruit_jp
0
530
Qiita埋め込み用スライド
naoki_0531
0
860
NilAway による静的解析で「10 億ドル」を節約する #kyotogo / Kyoto Go 56th
ytaka23
3
370
Fanstaの1年を大解剖! 一人SREはどこまでできるのか!?
syossan27
2
160
新機能VPCリソースエンドポイント機能検証から得られた考察
duelist2020jp
0
220
どちらを使う?GitHub or Azure DevOps Ver. 24H2
kkamegawa
0
690
複雑性の高いオブジェクト編集に向き合う: プラガブルなReactフォーム設計
righttouch
PRO
0
110
[Ruby] Develop a Morse Code Learning Gem & Beep from Strings
oguressive
1
150
マイクロサービスにおける容易なトランザクション管理に向けて
scalar
0
110
Featured
See All Featured
Gamification - CAS2011
davidbonilla
80
5.1k
Building Flexible Design Systems
yeseniaperezcruz
327
38k
How To Stay Up To Date on Web Technology
chriscoyier
789
250k
A Modern Web Designer's Workflow
chriscoyier
693
190k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
127
18k
Speed Design
sergeychernyshev
25
670
It's Worth the Effort
3n
183
28k
Producing Creativity
orderedlist
PRO
341
39k
Raft: Consensus for Rubyists
vanstee
137
6.7k
No one is an island. Learnings from fostering a developers community.
thoeni
19
3k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
32
2.7k
Rails Girls Zürich Keynote
gr2m
94
13k
Transcript
何を使って可視化する? AWS でのログ分析 5/24(金) Hibiya.Tech #5 「愛情爆発!わたしの推し技術を語りたい」
2 目次 • はじめに • CloudWatch • Athena • AWS
WAF ダッシュボード • おわりに
3 目次 • はじめに • CloudWatch • Athena • AWS
WAF ダッシュボード • おわりに
はじめに
5 はじめに • QuickSight や OpenSerch Service の話も 盛り込みたかったのですが 15
分に入りきらず断念 • 作りこまなくてもできる可視化サービスをメインにお話します • 楽しみにされていた方、申し訳ありません • datatech-jp や JAWS-UG ビッグデータ支部などもおすすめ
6 はじめに 可視化と言えば…
7 はじめに 業務データから 傾向を見る! ビジネス判断! データ活用の 目的を決める! かっこいい ダッシュボード!
8 はじめに 業務データをビジネスに生かす際の可視化
9 はじめに 困ったときに役立つ可視化
10 はじめに 障害発生! アクセスできない! 表示がおかしい! リソース枯渇!
11 はじめに 原因を調べなきゃ!
12 はじめに どこ見たらいい? アラート通知文に 詳細が書いてない ログは 取っているらしい ログはどうやって 出力するの?
13 はじめに なんとかログの場所が分かったぞ!
14 はじめに
15 はじめに 老眼にはつらい 近視にはつらい コンタクトがかすむ 業後の目の疲れが ドライアイが
16 はじめに いざというときのためにも 見やすいデータの場所をおさえておこう!
17 目次 • はじめに • CloudWatch • Athena • AWS
WAF ダッシュボード • おわりに
CloudWatch
19 CloudWatch • 此奴のマジでイカしてるところは 「何かあった時にすごい効力を発揮する」 ところ • 障害発生時や性能試験時、マジで CloudWatch が無いと何も始まらない
20 CloudWatch メトリクス 各サービスの詳細タブに大体 ある「モニタリングタブ」 最高 何もしてないのに勝手に ダッシュボードができてる CPU 使用率とかすぐ分かるし
インスタンスごとに色分かれてるし 推奨事項も出してくれる 日本時間で表示範囲を指定できる
21 CloudWatch メトリクス 緑のところ MIN([m1−m2,m3−m4])/PERIOD(m1)×60 複数メトリクスを組み合わせて 計算して表示することもできる
22 CloudWatch メトリクス 使用可能なボリューム要領がゼロだ! スナップショットがすごく増えてる!
23 CloudWatch Logs Insights CloudWatch Logs ロググループに格納された ログに対して SQL ライクな
クエリ言語を使ってフィルタ リングや集計などの分析が できる
24 CloudWatch Logs Insights • CloudWatch Logs Insights が無かったら… ロググループを選んで…
それっぽい時間の ログストリームを選んで…
25 CloudWatch Logs Insights • CloudWatch Logs Insights が無かったら… ログが出せたけど
目的のログが見つからないから ログを展開して…
26 CloudWatch Logs Insights • CloudWatch Logs Insights が無かったら…
27 CloudWatch Logs Insights ①ログのインサイト ②時間指定 ③ロググループを選択 ④クエリを入力 ⑤クエリを実行
28 CloudWatch Logs Insights サンプルクエリはこちらに! AI に聞いてもいいです
29 CloudWatch Logs Insights レコード数カウントしちゃったりして
30 CloudWatch Logs Insights パターンタブで傾向を見たり…
31 CloudWatch Logs Insights 可視化タブで簡単な可視化も! グラフの種類は選べます
32 CloudWatch Logs Insights • 試したい方は こちらのブログを参照ください https://dev.classmethod.jp/articles/changed-the-batch-size-when-launching-lambda-triggered-by-storing-data-in-kinesis-data-streams-to-check-the-behavior/
33 目次 • はじめに • CloudWatch • Athena • AWS
WAF ダッシュボード • おわりに
Athena
35 Athena • サーバーレスのクエリサービス • S3 の中身を見るのにすごく便利なやつ • データの保存場所であるデータレイクに対して SQL
形式のクエリを実行できる • ALB や CloudTrail などのログを検索、 可視化する際にも有用なクエリエンジン! 怖くない…怖くない… Athena まだちょっとコワイ
36 Athena • ALB のアクセスログをクエリしてみる
37 Athena クエリの結果を 保存する場所を指定
38 Athena
39 Athena まずデータベースを作成 ①create database alb_db ②実行 ③データベースができる
40 Athena ALB のアクセスログを保存している S3 バケットにアクセス リージョンまできたら「S3 URI をコピー」
41 Athena クエリ:https://docs.aws.amazon.com/ja_jp/athena/latest/ug/application-load-balancer-logs.html#create-alb-table ①テーブル作成クエリを貼り付け ② LOCATION を、コピーした S3 URI で上書き
③実行 ④テーブルができる
42 Athena ステータスをカウントする クエリを実行
43 仮想サーバーの分離とコンテナの分離 • ALB アクセスログを Athena で分析する方法 はこちら https://dev.classmethod.jp/articles/application-load-balancer-athena-202306/
44 仮想サーバーの分離とコンテナの分離 • もっと踏み込んだ Athena の世界を 覗きたい方はこちら https://dev.classmethod.jp/articles/introduction-2024-amazon-athena/
45 目次 • はじめに • CloudWatch • Athena • AWS
WAF ダッシュボード • おわりに
AWS WAF ダッシュボード
47 AWS WAF ダッシュボード • AWS が提供している WAF • Web
Application Firewall • AWS WAF の構造 • Web ACL • ≒ WAF。CloudEront や ALB に紐づける • ルールグループ • ルールのまとまり • Web ACL に紐づける • ルール • どの通信を Allow、Block するかなどの アクションを指定
48 AWS WAF ダッシュボード ① Web ACLs ②該当の Web ACL
を選択 ③Traffic overview ④時間を指定 ⑤All traffic タブ
49 AWS WAF ダッシュボード Block が緑 Allowed が赤
50 AWS WAF ダッシュボード 多くのルールで Count で 上書きしていたので上書きの グラフの方がいっぱい出て面白い
51 AWS WAF ダッシュボード 30% くらい bot ほぼ PC からのアクセス
攻撃のタイプは分からなかった シンガポールが圧倒的 続いてアメリカ、ドイツ、 フランス…
52 AWS WAF ダッシュボード AWS や Marketplace から提供される マネージドルールには通信に対して ラベリングするものがある
ラベルの Top 10 WAF で判定を終了したルール
53 AWS WAF ダッシュボード https://dev.classmethod.jp/articles/devio2022-015-aws-waf-rule-evaluation/ • WAF の評価の仕組みに 興味がある方はこちら
54 目次 • はじめに • CloudWatch • Athena • AWS
WAF ダッシュボード • おわりに
おわりに
56 おわりに • 色々な切り口で可視化できる • 業務データをビジネスに生かす際の可視化 • リソースの通常状態把握、問題発生時の原因特定のための可視化 • 今日話せなかったもので最近の推しは
Performance Insights • QuickSight や OpenSerch Service とも仲良くなりたい
57 ありがとうございました! ありがとうございました!
58
59 (余談)「好きなサービス」「推し技術」 部品派 車派 私は車派! あなたはどっち? 弊社は部品派が 多いかも!