何を使って可視化する？AWSでのログ分析/What-do-you-use-to-visualise-it-log-analysis-in-AWS

by emi

Slide 1

Slide 1 text

何を使って可視化する？ AWS でのログ分析 5/24(金) Hibiya.Tech #5 「愛情爆発！わたしの推し技術を語りたい」

Slide 2

Slide 2 text

2 目次 • はじめに • CloudWatch • Athena • AWS WAF ダッシュボード • おわりに

Slide 3

Slide 3 text

3 目次 • はじめに • CloudWatch • Athena • AWS WAF ダッシュボード • おわりに

Slide 4

Slide 4 text

はじめに

Slide 5

Slide 5 text

5 はじめに • QuickSight や OpenSerch Service の話も盛り込みたかったのですが 15 分に入りきらず断念 • 作りこまなくてもできる可視化サービスをメインにお話します • 楽しみにされていた方、申し訳ありません • datatech-jp や JAWS-UG ビッグデータ支部などもおすすめ

Slide 6

Slide 6 text

6 はじめに可視化と言えば…

Slide 7

Slide 7 text

7 はじめに業務データから傾向を見る！ビジネス判断！データ活用の目的を決める！かっこいいダッシュボード！

Slide 8

Slide 8 text

8 はじめに業務データをビジネスに生かす際の可視化

Slide 9

Slide 9 text

9 はじめに困ったときに役立つ可視化

Slide 10

Slide 10 text

10 はじめに障害発生！アクセスできない！表示がおかしい！リソース枯渇！

Slide 11

Slide 11 text

11 はじめに原因を調べなきゃ！

Slide 12

Slide 12 text

12 はじめにどこ見たらいい？アラート通知文に詳細が書いてないログは取っているらしいログはどうやって出力するの？

Slide 13

Slide 13 text

13 はじめになんとかログの場所が分かったぞ！

Slide 14

Slide 14 text

14 はじめに

Slide 15

Slide 15 text

15 はじめに老眼にはつらい近視にはつらいコンタクトがかすむ業後の目の疲れがドライアイが

Slide 16

Slide 16 text

16 はじめにいざというときのためにも見やすいデータの場所をおさえておこう！

Slide 17

Slide 17 text

17 目次 • はじめに • CloudWatch • Athena • AWS WAF ダッシュボード • おわりに

Slide 18

Slide 18 text

CloudWatch

Slide 19

Slide 19 text

19 CloudWatch • 此奴のマジでイカしてるところは「何かあった時にすごい効力を発揮する」ところ • 障害発生時や性能試験時、マジで CloudWatch が無いと何も始まらない

Slide 20

Slide 20 text

20 CloudWatch メトリクス各サービスの詳細タブに大体ある「モニタリングタブ」最高何もしてないのに勝手にダッシュボードができてる CPU 使用率とかすぐ分かるしインスタンスごとに色分かれてるし推奨事項も出してくれる日本時間で表示範囲を指定できる

Slide 21

Slide 21 text

21 CloudWatch メトリクス緑のところ MIN([m1−m2,m3−m4])/PERIOD(m1)×60 複数メトリクスを組み合わせて計算して表示することもできる

Slide 22

Slide 22 text

22 CloudWatch メトリクス使用可能なボリューム要領がゼロだ！スナップショットがすごく増えてる！

Slide 23

Slide 23 text

23 CloudWatch Logs Insights CloudWatch Logs ロググループに格納されたログに対して SQL ライクなクエリ言語を使ってフィルタリングや集計などの分析ができる

Slide 24

Slide 24 text

24 CloudWatch Logs Insights • CloudWatch Logs Insights が無かったら… ロググループを選んで… それっぽい時間のログストリームを選んで…

Slide 25

Slide 25 text

25 CloudWatch Logs Insights • CloudWatch Logs Insights が無かったら… ログが出せたけど目的のログが見つからないからログを展開して…

Slide 26

Slide 26 text

26 CloudWatch Logs Insights • CloudWatch Logs Insights が無かったら…

Slide 27

Slide 27 text

27 CloudWatch Logs Insights ①ログのインサイト ②時間指定 ③ロググループを選択 ④クエリを入力 ⑤クエリを実行

Slide 28

Slide 28 text

28 CloudWatch Logs Insights サンプルクエリはこちらに！ AI に聞いてもいいです

Slide 29

Slide 29 text

29 CloudWatch Logs Insights レコード数カウントしちゃったりして

Slide 30

Slide 30 text

30 CloudWatch Logs Insights パターンタブで傾向を見たり…

Slide 31

Slide 31 text

31 CloudWatch Logs Insights 可視化タブで簡単な可視化も！グラフの種類は選べます

Slide 32

Slide 32 text

32 CloudWatch Logs Insights • 試したい方はこちらのブログを参照ください https://dev.classmethod.jp/articles/changed-the-batch-size-when-launching-lambda-triggered-by-storing-data-in-kinesis-data-streams-to-check-the-behavior/

Slide 33

Slide 33 text

33 目次 • はじめに • CloudWatch • Athena • AWS WAF ダッシュボード • おわりに

Slide 34

Slide 34 text

Athena

Slide 35

Slide 35 text

35 Athena • サーバーレスのクエリサービス • S3 の中身を見るのにすごく便利なやつ • データの保存場所であるデータレイクに対して SQL 形式のクエリを実行できる • ALB や CloudTrail などのログを検索、可視化する際にも有用なクエリエンジン！怖くない…怖くない… Athena まだちょっとコワイ

Slide 36

Slide 36 text

36 Athena • ALB のアクセスログをクエリしてみる

Slide 37

Slide 37 text

37 Athena クエリの結果を保存する場所を指定

Slide 38

Slide 38 text

38 Athena

Slide 39

Slide 39 text

39 Athena まずデータベースを作成 ①create database alb_db ②実行 ③データベースができる

Slide 40

Slide 40 text

40 Athena ALB のアクセスログを保存している S3 バケットにアクセスリージョンまできたら「S3 URI をコピー」

Slide 41

Slide 41 text

41 Athena クエリ：https://docs.aws.amazon.com/ja_jp/athena/latest/ug/application-load-balancer-logs.html#create-alb-table ①テーブル作成クエリを貼り付け ② LOCATION を、コピーした S3 URI で上書き ③実行 ④テーブルができる

Slide 42

Slide 42 text

42 Athena ステータスをカウントするクエリを実行

Slide 43

Slide 43 text

43 仮想サーバーの分離とコンテナの分離 • ALB アクセスログを Athena で分析する方法はこちら https://dev.classmethod.jp/articles/application-load-balancer-athena-202306/

Slide 44

Slide 44 text

44 仮想サーバーの分離とコンテナの分離 • もっと踏み込んだ Athena の世界を覗きたい方はこちら https://dev.classmethod.jp/articles/introduction-2024-amazon-athena/

Slide 45

Slide 45 text

45 目次 • はじめに • CloudWatch • Athena • AWS WAF ダッシュボード • おわりに

Slide 46

Slide 46 text

AWS WAF ダッシュボード

Slide 47

Slide 47 text

47 AWS WAF ダッシュボード • AWS が提供している WAF • Web Application Firewall • AWS WAF の構造 • Web ACL • ≒ WAF。CloudEront や ALB に紐づける • ルールグループ • ルールのまとまり • Web ACL に紐づける • ルール • どの通信を Allow、Block するかなどのアクションを指定

Slide 48

Slide 48 text

48 AWS WAF ダッシュボード ① Web ACLs ②該当の Web ACL を選択 ③Traffic overview ④時間を指定 ⑤All traffic タブ

Slide 49

Slide 49 text

49 AWS WAF ダッシュボード Block が緑 Allowed が赤

Slide 50

Slide 50 text

50 AWS WAF ダッシュボード多くのルールで Count で上書きしていたので上書きのグラフの方がいっぱい出て面白い

Slide 51

Slide 51 text

51 AWS WAF ダッシュボード 30% くらい bot ほぼ PC からのアクセス攻撃のタイプは分からなかったシンガポールが圧倒的続いてアメリカ、ドイツ、フランス…

Slide 52

Slide 52 text

52 AWS WAF ダッシュボード AWS や Marketplace から提供されるマネージドルールには通信に対してラベリングするものがあるラベルの Top 10 WAF で判定を終了したルール

Slide 53

Slide 53 text

53 AWS WAF ダッシュボード https://dev.classmethod.jp/articles/devio2022-015-aws-waf-rule-evaluation/ • WAF の評価の仕組みに興味がある方はこちら

Slide 54

Slide 54 text

54 目次 • はじめに • CloudWatch • Athena • AWS WAF ダッシュボード • おわりに

Slide 55

Slide 55 text

おわりに

Slide 56

Slide 56 text

56 おわりに • 色々な切り口で可視化できる • 業務データをビジネスに生かす際の可視化 • リソースの通常状態把握、問題発生時の原因特定のための可視化 • 今日話せなかったもので最近の推しは Performance Insights • QuickSight や OpenSerch Service とも仲良くなりたい

Slide 57

Slide 57 text

57 ありがとうございました！ありがとうございました！

Slide 58

Slide 58 text

Slide 59

Slide 59 text

59 （余談）「好きなサービス」「推し技術」部品派車派私は車派！あなたはどっち？弊社は部品派が多いかも！