CloudWatch Logs Insightsで 定期業務をスマートに

CloudWatchの勉強会で発表した内容です
https://infra365.connpass.com/event/323497/

1. CloudWatch Logs Insightsで 定期業務をスマートに みのるんのゲリラ勉強会&インフラ技術基礎勉強会 アイレット株式会社 ⼩巻玖美
2. ⾃⼰紹介 2 所属：アイレット株式会社 アジャイル事業部 業務：TSやPythonでのWebアプリケーション開発    (最近は専ら⽣成AI系) ⼩巻 玖美 / こまきち @komakichidev https://zenn.dev/kumao
3. ある⽇、こんなことを⾔われました 3
4. やりたいこと 4 エンドユーザーから時々レスポンスが 遅いと報告が上がっている 数ヶ⽉間、定期的にログを確認して 原因を調査してくれ
5. やりたいこと 5 • アプリケーションのパフォーマンスをあげたい ボトルネックを探す⼀助として、遅延が発⽣しているリクエストを知りたい • 1ヶ⽉分のログが対象 API GatewayのLatencyやLambdaのDurationがx秒以上のものを探したい
6. やりたいこと 6
7. 最初の数ヶ⽉間、こんな作業をしていました 7
8. これまで⾏っていたこと 8
9. これまで⾏っていたこと 9
10. これまで⾏っていたこと 10
11. これまで⾏っていたこと 11
12. これまで⾏っていたこと 12
13. これまで⾏っていたこと 13
14. これまで⾏っていたこと 14
15. これまで⾏っていたこと 15
16. これまで⾏っていたこと 16
17. これまで⾏っていたこと 17
18. これまで⾏っていたこと 18
19. そんな時に CloudWatch Logs Insights に出会った 19
20. CloudWatch Logs Insightsとは 20 AWS CloudWatchに保存されたログデータをリアルタイムで検索し、 分析するためのクエリツール
21. CloudWatch Logs Insightsとは 21 クエリ構⽂ ロググループをクエリし、特定のログデータを抽出‧分析するための⾔語 コマンド名 説明 display 特定のフィールドをクエリ結果に表⽰する filter クエリをフィルタリングし、条件に⼀致するログイベントのみを返す stats ログフィールドの値を使⽤して統計情報を算出する dedup 指定したフィールドの値に基づいて重複した結果を削除する unmask マスクされたデータの内容を表⽰する
22. CloudWatch Logs Insightsとは 22 クエリ構⽂ ロググループをクエリし、特定のログデータを抽出‧分析するための⾔語 コマンド名 説明 display 特定のフィールドをクエリ結果に表⽰する filter クエリをフィルタリングし、条件に⼀致するログイベントのみを返す stats ログフィールドの値を使⽤して統計情報を算出する dedup 指定したフィールドの値に基づいて重複した結果を削除する unmask マスクされたデータの内容を表⽰する こんな感じ
23. 実際にやってみます 23
24. やってみる 24 CloudWatch Logs Insightsに移動する
25. やってみる 25 クエリを書きます ＜⼊⼒＞ 対象はLambda関数の実⾏に関するログイベント / 処理に4秒以上かかっている / タイムスタンプで ソート / 20個まで表⽰
26. やってみる 26 クエリを書きます ＜出⼒＞ タイムスタンプ / リクエストID / 処理にかかった時間 / CloudWatch Logsのログストリーム / メッセージ
27. やってみる 27
28. やってみる 28 @duration @log / @logStream @message
29. やってみる 29
30. やってみる 30 対象のリクエストもわかる！
31. やってみる 31 対象のリクエストもわかる！ ログにも⾶べる！
32. やってみる 32 対象のリクエストもわかる！ ログにも⾶べる！
33. やってみる 33 対象のリクエストもわかる！ ログにも⾶べる！ ただ、この沢⼭のログ ログ設計を⾒直すともっと⾒やすい！！
34. ログをもう少し⾒やすくする (ログ設計のおはなし) 34
35. ログを⾒やすくする 35 ログ形式を意識せずにLambdaを作成すると、取得できる@messageの 表⽰がバラバラ 例: Lambda(Python)でprint出⼒を混ぜた 天気を取得する実装の例 ↑
36. ログを⾒やすくする 36 そこでログ出⼒を共通化することで、欲しいログを探しやすくする fields @timestamp, @duration, @message, @logStream, @log | filter @message like "INFO" // ここではINFOを取り出してみる | limit 100
37. ログを⾒やすくする 37 TIPS：ログの共通化には「Powertools for AWS Lambda」が便利！ フォーマットを指定しなくても、Powertoolsが良しなにやってくれる Loggerだけでなく、Validation‧Parser‧Data Maskingなどが簡単に導⼊可能
38. CloudWatch Logs Insights その他の機能 38
39. その他の機能 39 クエリを保存しておく クエリした結果を CloudWatchのダッシュボードに追加も可能 クエリ単体での保存
40. その他の機能 40 ⾃然⾔語を使⽤して Logs Insights CloudWatch クエリを⽣成および更新する ※バージニア北部、オレゴン、東京リージョンでのみ利⽤可能
41. その他の機能 41 ⾃然⾔語を使⽤して Logs Insights CloudWatch クエリを⽣成および更新する ※バージニア北部、オレゴン、東京リージョンでのみ利⽤可能 英語のみ対応…
42. まとめ 42 CloudWatch Logs Insightsを使⽤したことで… • 数の多い⼿作業の調査から決まったクエリ結果を⾒るだけに • 遅延の原因特定が迅速に • ダッシュボードへのクエリ結果追加で、より楽にミスを少なく
43. Appendix 43 ・powertools-lambda-python https://docs.powertools.aws.dev/lambda/python/latest/ ・CloudWatch Logs Insights を使用したログデータの分析 https://docs.aws.amazon.com/ja_jp/AmazonCloudWatch/latest/logs/Analy zingLogData.html