AIOpsを活用してAWS監視を体験してみた 〜EC2も監視できるよ〜

Transcript

1. AIOpsを活用したAWS監視を体験してみた
 〜EC2も監視できるよ〜
 クラスメソッド株式会社
 芦沢 広昭 (あしさん)
 1
2. 2 自己紹介 • 名前 ◦ 芦沢広昭 / あしざわひろあき X：あしさん(@ashi_ssan) • 所属 ◦ クラスメソッド株式会社 AWS事業本部コンサルティング部 • 担当業務 ◦ AWS技術支援、コンサルティング • 好きなAWSサービス ◦ AWS Control Tower、Amazon Security Lake • その他 ◦ Japan AWS All Certification Enginner (2023) ◦ AWS Community Builder : Security and Identity (2024〜)
3. 3 本日お話しすること • AIOps について • AIOps と AWS • AWSのAIOps機能を使ってみた
4. 4 こんな人に聞いてほしい • AIOpsについてなんとなく気になっている方 • AIOpsってAWSではあんまりなんでしょ？と言う方
5. 5 • AIOps について • AIOps と AWS • AWSのAIOps機能を使ってみた
6. 6 AIOpsとは？ 参考：Developers.IO 2019 in TOKYO で「AIOps：運用における AI の活用」を話しました #cmdevio
7. 7 AIOpsとは？ 参考：Developers.IO 2019 in TOKYO で「AIOps：運用における AI の活用」を話しました #cmdevio
8. 8 参考資料
9. 9 今回話すところ AIOpsの4つの手法のから 1. パフォーマンス分析 2. 異常検出 3. イベントの相関分析 4. ITサービス管理と自動化
10. 10 今回話すところ 「異常検出」に関するAWSサービスを探してみました 1. パフォーマンス分析 2. 異常検出 3. イベントの相関分析 4. ITサービス管理と自動化
11. 11 異常検出（Anomaly Detection）とは 異常検知は、傾向や、季節的な曜日や時間帯のパターンを考慮しながらメトリ クスの挙動が過去のものとは異なる期間を認識するアルゴリズム機能です。 これは、しきい値ベースのアラート設定では監視することが困難な強い傾向や 反復パターンを持つメトリクスに適しています。 参考: 異常検知モニター - Datadogドキュメント
12. 12 • AIOps について • AIOps と AWS • AWSのAIOps機能を使ってみた
13. 13 AWSのAIOpsと広く捉えると多数のサービスがある
14. 14 「異常検出」と限定することでかなり絞り込める
15. 15 (参考) 今回話さない「相関分析」とDetective • IAMユーザー 調査機能 • 生成AIを利用した調査結果グ ループの概要機能 • Amazon Security Lakeとの統合 によるログ取得 【登壇レポート】『re:Invent 2023 Amazon Detective の最新アップデートを 5分でキャッチアップしよう』 #jawsug #jawsugyokohama
16. 16 • AIOps について • AIOps と AWS • AWSのAIOps機能を使ってみた
17. 17 異常検出といえば... モニタリング！
18. 18 AWSのモニタリングサービスといえば... Amazon CloudWatch！ みなさん、使っていますよね？？？
19. 19 「CloudWatch」ってどれ？？？？ CloudWatch（CW） • CW Dashboard • CW Metrics • CW Metrics Math • CW Metrics Insights • CW Metrics Explorer • CW Metric Streams • CW Anomaly Detection • CW Alarm • CW Agent • CW Logs • CW Logs Anomaly Detection • CW Logs Insights • CW Logs Live Tail • CW Internet Monitor • CW Network Monitor • CW Application Signals（Preview） • CW Evidently • CW RUM • CW Container Insights • CW Lambda Insights • CW Contributor Insights • CW Container Insights 全 22機能 参考: [資料公開]「AWSいまどきの監視(モニタリング)事情 -CloudWatchのそ の先に-」というタイトルで登壇してきました #jawsfesta #jawsug
20. 20 CloudWatchの異常検知 機能 CloudWatch（CW） • CW Dashboard • CW Metrics • CW Metrics Math • CW Metrics Insights • CW Metrics Explorer • CW Metric Streams • CW Anomaly Detection • CW Alarm • CW Agent • CW Logs • CW Logs Anomaly Detection • CW Logs Insights • CW Logs Live Tail • CW Internet Monitor • CW Network Monitor • CW Application Signals（Preview） • CW Evidently • CW RUM • CW Container Insights • CW Lambda Insights • CW Contributor Insights • CW Container Insights 全 22機能 参考: [資料公開]「AWSいまどきの監視(モニタリング)事情 -CloudWatchのそ の先に-」というタイトルで登壇してきました #jawsfesta #jawsug
21. 21 今回使ってみた AWSのAIOps（異常検出機能 ）
22. 22 使ってみたの準備 AWS Workshop Studioの『One Observability Workshop』を利 用して準備しました
23. 23 参考：1 o11y Workshop環境構築のハマりどころ 1. リージョンはバージニア北部で実行すること ◦ 東京だとデプロイできない(らしい) 2. jqのバージョンが古く動作しない ◦ $ sudo snap install jq コマンドで更新しよう 3. CFnやCDKのデプロイにやたらと時間がかかる ◦ CFnのBootStrapに1時間程度(体感)かかった ◦ CDKデプロイもまあまあ時間がかかる 参考リンク：One Observability Workshop を今更?やった - Qiita

24. 24 CloudWatch Anomaly Detection
25. 25 CloudWatch Anomaly Detectionとは？ • 最大2週間のCWメトリクスの数値に基づいた期待値の ベースライン(帯域、バンド)を継続的に調整する機能 ◦ 手動による帯域幅の再設定は不要 • 設定方法 ◦ 簡単！通常のメトリクスとあまり変わらない • 料金 ◦ メトリクスの料金は通常と同じ、アラームを設定する時は最低 CWアラーム3つ分の料金で利用可能 ▪ アラームの式で利用するメトリクス、上限バンド、下限バンド(参考: CloudWatch Pricing)
26. CloudWatch Metricsで対象メトリクスのアクション欄のレー ダー(?)をクリックして設定できる。超簡単。 26 CloudWatch Anomaly Detection 使ってみた
27. メトリクスのアクション欄、ベルマークのアイコンからアラーム を設定可能。条件で異常検出を選ぶ。 27 CloudWatch Anomaly Detection 使ってみた
28. 28 関連ブログ • 祝 CloudWatch Anomaly Detection が GA になりました！ - DevelopersIO
29. 29 CloudWatch Logs Anomaly Detection
30. 30 CloudWatch Logs Anomaly Detectionとは？ • CloudWatch Logs Loggroupに取り込まれたログを継続ス キャンし、ログデータの異常を検出する機能 • 設定方法 ◦ ロググループのコンソールからポチポチで終わり！簡単 • 料金 ◦ CloudWatch Logsのログ取り込み費用の一部として課金され る。機能個別の追加費用なし。
31. 31 CloudWatch Logs Anomaly Detection 使ってみた CloudWatchの「異常をログ記録」(!?) からディテクターを作成 できます
32. 32 CloudWatch Logs Anomaly Detection 使ってみた • ロググループから異常検出 から一覧を確認できる • アラームの設定やInsights での検索もそこからできて 便利そう
33. 33 検知画面のサンプル 異常なログのトレンドや優先度(Priority)が示されていていい感じ ※機能リリース直後のサンプルなので今はアップデートされているかも 引用： Amazon CloudWatch Logs Anomaly Detection & Pattern Analysis | Amazon Web Services - Youtube
34. 34 関連ブログ • [アップデート]CloudWatch Logsに異常検出とパターン分析 の機能が3つ追加されました！ #AWSreInvent
35. 35 AWSの 異常検出機能 使ってみた
36. 36 Amazon DevOps Guruとは？ • 通常から逸脱した動作を機械学習 (ML) を利用して検出する ことが可能なサービス • 設定方法 ◦ マネコンポチポチ1Stepでサービス有効化！ 簡単 • 料金 ◦ 1リソース単位でコストが発生 ▪ S3バケット、Lambda関数：0.0028 USD / 1h ▪ EC2(ASG)、ECS、EKSなど：0.0042 USD / 1h ◦ アカウント内の全リソースを対象、CloudFormationスタック単位で 指定のどちらかを選択可能 ▪ フィルタもできます
37. 37 Amazon DevOps Guru 使ってみた • コンソールから1画面、1Stepで 有効化できる！ • ただし分析カバレッジ(対象リ ソース)には注意 ◦ アカウント内の全リソースを 選択するとコストが気になる かも
38. 38 Amazon DevOps Guru 使ってみた • 後で選択にしておいて、 CloudFormationスタックベース で分析対象を指定できた ◦ 検証環境の主要なスタック のみを指定した
39. 39 Amazon DevOps Guru 使ってみた • 有効化後のダッシュボードがこ ちら！ ◦ 全体のサマリ ◦ 事後的インサイト ◦ 予測的インサイト ◦ MTTR(平均修理時間)
40. 40 関連ブログ • 【簡単導入】機械学習で運用を効率化！ Amazon DevOps Guruを有効化してみた • Amazon DevOps Guru で NAT Gatewayの異 常負荷を検出してみた
41. 41 セッションまとめ 兼 使ってみた感想 • CloudWatch Anomalyは追加コストはあまり発生しなさそうな ので設定し得！ ◦ 今すぐやってみたい • 新規でいい感じに全部やります！なDevOps Guruはコストが 高め ◦ リソースを絞っての有効化は必須 • AIOpsだけでは仕事は終わらない ◦ AIを利用して得たデータ、AIOpsの運用をどう組織に適用していくの かは、受け取り手の人間次第 ◦ 私はこれを使ってどうすべきなのか？までAIは教えてくれない
42. 42 宣伝！ 日比谷の弊社オフィスで実施する オフラインイベントです！ 登壇者@1・参加者@19まで 絶賛募集しています！！！ Fastly、winglang、サーバレスアプ リの話が聞けます！