Slide 1

Slide 1 text

AIOpsを活用したAWS監視を体験してみた
 〜EC2も監視できるよ〜
 クラスメソッド株式会社
 芦沢 広昭 (あしさん)
 1

Slide 2

Slide 2 text

2 自己紹介 ● 名前 ○ 芦沢広昭 / あしざわひろあき X:あしさん(@ashi_ssan) ● 所属 ○ クラスメソッド株式会社 AWS事業本部コンサルティング部 ● 担当業務 ○ AWS技術支援、コンサルティング ● 好きなAWSサービス ○ AWS Control Tower、Amazon Security Lake ● その他 ○ Japan AWS All Certification Enginner (2023) ○ AWS Community Builder : Security and Identity (2024〜)

Slide 3

Slide 3 text

3 本日お話しすること ● AIOps について ● AIOps と AWS ● AWSのAIOps機能を使ってみた

Slide 4

Slide 4 text

4 こんな人に聞いてほしい ● AIOpsについてなんとなく気になっている方 ● AIOpsってAWSではあんまりなんでしょ?と言う方

Slide 5

Slide 5 text

5 ● AIOps について ● AIOps と AWS ● AWSのAIOps機能を使ってみた

Slide 6

Slide 6 text

6 AIOpsとは? 参考:Developers.IO 2019 in TOKYO で「AIOps:運用における AI の活用」を話しました #cmdevio

Slide 7

Slide 7 text

7 AIOpsとは? 参考:Developers.IO 2019 in TOKYO で「AIOps:運用における AI の活用」を話しました #cmdevio

Slide 8

Slide 8 text

8 参考資料

Slide 9

Slide 9 text

9 今回話すところ AIOpsの4つの手法のから 1. パフォーマンス分析 2. 異常検出 3. イベントの相関分析 4. ITサービス管理と自動化

Slide 10

Slide 10 text

10 今回話すところ 「異常検出」に関するAWSサービスを探してみました 1. パフォーマンス分析 2. 異常検出 3. イベントの相関分析 4. ITサービス管理と自動化

Slide 11

Slide 11 text

11 異常検出(Anomaly Detection)とは 異常検知は、傾向や、季節的な曜日や時間帯のパターンを考慮しながらメトリ クスの挙動が過去のものとは異なる期間を認識するアルゴリズム機能です。 これは、しきい値ベースのアラート設定では監視することが困難な強い傾向や 反復パターンを持つメトリクスに適しています。 参考: 異常検知モニター - Datadogドキュメント

Slide 12

Slide 12 text

12 ● AIOps について ● AIOps と AWS ● AWSのAIOps機能を使ってみた

Slide 13

Slide 13 text

13 AWSのAIOpsと広く捉えると多数のサービスがある

Slide 14

Slide 14 text

14 「異常検出」と限定することでかなり絞り込める

Slide 15

Slide 15 text

15 (参考) 今回話さない「相関分析」とDetective ● IAMユーザー 調査機能 ● 生成AIを利用した調査結果グ ループの概要機能 ● Amazon Security Lakeとの統合 によるログ取得 【登壇レポート】『re:Invent 2023 Amazon Detective の最新アップデートを 5分でキャッチアップしよう』 #jawsug #jawsugyokohama

Slide 16

Slide 16 text

16 ● AIOps について ● AIOps と AWS ● AWSのAIOps機能を使ってみた

Slide 17

Slide 17 text

17 異常検出といえば... モニタリング!

Slide 18

Slide 18 text

18 AWSのモニタリングサービスといえば... Amazon CloudWatch! みなさん、使っていますよね???

Slide 19

Slide 19 text

19 「CloudWatch」ってどれ???? CloudWatch(CW) ● CW Dashboard ● CW Metrics ● CW Metrics Math ● CW Metrics Insights ● CW Metrics Explorer ● CW Metric Streams ● CW Anomaly Detection ● CW Alarm ● CW Agent ● CW Logs ● CW Logs Anomaly Detection ● CW Logs Insights ● CW Logs Live Tail ● CW Internet Monitor ● CW Network Monitor ● CW Application Signals(Preview) ● CW Evidently ● CW RUM ● CW Container Insights ● CW Lambda Insights ● CW Contributor Insights ● CW Container Insights 全 22機能 参考: [資料公開]「AWSいまどきの監視(モニタリング)事情 -CloudWatchのそ の先に-」というタイトルで登壇してきました #jawsfesta #jawsug

Slide 20

Slide 20 text

20 CloudWatchの異常検知 機能 CloudWatch(CW) ● CW Dashboard ● CW Metrics ● CW Metrics Math ● CW Metrics Insights ● CW Metrics Explorer ● CW Metric Streams ● CW Anomaly Detection ● CW Alarm ● CW Agent ● CW Logs ● CW Logs Anomaly Detection ● CW Logs Insights ● CW Logs Live Tail ● CW Internet Monitor ● CW Network Monitor ● CW Application Signals(Preview) ● CW Evidently ● CW RUM ● CW Container Insights ● CW Lambda Insights ● CW Contributor Insights ● CW Container Insights 全 22機能 参考: [資料公開]「AWSいまどきの監視(モニタリング)事情 -CloudWatchのそ の先に-」というタイトルで登壇してきました #jawsfesta #jawsug

Slide 21

Slide 21 text

21 今回使ってみた AWSのAIOps(異常検出機能 )

Slide 22

Slide 22 text

22 使ってみたの準備 AWS Workshop Studioの『One Observability Workshop』を利 用して準備しました

Slide 23

Slide 23 text

23 参考:1 o11y Workshop環境構築のハマりどころ 1. リージョンはバージニア北部で実行すること ○ 東京だとデプロイできない(らしい) 2. jqのバージョンが古く動作しない ○ $ sudo snap install jq コマンドで更新しよう 3. CFnやCDKのデプロイにやたらと時間がかかる ○ CFnのBootStrapに1時間程度(体感)かかった ○ CDKデプロイもまあまあ時間がかかる 参考リンク:One Observability Workshop を今更?やった - Qiita


Slide 24

Slide 24 text

24 CloudWatch Anomaly Detection

Slide 25

Slide 25 text

25 CloudWatch Anomaly Detectionとは? ● 最大2週間のCWメトリクスの数値に基づいた期待値の ベースライン(帯域、バンド)を継続的に調整する機能 ○ 手動による帯域幅の再設定は不要 ● 設定方法 ○ 簡単!通常のメトリクスとあまり変わらない ● 料金 ○ メトリクスの料金は通常と同じ、アラームを設定する時は最低 CWアラーム3つ分の料金で利用可能 ■ アラームの式で利用するメトリクス、上限バンド、下限バンド(参考: CloudWatch Pricing)

Slide 26

Slide 26 text

CloudWatch Metricsで対象メトリクスのアクション欄のレー ダー(?)をクリックして設定できる。超簡単。 26 CloudWatch Anomaly Detection 使ってみた

Slide 27

Slide 27 text

メトリクスのアクション欄、ベルマークのアイコンからアラーム を設定可能。条件で異常検出を選ぶ。 27 CloudWatch Anomaly Detection 使ってみた

Slide 28

Slide 28 text

28 関連ブログ ● 祝 CloudWatch Anomaly Detection が GA になりました! - DevelopersIO

Slide 29

Slide 29 text

29 CloudWatch Logs Anomaly Detection

Slide 30

Slide 30 text

30 CloudWatch Logs Anomaly Detectionとは? ● CloudWatch Logs Loggroupに取り込まれたログを継続ス キャンし、ログデータの異常を検出する機能 ● 設定方法 ○ ロググループのコンソールからポチポチで終わり!簡単 ● 料金 ○ CloudWatch Logsのログ取り込み費用の一部として課金され る。機能個別の追加費用なし。

Slide 31

Slide 31 text

31 CloudWatch Logs Anomaly Detection 使ってみた CloudWatchの「異常をログ記録」(!?) からディテクターを作成 できます

Slide 32

Slide 32 text

32 CloudWatch Logs Anomaly Detection 使ってみた ● ロググループから異常検出 から一覧を確認できる ● アラームの設定やInsights での検索もそこからできて 便利そう

Slide 33

Slide 33 text

33 検知画面のサンプル 異常なログのトレンドや優先度(Priority)が示されていていい感じ ※機能リリース直後のサンプルなので今はアップデートされているかも 引用: Amazon CloudWatch Logs Anomaly Detection & Pattern Analysis | Amazon Web Services - Youtube

Slide 34

Slide 34 text

34 関連ブログ ● [アップデート]CloudWatch Logsに異常検出とパターン分析 の機能が3つ追加されました! #AWSreInvent

Slide 35

Slide 35 text

35 AWSの 異常検出機能 使ってみた

Slide 36

Slide 36 text

36 Amazon DevOps Guruとは? ● 通常から逸脱した動作を機械学習 (ML) を利用して検出する ことが可能なサービス ● 設定方法 ○ マネコンポチポチ1Stepでサービス有効化! 簡単 ● 料金 ○ 1リソース単位でコストが発生 ■ S3バケット、Lambda関数:0.0028 USD / 1h ■ EC2(ASG)、ECS、EKSなど:0.0042 USD / 1h ○ アカウント内の全リソースを対象、CloudFormationスタック単位で 指定のどちらかを選択可能 ■ フィルタもできます

Slide 37

Slide 37 text

37 Amazon DevOps Guru 使ってみた ● コンソールから1画面、1Stepで 有効化できる! ● ただし分析カバレッジ(対象リ ソース)には注意 ○ アカウント内の全リソースを 選択するとコストが気になる かも

Slide 38

Slide 38 text

38 Amazon DevOps Guru 使ってみた ● 後で選択にしておいて、 CloudFormationスタックベース で分析対象を指定できた ○ 検証環境の主要なスタック のみを指定した

Slide 39

Slide 39 text

39 Amazon DevOps Guru 使ってみた ● 有効化後のダッシュボードがこ ちら! ○ 全体のサマリ ○ 事後的インサイト ○ 予測的インサイト ○ MTTR(平均修理時間)

Slide 40

Slide 40 text

40 関連ブログ ● 【簡単導入】機械学習で運用を効率化! Amazon DevOps Guruを有効化してみた ● Amazon DevOps Guru で NAT Gatewayの異 常負荷を検出してみた

Slide 41

Slide 41 text

41 セッションまとめ 兼 使ってみた感想 ● CloudWatch Anomalyは追加コストはあまり発生しなさそうな ので設定し得! ○ 今すぐやってみたい ● 新規でいい感じに全部やります!なDevOps Guruはコストが 高め ○ リソースを絞っての有効化は必須 ● AIOpsだけでは仕事は終わらない ○ AIを利用して得たデータ、AIOpsの運用をどう組織に適用していくの かは、受け取り手の人間次第 ○ 私はこれを使ってどうすべきなのか?までAIは教えてくれない

Slide 42

Slide 42 text

42 宣伝! 日比谷の弊社オフィスで実施する オフラインイベントです! 登壇者@1・参加者@19まで 絶賛募集しています!!! Fastly、winglang、サーバレスアプ リの話が聞けます!

Slide 43

Slide 43 text

43