運用イベント対応への生成AIの活用 with Failure Analysis Assistant

Slide 1

Slide 1 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Yozo Suzuki アマゾンウェブサービスジャパン合同会社パブリックセクター技術統括本部ソリューションアーキテクト運⽤イベント対応への⽣成AIの活⽤ with Failure Analysis Assistant AW S 秋の O B S E R VA B I L I T Y 祭り ~ 明⽇使えるアセット祭り ~ 1

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. • 障害発⽣時のテレメトリデータを LLM が分析するサンプル実装 § これまで時間がかかっていた、ログの障害分析を LLM で⽀援するアプローチ Failure Analysis Assistant (FA2) Blog: https://aws.amazon.com/jp/blogs/news/failure-analysis-assistant-aiops/ Github: https://github.com/aws-samples/failure-analysis-assistant/ 提供範囲

Slide 5

Slide 5 text

Slide 6

Slide 6 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 障害対応の難しさ初学者育成の難しさそもそも学習機会が少なく、初学者を教育しづらいいつも経験者が対応してしまうノウハウ共有の難しさ障害分析の流れや勘所の⾔語化がされておらず、いつも同じ⼈が担当情報連携の難しさ⼀⼈でシステムは運⽤できない他チームとの協⼒が必要で、コミュニケーションコストがかかる

Slide 7

Slide 7 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 障害分析のフローと課題イベント内容から、ログ取得の時間範囲を検討ログやメトリクスなどを収集収集した情報の依存関係を整理障害原因の推測・検証ログの場所がわからない他チームへ取得依頼ログの読み⽅がわからないそもそも何から⼿をつける︖ 原因の仮説が⽴てられない

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. • アプリログはCloudWatchに出⼒ • ALBのアクセスログをS3に出⼒ • CloudTrailを設定し、S3に出⼒ • X-Rayは設定済み § サンプリングはデモ⽤に100% • メトリクスはALB, ECS, Fargate, DynamoDBから取得対象システム最低限、CloudWatch Logs にログが出⼒されていれば始められます︕

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon CloudWatch (Metrics) Amazon CloudWatch (Logs, Metrics) AWS X-Ray 対象システム収集収集収集運⽤者 Amazon Simple Notification Service (Amazon SNS) AWS Chatbot ①障害通知 ②障害分析 ③収集収集 Amazon Simple Storage Service (Logs) Amazon Athena 障害原因の仮説候補を提案する Amazon Bedrock ④要約 AWS Lambda プロンプト例 ``` AWS上で稼働するワークロードを監視・運⽤するエージェントです。必ず⽇本語で回答してください。あなたが担当するワークロードは、CloudFront、ALB、ECS on EC2、 DynamoDBで構成されており、ECS on EC2上にSpringアプリケーションがデプロイされています。現在、運⽤管理者から ${errorDescription} という事象が発⽣したとの連絡がありました。あなたは、タグに与えられたログとタグに与えられたメトリクス、タグに与えられたトレースを確認し、発⽣した事象の根本原因を推測してください。根本原因を記述する際に、参考にしたログやメトリクスの内容についても記載し、運⽤管理者が実際のログやメトリクスを確認しやすくしてください。 ${取得したアプリケーションログ}ApplicationLogs> ${取得したALBのログ} ${取得したCloudTrailのログ} ${取得したメトリクス} ${取得したトレース情報} 発⽣した事象の根本原因 : ```

Slide 16

Slide 16 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. FA2によるエラー原因の仮説: 与えられたログ、メトリクス、トレースから、根本原因を以下のように推測します。 - ECSタスクに実装されたSpringアプリケーションがDynamoDBにアクセスする際、DynamoDBエンドポイントへの接続がタイムアウトしていることが原因と考えられます。 - アプリケーションログでは、下記のようなエラーメッセージが出⼒されています。 Request processing failed; nested exception is com.amazonaws.SdkClientException: Unable to execute HTTP request: Connect to dynamodb.us-east-1.amazonaws.com:443 [dynamodb.us-east-1.amazonaws.com/...] failed: connect timed out - トレースログからも、DynamoDBへのリクエストで接続タイムアウトが発⽣していることが分かります。 FaultRootCauses: [ { Services: [ { Exceptions: [ Unable to execute HTTP request: Connect to dynamodb.us-east-1.amazonaws.com:443 [...] failed: connect timed out" ], Name: "DynamoDB" } ] } ] - 特定のIPアドレス(52.119.224.212、3.218.182.157など)に対して接続がタイムアウトしていることから、DynamoDBクラスターのパーティションの⼀部でネットワーク問題が発⽣している可能性があります。 - ALBのメトリクスを⾒ると、この時間帯でTargetResponseTimeが若⼲上昇しているため、アプリケーションの応答時間に影響を与えている可能性もあります。アプリケーションログやトレースから、DynamoDBへの接続がタイムアウトしていることが事象の根本原因と推測されます。対処としてはAWSサポートに問い合わせ、DynamoDBのネットワーク状況を確認する必要があるでしょう。 LLMの回答

Slide 17

Slide 17 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. ただし、回答をそのまま信頼できるわけではない • ⽣成 AI のハルシネーションにより、誤った内容を含む可能性がある • もし、誤った内容を受け⼊れてしまうと、重⼤なミスになりかねない • 回答はあくまで参考情報として、⾃分で確認することが求められる例えば、 LLM の回答抜粋︓ 「X-Rayのトレースが空であることから、アプリケーション内でエラーが発⽣している可能性があります。」そもそもアプリケーションに到達していない場合でもトレースは出⼒されない。トレース設定不備の可能性もあり、アプリケーション内のエラーだけがエラー原因の候補ではない

Slide 18

Slide 18 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. • 傾向分析/パフォーマンス分析⽀援 • テレメトリデータから傾向分析やパフォーマンスチューニングの⽀援を⾏う • Findings レポート作成 • Security Hub と GuardDuty の Findings を LLM による解説つきのレポートにする 18 FA2 の障害分析以外の機能 v1.1.0 v1.1.0 今後も要望⾼そうな機能を追加していけたらと思いますので、ぜひフィードバックお願いします︕

Slide 19

Slide 19 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. コスト試算（障害分析⽀援）⾒積もり前提 • イベントは1⽇ 10 回発⽣するものとし、イベント発⽣時には、必ず FA2 を実⾏する • 1ヶ⽉は 30⽇とする • CloudWatch Logs に対し1回あたりスキャンするログデータは、1 GB とする • Athena がクエリごとに参照するログデータは、それぞれ 50 GB とする • CloudWatch のメトリクスは、1リクエストあたり、10メトリクス取得されるとする • トークン数は次に⽰す表の値と仮定する（ここは取得されるログの量に依存する） • ログ（CW、Trail、S3）やメトリクス（CW）、トレース（X -Ray）の記録にかかる料⾦、通知にかかる料⾦など、既存ワークロードで発⽣済みの料⾦は含めない 19

Slide 20

Slide 20 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. コスト試算（障害分析⽀援）サービス名⽉額コスト⽤途 AWS Lambda 1.50 USD ログ収集と bedrock の実⾏⽤ AWS Lambda 0.00 USD Slack App のバックエンド⽤ Amazon API Gateway 0.00 USD Slack App のバックエンド⽤ Amazon CloudWatch 2.31 USD ログとメトリクスの取得 Amazon Athena 148.44 USD ログの取得 AWS X-Ray 0.52 USD Trace の取得 Amazon Bedrock 132.1 USD メトリクス選定、障害の原因仮説、アーキテクチャ図の⽣成の3つの推論合計 284.87 USD 1回あたり、約0.95USD。150円/$換算で、約142円/回。 20 項⽬ In Out メトリクス選定（Tokens） 1,500 50 障害の原因仮説（Tokens） 90,000 1,000 アーキテクチャ図の⽣成（Tokens） 40,000 2,000 ⽉間リクエスト数（Tokens） 300 300 ⽉の総トークン数（Tokens） 39,450,000 915,000 Claudeの単価（USD） 0.003 0.015 ⾦額（USD） 118.4 13.7 bedrockの詳細

Slide 21

Slide 21 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. • ⽣成 AI を活⽤することで、障害分析を効率化できる”可能性”がある • ログなどの整理や、原因調査の⼿掛かり探しには、役⽴つ可能性がある • ⽣成 AI はハルシネーションを起こすため、裏どりは必要になる • 現状では補助的に利⽤していくのが望ましい • 補助的に使う分には、さまざまな⽤途で LLM を利⽤できるまとめお⾒せできなかった機能のデモが⾒たい⽅、開発時の⼯夫やカスタマイズについてのQAは、デモブースでお伺いいたします︕

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. How To Deploy 26 Slack Appの作成 • Slack App の作成 • Signing Secret / Oauth Token の発⾏・登録 FA2のデプロイ • パラメータ設定 • プロンプトの確認・調整 • CDK デプロイ Slack Appの設定 • Interactivity の設定 • Event Subscription の設定 • OAuth Permissions の設定 • App のチャンネル参加 • Slash Command の設定* ＊オプション機能のため、説明は省きます

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 1. [OAuth & Permissions] の画⾯を開く 2. [Scopes] で次のScopeを追加する § channels:read § chat:write § files:write 3. [OAuth Tokens] の [Install to {workspace名}] がクリックできるようになるので、クリックし、アプリをインストールする Slack App の作成

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. • [Enable Events] を On に設定し、 [Request URL] に先ほどと同じ URLを設定します § Verified にならない場合は、 API Gateway や Lambda、 Secrets Manager の設定を確認してください • [Subscribe to bot events] に [message.channels] を追加します 35 Slack App の設定

Slide 36

Slide 36 text

Slide 37

Slide 37 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. • Slack の AWS Chatbot が導⼊されているチャンネルに、FA2 を追加します § 稀に、[Add apps] をクリックし、FA2 を探しても、⾒つからない場合があります。アプリを登録した直後だと起きやすい感覚です。少し時間をおいて試すと⾒つかるようになります 37 Slack App の設定

Slide 38

Slide 38 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. FA2 は現在3つの機能を提供 38 障害分析⽀援アラームの内容、ログの取得期間から、アラームに対する原因仮説を構築する機能メトリクス分析⽀援メトリクスに関する質問に、⾃律的にメトリクスを選択し、回答する機能 Findings レポート Security Hub と GuardDuty の Fidningsを解説するレポートを作成する機能オプションオプション

Slide 39

Slide 39 text

Slide 40

Slide 40 text

Slide 41

Slide 41 text

Slide 42

Slide 42 text

Slide 43

Slide 43 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 動的なメトリクスの選定 43 アカウント内のメトリクスを全て取得ユーザからの質問をもとに、必要なメトリクスを LLMに選択させ、GetMetricsDataのクエリを⽣成⽣成したクエリを⽤いて、GetMetricData APIを実⾏クエリフォーマットを指定すると、 LLM がうまく⽣成しやすくなりました（SQL などの⽣成も得意なので、その応⽤となります）アクティブなメトリクスだけを選ぶため、 RecentlyActive パラメータに、 PT3Hを指定する

Slide 44

Slide 44 text

Slide 45

Slide 45 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. • Slack App の Framework である、 Bolt.js を利⽤するためには、 SigningSecretとTokenが必要 • これらクレデンシャルを、セキュアに扱うために、top level await を利⽤し Secrets Manager からの取得が必要 • top level await はECMAScript モジュールでのみ利⽤できる • CDK で ESM を bundling させるために、 powertools-lambda-typescript の ESM Support? を参考にした 45 Slack App を CDK で Lambda へデプロイする https://docs.powertools.aws.dev/lambda/typescript/2.0.2/upgrade/#esm-support

Slide 46

Slide 46 text

Slide 47

Slide 47 text