[AWS Expert Online for JAWS-UG]AWS SAW を使った トラブルシューティング 効率化のススメ

2024年3月13日に開催された AWS Expert Online for JAWS-UG #32 に登壇した際の資料です。

YouTube
https://www.youtube.com/live/5vokZAudVIE

---
AWS SAW(AWS Support Automation Workflows) は、お客様の問題を解決して得たベストプラクティスをもとに AWS サポートによって作成されたセルフサービスな自動化のための仕組みです。こちらを使用することにより、AWS リソースに関する一般的な問題のトラブルシューティング、診断、修正、運用が可能になり、現時点で合計80以上存在しております。

本プレゼンでは「トラブルシューティング」にフォーカスし、AWS SAW の概要や利用ユースケースなど AWS SAW を使ったトラブルシューティングの効率化についてご説明させて頂き、AWS SAW を使ってみようと思っていただければ幸いです
---

Transcript

1. © 2024, Amazon Web Services, Inc. or its affiliates. © 2024, Amazon Web Services, Inc. or its affiliates. AWS SAW を使った トラブルシューティング 効率化のススメ Toshihiro Furuno Sr. Cloud Support Engineer
2. © 2024, Amazon Web Services, Inc. or its affiliates. 内容についての注意点 • 本資料では 2024 年 3 ⽉時点のサービス内容および価格についてご説明しています。 AWS のサービスは常にアップデートを続けているため、最新の情報は AWS 公式 ウェブサイト (https://aws.amazon.com/) にてご確認ください • 資料作成には⼗分注意しておりますが、資料内の価格と AWS 公式ウェブサイト記載 の価格に相違があった場合、AWS 公式ウェブサイトの価格を優先とさせていただき ます • 価格は税抜表記となっています。⽇本居住者のお客様には別途消費税をご請求させて いただきます • 技術的な内容に関しましては、有料の AWS サポート窓⼝へお問い合わせください • 料⾦⾯でのお問い合わせに関しましては、カスタマーサポート窓⼝へ お問い合わせください (マネジメントコンソールへのログインが必要です) 2
3. © 2024, Amazon Web Services, Inc. or its affiliates. ⾃⼰紹介 3 • 名前: 古野 俊広 • 所属: クラウドサポートエンジニア • 普段の業務: お客様から AWS サポートへのお問い合わせについ て対応し、問題解決を⾏なっています • 好きなサービス/SME(Subject Matter Expert): • Amazon Elastic Container Service(Amazon ECS) • AWS CodeDeploy • 趣味: • 7歳と3歳の⼦供と遊ぶこと、Podcast を聞くこと
4. © 2024, Amazon Web Services, Inc. or its affiliates. 本セミナーの概要 AWS SAW(AWS Support Automation Workflows) は、お客様の 問題を解決して得たベストプラクティスをもとに AWS サポートに よって作成されたセルフサービスな⾃動化のための仕組みです。 こちらを使⽤することにより、AWS リソースに関する⼀般的な問題 のトラブルシューティング、診断、修正、運⽤が可能になり、現時 点合計80以上存在しております。 本セミナーでは「トラブルシューティング」にフォーカスし、AWS SAW の概要や利⽤ユースケースなど AWS SAW を使ったトラブル シューティングの効率化についてご説明させて頂き、AWS SAW を 使ってみようと思っていただければ幸いです 4
5. © 2024, Amazon Web Services, Inc. or its affiliates. SAW によって貢献できること • SAW はサポートによく問い合わせ頂く問題についてお客様がより早く効率 的に問題を解決できることを⽬的として作成されています • SAW には以下のようなメリットがあります(後ほど詳細を再掲) • 簡単に実⾏が可能 • ⾃動チェックによる調査時間短縮 • ⼿動チェックミスの防⽌ • 本セミナーをきっかけに SAW を利⽤し、トラブルシューティング効率化に 貢献することができれば幸いです 5
6. © 2024, Amazon Web Services, Inc. or its affiliates. 本セミナーの対象者 • AWS 環境のトラブルシューティング経験のある⽅ • トラブルシューティングをより効率化したい⽅ • 本セミナーの Goal • 概要や利⽤ユースケースなど SAW を使ったトラブルシューティングの効 率化についてご説明させて頂き、SAW を使ってみようと思って頂けるこ と • 本⽇お話ししないこと • 本セミナーでは使ってもらうことを⽬的とします。SAW の仕組みなどの 詳細については AWS Black Belt 「AWS SAW セルフサービスなトラブル シューティングと運⽤の⾃動化 ⼊⾨編」をご確認ください • 関連する AWS サービスの概要・詳細 6
7. © 2024, Amazon Web Services, Inc. or its affiliates. アジェンダ 7 • SAW が利⽤できるシチュエーション・具体的なシナリオの例 • SAW を使ってみよう! • SAW をもっと使ってみよう! • まとめ
8. © 2024, Amazon Web Services, Inc. or its affiliates. © 2024, Amazon Web Services, Inc. or its affiliates. SAW が利⽤できるシチュエーション・ 具体的なシナリオの例 8
9. © 2024, Amazon Web Services, Inc. or its affiliates. シチュエーションの例 9 • SAW にはさまざまなトラブルシューティングを⾏うものがありま す • 今回は⼀例として「AWS Systems Manager を利⽤しているが、 EC2 インスタンスがマネージドノードとして登録されていない」 という状況でどのような形で SAW が利⽤可能か解説します § AWS Systems Manager/マネージドノードの詳細は省略しますが、マネー ジドノードとして EC2 インスタンスを登録することでパッチの適⽤や EC2 インスタンス上でのコマンド実⾏など運⽤の課題を解決する多くの機能が利 ⽤できます
10. © 2024, Amazon Web Services, Inc. or its affiliates. 運⽤中に問題が発⽣した場合 10 EC2 がマネージドノードとして登録され ていない問題に気づきました。これでは 毎⽇⾏っている運⽤処理ができません AWS Cloud EC2 Instance SSM Agent
11. © 2024, Amazon Web Services, Inc. or its affiliates. 運⽤中に問題が発⽣した場合 11 どこから調査していくべきでしょうか ・権限? ・ネットワーク? ・インスタンスの設定? AWS Cloud EC2 Instance SSM Agent 調査のためには Systems Manager やマネー ジドノードの仕組みについて理解が必要 問題被疑箇所をそれぞれ確認していく時間 が必要
12. © 2024, Amazon Web Services, Inc. or its affiliates. 運⽤中に問題が発⽣した場合 12 よく分からない場合… AWS Cloud EC2 Instance SSM Agent ひとまず AWS サポートに問い合わせる 場合も多いかと思います AWS Support
13. © 2024, Amazon Web Services, Inc. or its affiliates. 運⽤中に問題が発⽣した場合 13 AWS サポートに問い合わせるために情 報の収集が必要です AWS サポートとのやりとりを進める必 要があります そこで AWS SAWを利⽤して頂くことで ⼀般的な問題をご⾃⾝で対処できます AWS Cloud EC2 Instance SSM Agent ご⾃⾝でできる対処は他にないでしょうか AWS Support
14. © 2024, Amazon Web Services, Inc. or its affiliates. SAW を使⽤した場合 14 AWS Cloud EC2 Instance SSM Agent EC2 がマネージドノードとして登録され ていない問題に気づきました。
15. © 2024, Amazon Web Services, Inc. or its affiliates. SAW を使⽤した場合 15 SAW の⼀つである AWSSupport- TroubleshootManagedInstance を利⽤ します AWS Cloud EC2 Instance SSM Agent AWS Systems Manager AWSSupport- TroubleshootManagedInstance
16. © 2024, Amazon Web Services, Inc. or its affiliates. SAW を使⽤した場合 16 AWS Cloud EC2 Instance SSM Agent AWS Systems Manager AWSSupport- TroubleshootManagedInstance トラブルシューティングが⾃動で⾏われます
17. © 2024, Amazon Web Services, Inc. or its affiliates. SAW を使⽤した場合 17 AWS Cloud EC2 Instance SSM Agent AWS Systems Manager AWSSupport-T roubleshootManagedInstance インスタンスプロファイルの問題を検出。 早期に問題を解消出来た!
18. © 2024, Amazon Web Services, Inc. or its affiliates. SAW を使⽤した場合 18 AWS Cloud EC2 Instance SSM Agent AWS Systems Manager AWSSupport- TroubleshootManagedInstance 問題が特定できない場合でもサポートは SAW の結果を踏まえ調査が可能です。 以下の情報をご提供ください ・実⾏した SAW (ランブック) ・AWS Systems Manger Automation 実⾏ ID ・実⾏後の出⼒内容
19. © 2024, Amazon Web Services, Inc. or its affiliates. © 2024, Amazon Web Services, Inc. or its affiliates. SAW を使ってみよう! 19
20. © 2024, Amazon Web Services, Inc. or its affiliates. シチュエーションの例 20 • 先ほど例⽰した「AWS Systems Manager を利⽤しているが、 EC2 インスタンスがマネージドノードとして登録されていない」 という状況から 対応する SAW を探し、SAW を実⾏して結果を確 認するまでの具体的な流れをご説明します
21. © 2024, Amazon Web Services, Inc. or its affiliates. SAW によるトラブルシューティングの流れ 21 • SAW を探す • SAW の内容を確認する • SAW を実⾏する • SAW の結果を確認する
22. © 2024, Amazon Web Services, Inc. or its affiliates. SAW を探す • SAW は現時点で80以上存在しています • 利⽤可能な SAW は以下の⽅法で探すことが可能です • SAW のランディングページから確認する • AWS SSM コンソールからの検索 • AWS re:Post やサービスのドキュメントから確認する • 今回は「ランディングページ」から確認します • 上記以外の確認⽅法は Black Belt 「 AWS SAW セルフサービスなトラブ ルシューティングと運⽤の⾃動化 ⼊⾨編」を参照ください 22
23. © 2024, Amazon Web Services, Inc. or its affiliates. SAW のランディングページから確認する • 各ユースケースのド ロップダウンリストを クリックするとサービ スごとのランブックが 表⽰されます 23 https://aws.amazon.com/jp/premiumsupport/technology/saw/
24. © 2024, Amazon Web Services, Inc. or its affiliates. SAW の内容を確認する • 本 SAW ではインスタ ンス内部の確認はでき ませんが、ネットワー クや権限などの問題を 解析する事ができます • ランブックの詳細の ページには実⾏時に指 定するパラメーター、 必要な権限、チェック 内容、条件などの詳細 が記載されています(パ ラメーターの詳細は後 述) 24
25. © 2024, Amazon Web Services, Inc. or its affiliates. SAW を実⾏する • ランブックの詳細の ページにはコンソール へのリンクが含まれて おり、このリンクから 該当の SAW を実⾏で きます 25 • 現時点で⽇本から実⾏ する場合、リージョン が「シドニー」に変更 されるため、実⾏を希 望するリージョンと なっているかご確認く ださい • 2024/3/14 UPDATE: 現在、 ap-northeast-1 リージョン で表⽰可能
26. © 2024, Amazon Web Services, Inc. or its affiliates. SAW を実⾏する • AWSSupport- TroubleshootMangedI nstance の場合、実⾏ 対象のインスタンス ID を指定します • AutomationAssumeRo le パラメーターはオプ ショナル。指定しない 場合、マネージメント コンソールにログイン している IAM の権限で 実⾏されます 26
27. © 2024, Amazon Web Services, Inc. or its affiliates. SAW の結果を確認する • SAW の結果が完了する まで待ちます(実⾏時間 は処理内容によって異 なります) 27
28. © 2024, Amazon Web Services, Inc. or its affiliates. SAW の結果を確認する • 解析結果を Outputs よ り確認可能です 28
29. © 2024, Amazon Web Services, Inc. or its affiliates. SAW の結果を確認する • 今回の例では以下の複 数の問題を検知 • セキュリティグループの アウトバウンドの問題 • インスタンスプロファイ ルの問題 • 問題箇所を特定するこ とができたので、該当 箇所を変更し、問題を 迅速に解消することが 出来ました 29
30. © 2024, Amazon Web Services, Inc. or its affiliates. SAW によるトラブルシューティングのメリット(再掲) • 簡単に実⾏が可能 • 関連サービスについて精通している必要は必ずしもなく、SAW によりますが、今回の SAW はインスタンス ID の指定のみで実⾏可能 • ⾃動チェックによる調査時間短縮 • サービスに精通している場合、どこを確認すれば良いかというポイントは分かります • しかし、それぞれについて⼿動でのチェックには⾮常に時間が掛かります • セキュリティグループ、インスタンスプロファイル、VPC エンドポイント、などなど • SAW の場合、機械的にチェックを⾏い、⼿動操作より早く調査ができます • ⼿動チェックミスの防⽌ • 各種サービスの API を使ってチェックするため、⼿動チェックによるミスがなくなりま す 30
31. © 2024, Amazon Web Services, Inc. or its affiliates. © 2024, Amazon Web Services, Inc. or its affiliates. もっとSAW を使ってみよう! 31
32. © 2024, Amazon Web Services, Inc. or its affiliates. もっと使ってみる 32 • どんな SAW があるか探してみる • AWS CLI から実⾏・確認してみる • ⾃動実⾏してみる
33. © 2024, Amazon Web Services, Inc. or its affiliates. どんな SAW があるか探してみる 33 • SAW は現時点で80以上存在しており、継続して増えています • 利⽤している AWS サービスでどのような SAW があるかについて はランディングページからサービスを選択し、確認頂く⽅法が容易 ではないかと思われます
34. © 2024, Amazon Web Services, Inc. or its affiliates. どんな SAW があるか探してみる 34 名称 関連 AWS サービス 概要 AWSSupport- CheckXenToNitroMigrationRequirem ents Amazon Elastic Compute Cloud(Amazon EC2) インスタンスタイプを Xen タイプのインスタンス から Nitro ベースのインスタンスタイプに正常に 変更するための前提条件を満たしていることを確 認 AWSSupport- TroubleshootECSTaskFailedToStart Amazon Elastic Container Service (Amazon ECS) Amazon ECS クラスター内の タスクが起動に失敗 した理由のトラブルシューティングを⾏う AWSSupport- TroubleshootLambdaInternetAccess AWS Lambda VPC に接続した Lambda 関数からインターネット アクセスができない原因を特定する
35. © 2024, Amazon Web Services, Inc. or its affiliates. どんな SAW があるか探してみる 35 • 使われることが多い SAW については AWS Black Belt での紹介も しておりますのでご利⽤くださいませ(YouTube および PDF 資料) § AWS SAW - セルフサービスな診断と運⽤の効率化 ⼊⾨編 Amazon EC2 でよく使われる SAW のご紹介 § AWS SAW – セルフサービスなトラブルシューティングと運⽤の⾃動化 Amazon Elastic Container Service(Amazon ECS) 編 § AWS SAW セルフサービス⾃動化ランブックを使⽤したトラフィック監視の視覚化 Amazon Virtual Private Cloud (Amazon VPC) 編 § AWS SAW – セルフサービスなトラブルシューティングと運⽤の⾃動化 Amazon Elastic Kubernetes Service(Amazon EKS) 編 § AWS SAW による旧世代から最新世代 (AWS Nitro System 世代) への 移⾏タスクの⾃動 化 Amazon Elastic Compute Cloud (Amazon EC2) - Linux 編 § AWS SAW - セルフサービスなトラブルシューティングと運⽤の⾃動化 Amazon EC2 - Windows 編
36. © 2024, Amazon Web Services, Inc. or its affiliates. AWS CLI から実⾏・確認してみる 36 • SAW は Systems Manager の Automation という機能を利⽤し ており、AWS CLI からの実⾏、結果の確認などが可能です # 対象の SAW(ドキュメント)を指定して、実⾏ $aws ssm start-automation-execution --document-name AWSSupport- TroubleshootManagedInstance --parameters InstanceId=i-ABCDE { "AutomationExecutionId": "84a6a8b8-ABCD-EFG-HIJK" } # ステータス・結果確認 $aws ssm get-automation-execution --automation-execution-id 84a6a8b8-ABCD-EFG-HIJK …
37. © 2024, Amazon Web Services, Inc. or its affiliates. AWS CLI から実⾏・確認してみる 37 • コンソールの Automation の実⾏画⾯で、⼊⼒したパラメーター を含む AWS CLI のコマンドを⽣成することも可能
38. © 2024, Amazon Web Services, Inc. or its affiliates. ⾃動実⾏してみる 38 • 発展した使い⽅として問題の検知ができるものであれば、SAW を ⾃動的に実⾏、さらに問題時には通知するというアーキテクチャを 実装することも出来ます • 例:EC2 インスタンスは必ず SSM マネージドノードとしたい § 問題検知 – EC2 インスタンスが running になった際にマネージドノードかチェックする § 問題解析 – マネージドノードでない場合に SAW を使って解析する § 通知 – SAW の結果を Slack やメールなどで通知し、問題を対処する
39. © 2024, Amazon Web Services, Inc. or its affiliates. AWS Systems Manager ⾃動実⾏してみる • 先ほどの要件を実現するためのアーキテクチャ例 § 問題検知 – Amazon EventBridge および AWS Step Functions § 問題解析 – AWS Step Functions および SAW § 通知 – AWS Lambda および Amazon SNS Amazon EventBridge AWS Lambda Amazon SNS EC2 RUNNING ステータス 検知 AWS Cloud EC2 Instance SSM Agent AWSSupport- TroubleshootManagedInstance AWS Step Functions
40. © 2024, Amazon Web Services, Inc. or its affiliates. ⾃動実⾏してみる(問題検知) • Amazon EventBridge § EC2 インスタンスが RUNNING になったタイミングで AWS Step Functions を実⾏するように設定 • AWS Step Functions § 5 分の sleep 処理(SSM Agent 起動までの⼀定待機時間) § SSM DescribeInstanceAssociationsStatus API によるマネージドインスタ ンスとなっているかの確認 AWS Systems Manager Amazon EventBridge AWS Lambda Amazon SNS EC2 RUNNING ステータス 検知 AWS Cloud EC2 Instance SSM Agent AWSSupport- TroubleshootManagedInstance AWS Step Functions
41. © 2024, Amazon Web Services, Inc. or its affiliates. ⾃動実⾏してみる(問題解析) • AWS Step Functions および SAW § マネージドノードでない場合、SAW 「 AWSSupport- TroubleshootManagedInstance 」を実⾏ § SAW が終了するまでステータスを定期的にチェック § SAW の結果を AWS Lambda のペイロードとして渡す AWS Systems Manager Amazon EventBridge AWS Lambda Amazon SNS EC2 RUNNING ステータス 検知 AWS Cloud EC2 Instance SSM Agent AWSSupport- TroubleshootManagedInstance AWS Step Functions
42. © 2024, Amazon Web Services, Inc. or its affiliates. ⾃動実⾏してみる(通知) • AWS Lambda § 通知する⽂章などの加⼯ § 通知の呼び出し。メールなら Amazon SNS の Publish API を使い、Slack であれば Slack の API を利⽤するなど • Amazon SNS § メールなどによる通知 AWS Systems Manager Amazon EventBridge AWS Lambda Amazon SNS EC2 RUNNING ステータス 検知 AWS Cloud EC2 Instance SSM Agent AWSSupport- TroubleshootManagedInstance AWS Step Functions
43. © 2024, Amazon Web Services, Inc. or its affiliates. ⾃動実⾏してみる(通知例) InstanceProfile の Permission の 問題および対応⽅法を記載 インスタンスが Managed Node で はない場合にメッセージで通知
44. © 2024, Amazon Web Services, Inc. or its affiliates. ⾃動実⾏してみる(通知例) InstanceProfile の Permission の 問題および対応⽅法を記載 インスタンスが Managed Node で はない場合にメールで通知
45. © 2024, Amazon Web Services, Inc. or its affiliates. ⾃動実⾏してみる(AWS Step Functions 例) 45
46. © 2024, Amazon Web Services, Inc. or its affiliates. ⾃動実⾏してみる 46 • ⼀度システムを構築することで以下のメリットが享受できます § 問題が発⽣したタイミングで問題に気づくことができ、対処を早期に実施で きる § SAW を⼿動実⾏・待機をする必要がなく、より効率化できる § SAW の解析結果をマネージメントコンソールなどを利⽤せず確認できる • 全ての SAW で⾃動化までできるわけではないですが、SAW 利⽤ 有無に関わらず、運⽤において「問題検知」「問題解析」「通知」 ⾮常に重要なポイント
47. © 2024, Amazon Web Services, Inc. or its affiliates. © 2024, Amazon Web Services, Inc. or its affiliates. まとめ 47
48. © 2024, Amazon Web Services, Inc. or its affiliates. まとめ 48 • SAW を使うことでトラブルシューティングを効率化することが できます • 簡単に実⾏が可能 • ⾃動チェックによる調査時間短縮 • ⼿動チェックミスの防⽌ • ぜひ、どのような SAW があるのか確認・使ってみてください • AWS CLI による実⾏、⾃動実⾏などの発展的な使い⽅をするこ とによってより運⽤作業の負担を減らすことも可能です
49. © 2024, Amazon Web Services, Inc. or its affiliates. Thank you! © 2024, Amazon Web Services, Inc. or its affiliates.