「何故か繋がらない」AWS疎通確認トラブルの効率的な解決フロー

AWSで初心者がハマりやすい疎通トラブルを効率的に解消するフローや考え方を共有します！
よくあるアーキテクチャ構成を実際に使いながらコンソール画面でトラブルシューティングする様子説明していきます！

Transcript

1. ©Mitsubishi Electric Corporation 「何故か繋がらない」 AWS疎通確認トラブルの効率的な解決フロー 三菱電機株式会社 小畠 良俊
2. ©Mitsubishi Electric Corporation 2 自己紹介 ２０２4年 3月 2024年 ４月 2025年 10月 小畠 良俊(こばたけ りょうしゅん) AXC AI技術基盤開発 アーキテクトチーム 近畿大学 情報系の学部を卒業 競技プログラミングサークル設立ICPCに出場 三菱電機株式会社 入社 現在の部署へ移動 AI Agent基盤システムのアーキテクチャ開発と社内コミュニティの運営を担当 ２４歳
3. ©Mitsubishi Electric Corporation アジェンダ 3 1.概要 2.疎通トラブル 3.原因の切り分け手順 3-1. 前提を言語化 3-2. 何が起きたかをまとめる 3-3. スタートのRouteとReturn path 3-4. ゴールと経由地点の制限・設定確認（個別リソース単位） 3-5. 全体の制限・設定確認（サブネット単位） 4.トラブルシューティング 4-1. EC2のpingステータスはオフライン 4-2. Session Manager connection status Not connected 5.まとめ
4. ©Mitsubishi Electric Corporation １．概要 4
5. ©Mitsubishi Electric Corporation AWSでシステム開発を行っていて 一番多いトラブルはなんですか？ 5
6. ©Mitsubishi Electric Corporation サービス個々の設定がわからない… (小畠の体感では)システム間の疎通トラブルです！ 最近サービス単体の疑問はAIが詳細まで教えてくれるようになりました 6 それはね…
7. ©Mitsubishi Electric Corporation 繋がらないよ！ (小畠の体感では)システム間の疎通トラブルです！ システム全体のトラブルや設定は回答を得るのが比較的難しい。 7 SGは?IPは?その他設定は? (構成がわからいからとりあえず当てずっぽう)
8. ©Mitsubishi Electric Corporation 2．疎通トラブル 8
9. ©Mitsubishi Electric Corporation 疎通トラブルは様々な種類があります… 9 接続系エラー DNS解決系 ルーティング ファイアウォール系 TLS/SSL系 アプリケーション層 IAM/認証認可 帯域/レート系 Route table AWS WAF IAM Amazon Route 53 example.com ? Elastic network interface 代表例
10. ©Mitsubishi Electric Corporation 3．原因切り分け手順 10
11. ©Mitsubishi Electric Corporation Step1：前提を言語化 11 いつ 何が どこから どこへ 宛先は？（IP / ドメイン / AWSサービス） 送信元は？（サブネット / ENI / IP） 変更直後？急に？常に？ 症状は？(Timeout等)
12. ©Mitsubishi Electric Corporation Step2：何が起きたか？ 原因を特定するために、いつどこで何が起きたのかを調査します！ 12 何が Amazon CloudWatch 一番先にエラー内容を調査します いつ
13. ©Mitsubishi Electric Corporation Step3：スタートのRouteとReturn path スタート地点の設定は上手くいってる？ • Route：宛先への経路がある？ • Return path：戻り成立してる？ 13 ここだよー 対称性が崩れると Timeout！ どこへ Elastic Load Balancing いつ
14. ©Mitsubishi Electric Corporation Step4：ゴールと経由地点の制限・設定確認（個別リソース単位） ゴール、経由地点の設定は上手くいってる？(個別リソース単位) • 宛先側：Inbound（送信元/Port）が許可されている？ • 経由地点:InもOutも両方正しく設定されてる？ Cloud Watchで原因箇所を絞るのも大切！ 14 AWS WAF IPブロック！ どこから いつ
15. ©Mitsubishi Electric Corporation Step5：全体の制限・設定確認（サブネット単位） 全体の設定は上手くいってる？(サブネット単位) • NACLは stateless→Inbound/Outbound 両方が必要 • Statelessだから往復を覚えない inの443だけ許可 or 戻り（ephemeral ports）だけ許可 15 Network access control list EC2/ECS (XX.X.X.XX:51532) Web Server (:443) Inbound 1024–65535 を許可 Outbound 443を許可 どこから どこへ 例：EC2/ECS から Web サイトに HTTPS 接続する（TCP/443）
16. ©Mitsubishi Electric Corporation 4．トラブルシューティング 16
17. ©Mitsubishi Electric Corporation 17 VPC Private subnet Public subnet Route table Security group Internet gateway Application Load Balancer Security group EC2 Network access control list Network access control list Network access control list Network access control list Amazon API Gateway NAT gateway Security group
18. ©Mitsubishi Electric Corporation 18 VPC Private subnet Public subnet Route table Security group Internet gateway Application Load Balancer Security group EC2 Network access control list Network access control list Network access control list Network access control list Amazon CloudWatch Amazon API Gateway NAT gateway Security group ややこしい中→外を トラブルシューティングしてみます！
19. ©Mitsubishi Electric Corporation 19 VPC Private subnet Public subnet Route table Internet gateway Security group EC2 Network access control list Network access control list Amazon CloudWatch Amazon API Gateway NAT gateway AWS Systems Manager Network access control list
20. ©Mitsubishi Electric Corporation 問題 SSM→EC2へのアクセスができない 20 変更直後から常に SSMから EC2へ Ping statusがオフライン いつ どこから どこへ なに EC2の接続画面
21. ©Mitsubishi Electric Corporation 21 Amazon CloudWatch 一番先にエラー内容を調査します 何が起きた？→SSMがEC2へ常に繋がらない エラー内容を調査しましょう！ 今回は接続できていないのでCloud Watchが使えない…
22. ©Mitsubishi Electric Corporation 何が起きた？→SSMがEC2へ常に繋がらない • コンソールでEC2が「オフライン」表示 • connection statusが「Not connected」 22 Timeout等の接続後のエラーではなくそもそも繋がってない！
23. ©Mitsubishi Electric Corporation • Route：宛先への経路がある？ • Return path：戻り成立してる？ 23 EC2にSSM Agentが いないor出れない？
24. ©Mitsubishi Electric Corporation 24 エラー内容を調査しましょう！ ルーティング Route table TLS/SSL系 接続系エラー DNS解決系 Amazon Route 53 example.com アプリケーション層 ファイアウォール系 AWS WAF IAM/認証認可 IAM ? 帯域/レート系 Elastic network interface 怪しい項目 低確率・無い項目
25. ©Mitsubishi Electric Corporation • Route：宛先への経路がある？ • Return path：戻り成立してる？ 25 EC2にSSM Agentが いないor出れない？
26. ©Mitsubishi Electric Corporation 何が起きた？→SSMがEC2へ常に繋がらない • そもそもSSM Agentが起動していない / IAMがない →Systems Manager → Fleet Manager → 対象EC2を選択 • AgentはAWSと通信しようとしているが経路がない →経路の中で通信を阻害するものを探し、解消する必要がある。 26 ルーティング Route table IAM/認証認可 IAM ? ルーティング Route table 接続系エラー DNS解決系 Amazon Route 53 example.com ファイアウォール系 AWS WAF
27. ©Mitsubishi Electric Corporation そもそもSSM Agentが起動していない / IAMがない →Systems Manager → Fleet Manager → 対象EC2を選択 27 接続できてない →疎通できていない EC2が存在している 〇 Agentは存在している × IAMロール未タッチ IAM/認証認可 IAM ? SSMのFleet Manager画面
28. ©Mitsubishi Electric Corporation AgentはAWSと通信しようとしているが経路がない →経路の中で通信を阻害するものを探し、解消する必要がある。 28 NACL Route table NAT Gateway Internet Gateway
29. ©Mitsubishi Electric Corporation Cloud Watchを確認して通信の有無を確認し、原因箇所を絞る 29 Cloud Watchを確認する！
30. ©Mitsubishi Electric Corporation Cloud Watchを確認して通信の有無を確認し、原因箇所を絞る 30 ログがない・・・ NAT Gatewayに通信が 来ていない！
31. ©Mitsubishi Electric Corporation 経路の中で通信を阻害するものを探し、解消する必要がある。 →Route table NAT Gateway間は繋がっている？ 31 Route tableコンソール画面 NATGatewayが 指し先として未登録！ ルーティング Route table
32. ©Mitsubishi Electric Corporation Route table NAT Gateway間は繋がっている？ →繋がっていないのでNATGatewayをルートに追加する 32 Route tableコンソール画面 解決しました！ NATGatewayを 指し先として登録
33. ©Mitsubishi Electric Corporation エラーが直らない！ 33 Session Manager connection status Not connectedのまま！ EC2の接続画面
34. ©Mitsubishi Electric Corporation 34 SSM→EC2へのアクセスができない 修正直後から SSMから EC2へ アクセスがNot connected いつ どこから どこへ なに EC2の接続画面
35. ©Mitsubishi Electric Corporation 35 エラー内容を調査しましょう！ ルーティング Route table TLS/SSL系 接続系エラー DNS解決系 Amazon Route 53 example.com アプリケーション層 ファイアウォール系 AWS WAF IAM/認証認可 IAM ? 帯域/レート系 Elastic network interface 怪しい項目 低確率・無い項目
36. ©Mitsubishi Electric Corporation 36 エラー内容を調査しましょう！ ファイアウォール系 IAM/認証認可 帯域/レート系 AWS WAF IAM ? Elastic network interface PingはSSMエンドポイントへの通信 Session Managerはssmmessagesエンドポイントへの通信 ← 別エンドポイントなのでSG/NACLの影響が異なる可能性がある 未確認なので残す ポリシーはアタッチされているが内容は未確認 ・カスタムポリシーで ssmmessages が抜けている可能性 ・VPCエンドポイントポリシーで拒否されている可能性 ・SCPで制限されている可能性 可能性は低いが未確認なので排除しきれない(多分違う)
37. ©Mitsubishi Electric Corporation 37 SSMにEC2アクセスに必要なポリシーはある？ IAM/認証認可 IAM ? 必要なポリシーは付与済み SSMに付与したロールの許可ポリシー
38. ©Mitsubishi Electric Corporation 38 NACLのInbound OutBoundは？ ファイアウォール系 AWS WAF 制限は特になし プライベートサブネットのNACL
39. ©Mitsubishi Electric Corporation 一旦EC２を再起動してみる 39 インスタンスを再起動する IAM/認証認可 IAM ? ファイアウォール系 AWS WAF 本命の2つが違う…
40. ©Mitsubishi Electric Corporation なおった。 40 Connectedに復帰！ 一旦再起動は万能!!
41. ©Mitsubishi Electric Corporation 疎通確認 41 Route table Amazon CloudWatch AWS Systems Manager ・・・ SSMでコマンドをうちAPIGatewayへアクセス Cloud Watchで疎通できた確認 Cloud Watchにも アクセスしたログが 残ってます！ 200が応答！
42. ©Mitsubishi Electric Corporation 5．まとめ 42
43. ©Mitsubishi Electric Corporation 43 まとめ • 原因内容調査が最優先→原因さえわかれば９割解決 • 指し元から指し先への道順を意識して調査する • 困ったら再起動！ SUMMARY