第87回雲勉【オンライン：初心者向け】AWSの構築・運用でインフラエンジニアが意図せずハマった事象と対策をご紹介

Slide 1

Slide 1 text

第87回雲勉【オンライン︓初⼼者向け】 AWSの構築・運⽤でインフラエンジニアが意図せずハマった事象と対策をご紹介 2022/10/27

Slide 2

Slide 2 text

０．講師⾃⼰紹介 2 n 荒尾将吾 n 所属クラウドインテグレーション事業部構築第六セクション構築第三グループ様々なお客様のご要望に応じてAWSの設計/構築/運⽤を⾏っています。 n 経歴 ~2015年営業やったり、カフェでバイトしたり。 2015年~ インフラエンジニアとしてキャリアをスタート。 2022年4⽉~ アイレットに⼊社。

Slide 3

Slide 3 text

アジェンダ 3 0.⾃⼰紹介 1.ハマったときの基本的な調査⽅法(19:05~19:10) 2.ハマった事例と対策３選(19:10~19:50) 3.まとめ 4.質疑応答(19:50~20:00)

Slide 4

Slide 4 text

0. ハマるとは 4

Slide 5

Slide 5 text

0. ハマるとは 5 ⽳などのくぼみに落ちる、条件にぴったり合致する、夢中になる、といった意味の表現。 (出典: 実⽤⽇本語表現辞典)

Slide 6

Slide 6 text

0. ハマるとは 6 今回の場合意図しないトラブルに遭遇したという意味

Slide 7

Slide 7 text

1. AWSサービスで意図せずハマったときの基本的な調査⽅法 7

Slide 8

Slide 8 text

1. ハマったときの原則 8 n 確認ポイント

Slide 9

Slide 9 text

1. ハマったときの原則 9 n 確認ポイント

Slide 10

Slide 10 text

1. ハマったときの原則 10 n ログの例: マネージドコンソールに表⽰されるメッセージ • 操作が完了しなかった理由が表⽰される

Slide 11

Slide 11 text

1. ハマったときの原則 11 n ログの重要性 • 事象の発⽣している原因や理由をログが⽰してくれる • インターネットで検索するためのキーワードはログに含まれていることが多い • AWSサポートに問い合わせするにもログが必要(技術的な問い合わせは別途契約が必要) ログ出⼒の設定⽅法ログの読み⽅を知っていることが⼤事

Slide 12

Slide 12 text

2．ハマった事例と対策３選 12 n AWSの主なサービスのログログの種類概要マネージドコンソールに表⽰されるメッセージマネージドコンソールの操作結果を表⽰ CloudWatch リソースをリアルタイムでモニタリング CloudTrail API操作のログ VPCフローログ ENIやVPC、Transit Gatewayの通信ログを収集アクセスログ ELBやCloudFront、S3のアクセスログなど各サービスのログ SSMエージェントのログ、RDSのイベントログなど

Slide 13

Slide 13 text

2．ハマった事例と対策３選 13 n AWSの主なサービスのログログの種類概要マネージドコンソールに表⽰されるメッセージマネージドコンソールの操作結果を表⽰ CloudWatch リソースをリアルタイムでモニタリング CloudTrail API操作のログ VPCフローログ ENIやVPC、Transit Gatewayの通信ログを収集アクセスログ ELBやCloudFront、S3のアクセスログなど各サービスのログ SSMエージェントのログ、RDSのイベントログなど

Slide 14

Slide 14 text

2. 経験豊富な構築・運⽤を担当するインフラエンジニアが AWSサービスで意図せずハマった事例と対策３選 14

Slide 15

Slide 15 text

2．ハマった事例と対策３選 15 2-1. AWS CLIでEC2インスタンスを停⽌できるが起動できない 2-2. オンプレミス環境よりも移⾏したEC2インスタンスの動作が遅い 2-3. オンプレミス環境に対してEC2インスタンスから通信ができたり、できなかったり

Slide 16

Slide 16 text

2-1. AWS CLIでEC2インスタンスを停⽌できるが起動できない 16

Slide 17

Slide 17 text

2-1． AWS CLIでEC2インスタンスを停⽌できるが起動できない 17 n 概要ジョブサーバでAWS CLIを実⾏しEC2インスタンスを定期停⽌/起動する構成複数稼働するEC2インスタンスの⼀部で停⽌後起動しない事象が発⽣した

Slide 18

Slide 18 text

2-1． AWS CLIでEC2インスタンスを停⽌できるが起動できない 18 n 原因 1. AWS Key Management Service(KMS)で暗号化されたEBSがEC2にアタッチされていた。 2. AWS CLIを実⾏するIAMロールにKMSに関するポリシーが不⾜していた。 KMSのポリシーがアタッチされていないIAMアカウントで実際に以下のインスタンスに対してAWS CLIのstart-instancesをやってみます。インスタンス名インスタンスID 暗号化 kumoben i-0e3329c2fda3e54d2 なし kumoben-encrypted i-01bfe8fdcdc29d490 あり

Slide 19

Slide 19 text

2-1． AWS CLIでEC2インスタンスを停⽌できるが起動できない 19 n AWSの主なサービスのログログの種類概要マネージドコンソールに表⽰されるメッセージマネージドコンソールの操作結果を表⽰ CloudWatch リソースをリアルタイムでモニタリング CloudTrail API操作のログ VPCフローログ ENIやVPC、Transit Gatewayの通信ログを収集アクセスログ ELBやCloudFront、S3のアクセスログなど各サービスのログ SSMエージェントのログ、RDSのイベントログなど

Slide 20

Slide 20 text

2-1． AWS CLIでEC2インスタンスを停⽌できるが起動できない 20 n CloudTrail • ユーザー、ロール、または AWS のサービスによって実⾏されたアクションは CloudTrail にイベントとして記録 • つまりはAPI操作のログ

Slide 21

Slide 21 text

2-1． AWS CLIでEC2インスタンスを停⽌できるが起動できない 21 n 調査⽅法正常に起動できるEC2インスタンスと設定値⽐較 AWS CLIの実⾏内容を確認するためにCloudTrailでAPI処理結果を確認

Slide 22

Slide 22 text

2-1． AWS CLIでEC2インスタンスを停⽌できるが起動できない 22 n 解決策以下のKMSを許可するIAMポリシーを作成しIAMロールにアタッチ

Slide 23

Slide 23 text

2-1． AWS CLIでEC2インスタンスを停⽌できるが起動できない 23 n 原因特定まで時間がかかった理由 • AWS CLIで停⽌はできたため、IAMの権限は問題ないという思い込みがあった。 • AWS CLIのstart-instances実⾏結果にエラーは表⽰されなかったため、AWS CLIではなく EC2インスタンスにOSレベルの問題があると考えた。

Slide 24

Slide 24 text

2-2.オンプレミス環境よりも移⾏したEC2インスタンスの動作が遅い 24

Slide 25

Slide 25 text

2-2．オンプレミス環境よりも移⾏したEC2インスタンスの動作が遅い 25 n 概要オンプレミス環境からAWS Application Migration Service(MGN)で移⾏したEC2インスタンスで性能測定した際、オンプレミス環境に⽐べEC2インスタンスでの処理が2~3倍かかった。2回⽬以降の性能測定では多少の性能改善が⾒られた。

Slide 26

Slide 26 text

2-2．オンプレミス環境よりも移⾏したEC2インスタンスの動作が遅い 26 n 原因 1. EBSのスループットとIOPSがアプリケーションの要件に達していなかった。 2. S3からEBSへのデータ転送がボトルネックになっていた。

Slide 27

Slide 27 text

2-2．オンプレミス環境よりも移⾏したEC2インスタンスの動作が遅い 27 n AWSの主なサービスのログログの種類概要マネージドコンソールに表⽰されるメッセージマネージドコンソールの操作結果を表⽰ CloudWatch リソースをリアルタイムでモニタリング CloudTrail API操作のログ VPCフローログ ENIやVPC、Transit Gatewayの通信ログを収集アクセスログ ELBやCloudFront、S3のアクセスログなど各サービスのログ SSMエージェントのログ、RDSのイベントログなど

Slide 28

Slide 28 text

2-2．オンプレミス環境よりも移⾏したEC2インスタンスの動作が遅い 28 n CloudWatch • AWSリソースとアプリケーションをリアルタイムでモニタリング • メトリクスを収集 • カスタムメトリクスをCloudWatchに対して発⾏することも可能

Slide 29

Slide 29 text

2-2．オンプレミス環境よりも移⾏したEC2インスタンスの動作が遅い 29 n 調査⽅法 CPUやメモリのスペックは移⾏後のほうが優っていることからEBSの性能を主に調査 EBSのスループットとIOPSがどの程度利⽤されているかCloudWatchのメトリクスで経過観察

Slide 30

Slide 30 text

2-2．オンプレミス環境よりも移⾏したEC2インスタンスの動作が遅い 30 n 解決策 1. EBSはgp3で作成していたため、スループットとIOPSの設定値(※1)を変更 2. EBS 帯域幅(※2) のスペックが⾼いインスタンスタイプに変更 3. 初回のファイルアクセスが遅い事象はAmazon EBS Fast Snapshot Restore(FSR)で対応 ※2 ※１

Slide 31

Slide 31 text

2-2．オンプレミス環境よりも移⾏したEC2インスタンスの動作が遅い 31 n インスタンスタイプが⼤事 • CPUやメモリに注視して、EBSのスペックは意外と⾒落としがち m6i系 m5系

Slide 32

Slide 32 text

2-2．オンプレミス環境よりも移⾏したEC2インスタンスの動作が遅い 32 n Amazon EBS Fast Snapshot Restore(FSR) • FSR実⾏後のスナップショットからボリューム作成することで初回のファイルアクセス時からEBSのスペック通りの性能がでる。 • スナップショット単位でAZ毎にFSRを有効化する。 • FSRの有効が完了するまでスナップショットサイズによって時間が異なる(1TB : 1時間)。

Slide 33

Slide 33 text

2-3.オンプレミス環境に対してEC2インスタンスから通信ができたり、できなかったり 33

Slide 34

Slide 34 text

2-3.オンプレミス環境に対してEC2インスタンスから通信ができたり、できなかったり 34 n 概要以下構成でオンプレミスの⼀部サーバとEC2インスタンスが通信が不安定になる事象が発⽣

Slide 35

Slide 35 text

2-3.オンプレミス環境に対してEC2インスタンスから通信ができたり、できなかったり 35 n 原因複数のTransit Gateway Attachmentがある場合、AZ-aへの通信もAZ-cを経由する場合がある仕様だった。しかし、AZ間で通信しないようにNetwork ACLで制限をしていた。

Slide 36

Slide 36 text

2-3.オンプレミス環境に対してEC2インスタンスから通信ができたり、できなかったり 36 n AWSの主なサービスのログログの種類概要マネージドコンソールに表⽰されるメッセージマネージドコンソールの操作結果を表⽰ CloudWatch リソースをリアルタイムでモニタリング CloudTrail API操作のログ VPCフローログ ENIやVPC、Transit Gatewayの通信ログを収集アクセスログ ELBやCloudFront、S3のアクセスログなど各サービスのログ SSMエージェントのログ、RDSのイベントログなど

Slide 37

Slide 37 text

2-3.オンプレミス環境に対してEC2インスタンスから通信ができたり、できなかったり 37 n VPCフローログ • VPC のネットワークインターフェイスの間で⾏き来する IP トラフィックに関する情報を参照できる機能 • 他のサービスと異なり事前に設定が必要

Slide 38

Slide 38 text

2-3.オンプレミス環境に対してEC2インスタンスから通信ができたり、できなかったり 38 n VPCフローログの設定⽅法 • IAMポリシー作成 • IAMロール作成 • CloudWatchロググループ作成 • VPCフローログ作成

Slide 39

Slide 39 text

2-3.オンプレミス環境に対してEC2インスタンスから通信ができたり、できなかったり 39 n VPCフローログの設定⽅法 • 以下のIAMポリシー作成

Slide 40

Slide 40 text

2-3.オンプレミス環境に対してEC2インスタンスから通信ができたり、できなかったり 40 n VPCフローログの設定⽅法 • IAMロール作成作成したIAMポリシーをアタッチ VPCフローログと信頼関係を設定

Slide 41

Slide 41 text

2-3.オンプレミス環境に対してEC2インスタンスから通信ができたり、できなかったり 41 n VPCフローログの設定⽅法 • CloudWatchロググループ作成

Slide 42

Slide 42 text

2-3.オンプレミス環境に対してEC2インスタンスから通信ができたり、できなかったり 42 n VPCフローログの設定⽅法 • VPCフローログ作成フィルタ: すべて最⼤集約間隔: 1分間送信先: CloudWatch Logs 送信先ロググループ: 作成したロググループ IAMロール: 作成したIAMロール

Slide 43

Slide 43 text

2-3.オンプレミス環境に対してEC2インスタンスから通信ができたり、できなかったり 43 n VPCフローログ • 送信元送信先送信元ポート送信先ポートの順番で記載 • ACCEPT: 通信を許可 REJECT: 通信を拒否

Slide 44

Slide 44 text

2-3.オンプレミス環境に対してEC2インスタンスから通信ができたり、できなかったり 44 n 解決策 n 調査⽅法 VPCフローログで通信の到達箇所を切り分け AWS公式ドキュメントを参照するが同様の事例を⾒つけることができず AWSサポートに問い合わせを実施 Transit Gateway Attachmentの公開されていない仕様によりAZ-aへの通信もAZ-cを経由する場合があることが判明 Network ACLでサブネット単位でNW制限するのではなく、Security GroupでENI単位で通信制限するように変更することで回避

Slide 45

Slide 45 text

2-3.オンプレミス環境に対してEC2インスタンスから通信ができたり、できなかったり 45 n 原因特定まで時間がかかった理由 • Direct Connect、Transit Gateway、Network ACL、Security Group、 Route Table、EC2インスタンス、オンプレミスのサーバ等切り分け箇所が多かった。 n Network ACLの利⽤はおすすめしない • 複数のインフラエンジニアにハマった事例を聞いたところNetwork ACLに起因するものがいくつかあった。 • 意図しない通信遮断に繋がることが多くあり、切り分け箇所の検討が付けにくいことが主な理由だった。

Slide 46

Slide 46 text

3．まとめ 46 ハマった経験がAWSサービスやインフラの知識をより深めると考えています。改めてアイレットのインフラエンジニア達に事例を聞くことで実感しました。ハマることは避けられないことなので予め調査⼿順を知っていることが解決への道標になると思います。

Slide 47

Slide 47 text

4. 質疑応答 47