オンプレADを昇降格したらAWS上のシステムのいろんなところが通信できなくなった話

by ひよこインフラエンジニア

Slide 1

Slide 1 text

オンプレADを昇降格したら AWS上のシステムのいろんなところが通信できなくなった話ひよこインフラエンジニア JAWS-UG朝会 #58 2024/6/14

Slide 2

Slide 2 text

自己紹介 • お仕事 • 某SI企業のクラウドを扱う部署において、基盤の設計～運用保守 • 製造業、地方自治体、金融系などお客様の業界は様々 • 社会人4年目 • 資格 • 基本情報、応用情報、情報処理安全確保支援士 • AWS CLF、SAA、SOA • 趣味 • 仏像鑑賞、神社仏閣巡り • 好きな仏像：興福寺南円堂木造四天王立像ひよこインフラエンジニア @hamijay_cloud Zennにたまに記事を投下 https://zenn.dev/hamijay_cloud

Slide 3

Slide 3 text

• アジェンダ ① プロジェクトの概要 ② 起こったできごと ③ はまりごと ④ まとめ • ゴールオンプレミスAD昇降格時に起こった出来事と"はまりごと"を紹介し、注意するポイントへの理解を深める ※本発表内容は個人の見解であり、所属組織を代表するものではありません。 ※2024年6月14日現在の情報に基づいています。 ※オンプレミスADの昇格・降格の手順は本LTでは扱いません。本日のゴール

Slide 4

Slide 4 text

プロジェクトの概要

Slide 5

Slide 5 text

地方自治体様の拠点で稼働している基幹系業務システムを、 AWSクラウド上に移行するプロジェクト・既存（稼働中）のシステムは業務チーム（@PJルーム）が運用、 AWSチーム（@テレワーク）は新規参画・お客様拠点-AWSはDirect Connect接続、インターネットへの経路なし・当時はAWSチームの設計・構築やテストフェーズが終わり、ボス、先輩、ひよこの3人で業務チームのテストを支援している段階・Direct Connectは全員扱ったことがなく、有資格者はSAA保有者1名 ① プロジェクトの概要

Slide 6

Slide 6 text

Direct Connect Location 運用管理アカウント ① プロジェクトの概要本番アカウント VPC AZ-a AZ-c Private subnet 東京リージョンお客様拠点 Transit Gateway Route 53 Private Hosted zone TGW Attachment Endpoints Customer gateway Direct Connect Gateway ALB EC2 Direct Connect S3 Backup CloudWatch Systems Manager 既存システム (ADもここ) FSx(現用) Private subnet EC2 FSx(待機) Private subnet Private subnet 東京リージョン VPC Route53 Resolver インバウンド・アウトバウンドエンドポイント Private subnet Private subnet RDS(現用) RDS(待機) ※構成イメージ Route53 Resolver アウトバウンドエンドポイント

Slide 7

Slide 7 text

起こったできごと

Slide 8

Slide 8 text

② 起こったできごとみんな、業務チームから急ぎの確認依頼がきたぞ。なになに・・・「先週末オンプレ側で旧ADドメインコントローラの降格を行ったところ、EC2上で名前解決ができない事態が発生。オンプレ側の作業の関連で恐縮だが、確認をお願いしたい。」ドメインコントローラのIPが変わったみたいだね。セキュリティグループは新旧ドメインコントローラの通信をすでに許可していたはずだけど・・・。セキュリティグループ以外も全面的に確認しましょうか。 ※BOSSはサントリーホールディングス(株)のブランドです。 BOSS ボスブランドサイト │ サントリー (suntory.co.jp)

Slide 9

Slide 9 text

Slide 10

Slide 10 text

そもそもMicrosoft Active Directory やドメインコントローラとは？ • Active Directory(AD) Windows Serverの機能の1つで、管理するネットワーク上に存在する様々な資源やその利用者の情報や権限などを一元管理することができるもの。 • ドメインコントローラドメイン内の資源や利用者、アクセス権限などの情報を一元的に登録、管理するためのデータベース。 • Organizational Unit(OU) 設定や権限を管理する最小単位。 ② 起こったできごと参考：[1]

Slide 11

Slide 11 text

Direct Connect Location 運用管理アカウント ② 起こったできごと本番アカウント VPC AZ-a AZ-c Private subnet 東京リージョンお客様拠点 Transit Gateway Route 53 Private Hosted zone TGW Attachment Endpoints Customer gateway Direct Connect Gateway ALB EC2 Direct Connect S3 Backup CloudWatch Systems Manager 既存システム (ADもここ) FSx(現用) Private subnet EC2 FSx(待機) Private subnet Private subnet 東京リージョン VPC Route53 Resolver インバウンド・アウトバウンドエンドポイント Private subnet Private subnet RDS(現用) RDS(待機) ※再びの構成イメージ Route53 Resolver アウトバウンドエンドポイント

Slide 12

Slide 12 text

はまりごと

Slide 13

Slide 13 text

詳細設計書を片手に、業務チームはオンプレ側ファイウォール、 AWSチームはVPCフローログを見ながら点検・ルートテーブル・EC2にアタッチしているセキュリティグループ・ALBにアタッチしているセキュリティグループ・VPCエンドポイントにアタッチしているセキュリティグループ・Route 53 Resolver Rule のターゲットIPアドレス × ・FSx for Windows File Server のDNSサーバーのIPアドレス × ・FSx for Windows File Server にアタッチしているセキュリティグループ × ③ はまりごと

Slide 14

Slide 14 text

Route 53 Resolverの対処

Slide 15

Slide 15 text

ネームサーバをマネージドで提供するサービスで、特定のVPC からの問い合わせとそれ以外からの問い合わせを識別し、異なる応答を返す [2] ③-1 Route53 Hosted Zone 引用：[2]

Slide 16

Slide 16 text

社内サーバーなどのオンプレミス環境とVPCの間で名前解決ができる機能 [3] • インバウンドResolverエンドポイント VPCに、オンプレミスネットワークまたは別のVPCからDNSクエリが可能・アウトバウンドResolverエンドポイント VPCから、オンプレミスネットワークまたは別のVPCにDNSクエリが可能 • Resolverルールドメイン名ごとに転送ルールを1つ作成し、VPCからオンプレミスの DNSリゾルバーへのDNSクエリ、及びオンプレミスからVPCへの DNSクエリを転送するドメイン名を指定できる。 ③-1 Route53 Resolver 参考：[3]

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Direct Connect Location 運用管理アカウント ③-1 Route53 Resolver お客様拠点 Transit Gateway Route 53 Private Hosted zone Customer gateway Direct Connect Gateway Direct Connect 既存システム (ADもここ) 東京リージョン VPC Route53 Resolver インバウンドエンドポイント本番アカウント VPC 東京リージョン TGW Attachment Route53 Resolver アウトバウンドエンドポイント EC2 ※三度びの構成イメージ（抜粋） Amazon Route53 Resolver フォワーダーリゾルバルール転送ルール① 転送ルール② ・・・ Route53 Resolver アウトバウンドエンドポイント Amazon Route53 Resolver フォワーダーリゾルバルール転送ルール① 転送ルール② ・・・オンプレ (AD)行きたかったら、アウトバウンドエンドポイント通って運用管理アカウントにきいてオンプレ (AD)行きたかったらな、 DX通ってお客さんとこ行って本番アカウントから何かきかれてるんやけどお前なんか知ってる?

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Amazon FSx for Windows File Server の対処

Slide 22

Slide 22 text

SMBを介してアクセスできる、信頼性が高くスケーラブルな完全マネージド型のファイルストレージ • 幅広い管理機能、高スループット、高IOPS、ミリ秒未満のレイテンシー • 数千のコンピューティングインスタンスとデバイスから同時アクセス可能 • 1つのファイルシステムにつき最大64TBまでデータを保存可能 • AWS Microsoft Managed AD またはオンプレミスの Microsoft Active Directoryと統合 • EC2、ECS、Amazon WorkSpaces、Amazon AppStream 2.0、オンプレミス環境(Direct Connect or AWS VPNが必要)から接続可能 ③-2 FSx for Windows File Server 参考：[4][5]

Slide 23

Slide 23 text

・FSxファイルシステムの構築 ③-2 FSx for Windows File Server

Slide 24

Slide 24 text

② FSxファイルシステムの構築 ③-2 FSx for Windows File Server ADで作成したFSxの管理者ユーザー OUを記載する OU=OU名,DC=ドメイン名(.以前),DC=local 権限を委任したグループ = FSxの管理者ユーザーが所属する

Slide 25

Slide 25 text

③-2 FSx for Windows File Server No ファイルシステム作成後に変更可能なパラメータ 1 ファイルシステム名 2 ストレージ容量 3 スループットキャパシティ 4 VPC セキュリティグループ 5 DNS サーバーの IP アドレス 6 サービスアカウントのユーザー名 7 毎日の自動バックアップウィンドウ 8 自動バックアップ保持期間 9 週次メンテナンスウィンドウ 10 ファイルシステム名の監査・入力したパラメータを確認し、作成ボタンをクリック・ステータスがCREATING→AVAILABLE になるまで約30分

Slide 26

Slide 26 text

・AD・FWを設定 ③-2 FSx for Windows File Server セルフマネージド Microsoft Active Directory を使用するための前提条件 - Amazon FSx for Windows File Server

Slide 27

Slide 27 text

・AD・FWを設定 ③-2 FSx for Windows File Server 参考：[6][7] No TCP UDP ポート説明 1 〇〇 53 ドメインネームシステム (DNS) 2 〇〇 88 Kerberos 認証 3 〇〇 464 パスワードを変更/設定する (Kerberos) 4 〇〇 389 Lightweight Directory Access (LDAP) 5 × 〇 123 NTP 6 〇 × 135 分散コンピューティング環境/エンドポイントマッパー (DCE/EPMAP ※WindowsではMS-RPC) 7 〇 × 445 SMB 8 〇 × 636 LDAPS 9 〇 × 3268 Microsoft グローバルカタログ 10 〇 × 3269 Microsoft グローバルカタログ (SSL) 11 〇 × 5985 WinRM 2.0 (Microsoft Windows リモート管理) 12 〇 × 9389 マイクロソフト AD DS Web サービス、PowerShell 13 〇 × 49152-65535 RPC 用のエフェメラルポート

Slide 28

Slide 28 text

まとめ

Slide 29

Slide 29 text

オンプレ環境で稼働中のADを昇降格したところ、AWS上からオンプレミスへの名前解決が出来ない事態が発生。はまりごとは下記の3点。 ① Route 53 Resolver Rule のターゲットIPアドレス ② FSx for Windows File Server のDNSサーバーのIPアドレス ③ FSx for Windows File Server にアタッチしているセキュリティグループ 5) まとめ

Slide 30

Slide 30 text

オンプレ環境で稼働中のADを昇降格したところ、AWS上からオンプレミスへの名前解決が出来ない事態が発生。今後気を付けたいことは下記の3点。 ① 公式ドキュメントの読み込み ② プロジェクトのドキュメントの読み込み ③ 他チームと作業の認識合わせを十分に行う 5) まとめ

Slide 31

Slide 31 text

[1] インセプト, IT用語辞典 https://e-words.jp/ [2] AWS, AWS Black Belt Online Seminar Amazon Route 53 Resolver 編 https://pages.awscloud.com/rs/112-TZM-766/images/AWS-Black- Belt_2023_Amazon-Route53-Resolver_0530_v1.pdf [3] AWS, Amazon Route 53 デベロッパーガイド https://docs.aws.amazon.com/ja_jp/Route53/latest/DeveloperGuide/resolver.html 参考（2024/6/14 閲覧）

Slide 32

Slide 32 text

[4] AWS, Amazon FSx for Windows File Server Windowsユーザーガイド [5] AWS, Amazon FSx for Windows File Server のよくある質問 [6] ディーネット, FSx for Windows File Server でファイルサーバを♪ [7] クラスメソッド, Amazon FSx for Windows File Server を最低限の手順で構築してみた参考（2024/6/14 閲覧）