(当時)新卒2年目がオンプレADと連携するFSx for Windows File Serverと格闘したお話 / Struggle with FSx for Windows

オンプレADと連携するFSx for Windowsを構築する機会があったため、構築のはまりどころや注意すべきポイントをまとめました。JAWS-UG朝会 #48(2023/8/28)での発表資料となります。朝会のリンクはこちらです。
https://jawsug-asa.connpass.com/event/282613/

Transcript

1. (当時)新卒2年目が オンプレADと連携する FSx for Windows File Server と格闘したお話 ひよこインフラエンジニア JAWS-UG朝会 #48 2023/8/28
2. 自己紹介 • お仕事 • 某SI企業のクラウドを扱う部署において、基盤の設計～運用保守 • 製造業、地方自治体、金融系などお客様は様々 • 社会人3年目(当時2年目) • 資格 • 基本情報、応用情報、AWS SAA • 趣味 • 仏像鑑賞、神社仏閣巡り • 好きな仏像：興福寺南円堂 木造四天王立像 ひよこインフラエンジニア @hamijay_cloud Zennにたまに記事を投下 JAWS登壇初めてです
3. • アジェンダ • Amazon FSx for Windows File Serverの概要 • 格闘日記 ～夏のファイルシステム構築編～ • まとめ • ゴール • オンプレミスADと連携するFSx For Windowsを構築する上での "嵌まりごと"を紹介し、注意するポイントへの理解を深める ※本発表内容は個人の見解であり、所属組織を代表するものではありません。 ※2023年8月28日現在の情報に基づいています。 本日のゴール
4. Amazon FSx for Windows File Server の概要
5. SMBを介してアクセスできる、信頼性が高くスケーラブルな 完全マネージド型のファイルストレージ • 幅広い管理機能 • 高スループット、高IOPS、ミリ秒未満のレイテンシー • 数千のコンピューティングインスタンスとデバイスから同時アクセス可能 • 1つのファイルシステムにつき最大64TBまでデータを保存可能 • EC2、ECS、Amazon WorkSpaces、Amazon AppStream 2.0、 オンプレミス環境(Direct Connect or AWS VPNが必要)から接続可能 FSx for Windows File Serverの概要 参考：[1][2]
6. オンプレミスの Microsoft Active Directory または AWS Microsoft Managed AD と統合 • Active Directory(AD) Windows Serverの機能の1つで、管理するネットワーク上に存在する様々 な資源やその利用者の情報や権限などを一元管理することができるもの。 • ドメインコントローラ ドメイン内の資源や利用者、アクセス権限などの情報を一元的に登録、 管理するためのデータベース。 • Organizational Unit(OU) 設定や権限を管理する最小単位。 FSx for Windows File Serverの概要 参考：[5]
7. • お品書き 1) やりたいこと 2) オンプレ側の作業 3) AWS側の作業 4) はまりごと 5) まとめ 格闘日記 ～夏のファイルシステム構築編～
8. やりたいこと
9. オンプレ環境にある本番稼働中のADと連携した上で、お客様の複数 拠点 / EC2上からAWS上のファイルシステムにアクセスしたい • お客様の拠点で稼働している業務システムを、AWSクラウド上に移行するPJ • 既存(稼働中)のシステムは業務チーム(@PJルーム)が運用、 AWSチーム(@テレワーク)は新規参画 • 当時のAWSチームはボス、先輩、ひよこの3人・・・ • お客様拠点-AWSはDirect Connect接続、インターネットへの経路なし 1) やりたいこと
10. Direct Connect Location 運用管理アカウント 1) やりたいこと 本番アカウント VPC AZ-a AZ-c Private subnet 東京リージョン お客様拠点① Transit Gateway Route 53 Private Hosted zone TGW Attachment Endpoints Customer gateway Direct Connect Gateway ALB EC2 Direct Connect S3 Backup CloudWatch Systems Manager 既存システム (ADもここ) FSx(現用) Private subnet EC2 FSx(待機) Private subnet Private subnet 東京リージョン VPC Route53 Resolver インバウンド・アウトバウンド エンドポイント Private subnet Private subnet RDS(現用) RDS(待機)
11. 1) やりたいこと 詳細設計書を基に マルチAZのFSxを構築してくれ。 マネコンからの操作だけで完結するぞ。 オンプレ側で必要な作業は業務チームが やってくれているよ。 オンプレ側で必要な手順はまとめて、 業務チームに資料として渡したからね。 (FSxもADも初めてだな、、)承知しました。 ※BOSSはサントリーホールディングス(株)のブランドです。 BOSS ボスブランドサイト │ サントリー (suntory.co.jp)
12. 作業
13. オンプレ環境で必要な作業は下記の3点 ① FSx設定に必要なOU、ユーザー、グループの作成 ② オブジェクト制御の委任 ③ FSxとの通信に必要なポートが使用できるよう、AD・FWを設定 2) オンプレ側の作業
14. ① FSx設定に必要なOU、ユーザー、グループの作成 2) オンプレ側の作業 OU ドメイン ad-piyopiyo.local OU_FSx FSx_group (委任された管理者グループ) fsxadmin (FSx管理者ユーザー) ※パスワードを無期限にする
15. ② オブジェクト制御の委任 2) オンプレ側の作業 1)オブジェクト制御の委任ウィザードを立ち上げ、 ①で作成したグループを選択 2)「委任するカスタムタスクを作成する」を選択 3)「フォルダ内の次のオブジェクトのみ」 「コンピュータオブジェクト」を選択 4) 下2つのチェックボックスは規定値のまま次へ
16. ② オブジェクト制御の委任 2) オンプレ側の作業 5)「全般」をチェック 6) 「パスワードのリセット」 「アカウントの制限の読み取りと書き込み」 を選択してアクセス許可の画面をスクロール 7)「DNSホスト名への検証された書き込み」 「サービスプリンシパル名への検証された 書き込み」を選択 8) 設定内容を確認し、「完了」をクリック
17. ③ AD・FWを設定 2) オンプレ側の作業 セルフマネージド Microsoft Active Directory を使用するための前提条件 - Amazon FSx for Windows File Server
18. No プロトコル ポート 説明 1 TCP 53 ドメインネームシステム (DNS) 2 UDP 3 TCP 88 Kerberos 認証 4 UDP 5 TCP 464 パスワードを変更/設定する (Kerberos) 6 UDP 7 TCP 389 Lightweight Directory Access (LDAP) 8 UDP 9 UDP 123 NTP 10 TCP 135 分散コンピューティング環境/エンドポイントマッパー (DCE/EPMAP ※WindowsではMS-RPC) 11 TCP 445 SMB 12 TCP 636 LDAPS 13 TCP 3268 Microsoft グローバルカタログ 14 TCP 3269 Microsoft グローバルカタログ (SSL) 15 TCP 5985 WinRM 2.0 (Microsoft Windows リモート管理) 16 TCP 9389 マイクロソフト AD DS Web サービス、PowerShell 17 TCP 49152-65535 RPC 用のエフェメラルポート 2) オンプレ側の作業 参考：[3][4]
19. AWS側で必要な作業は下記の3点 ① FSx用セキュリティグループの作成 ※オンプレ側③と重複するため省略 ② FSxファイルシステムの構築 ③ FSxをEC2にマウント(アタッチ) 3) AWS側の作業 参考：[3][4]
20. ② FSxファイルシステムの構築 3) AWS側の作業
21. ② FSxファイルシステムの構築 3) AWS側の作業 ADで作成したFSxの管理者ユーザー OUを記載する OU=OU名,DC=ドメイン名(.以前),DC=local 権限を委任したグループ = FSxの管理者ユーザーが所属する
22. 3) AWS側の作業 No ファイルシステム作成後に 変更可能なパラメータ 1 ファイルシステム名 2 ストレージ容量 3 スループットキャパシティ 4 VPC セキュリティグループ 5 DNS サーバーの IP アドレス 6 サービスアカウントのユーザー名 7 毎日の自動バックアップウィンドウ 8 自動バックアップ保持期間 9 週次メンテナンスウィンドウ 10 ファイルシステム名の監査 ・入力したパラメータを確認し、作成ボタンを クリック ・ステータスがCREATING→AVAILABLE になるまで約30分
23. 3) AWS側の作業 ③ FSxをEC2にマウント(アタッチ) FSxがみえた
24. はまりごと
25. はまりごとは下記の3点 4) はまりごと ① マルチAZを実現するための条件の見落とし ② 業務チームとの連携が不十分 ③ とにかく時間がかかる
26. ① マルチAZ • FSxを構築する予定のサブネットで空きIPアドレスが足りない • 十分な空きIPアドレスがあるサブネットで構築しても、 オンプレADと通信できない 4) はまりごと
27. ① マルチAZ • FSxを構築する予定のサブネットで空きIPアドレスが足りない • 十分な空きIPアドレスがあるサブネットで構築しても、 オンプレADと通信できない 4) はまりごと 参考：[1]
28. 4) はまりごと No プロトコル ポート 説明 10 TCP 135 分散コンピューティング環境/エンドポイントマッパー (DCE/EPMAP ※WindowsではMS-RPC) 15 TCP 5985 WinRM 2.0 (Microsoft Windows リモート管理) 16 TCP 9389 マイクロソフト AD DS Web サービス、PowerShell 17 TCP 49152-65535 RPC 用のエフェメラルポート ② 業務チームとの連携 • オンプレでADやファイルサーバーを利用していたからこその先入観 • 資料ベースでやり取りし、会議形式での認識合わせは未実施 • AWSの表記(インバウンド/アウトバウンド)に基づいており、 業務チーム設計書のフォーマット(Source/Destination)と不一致
29. 4) はまりごと 単語 説明 セキュリティに関するトピック Windows PowerShell Windowsが標準で備えるコマンドライン方式の シェル及びスクリプト実行環境の1つ。 システムの情報を入手・変更できるコマンド レットを組み合わせ、複雑な処理をスクリプト として記述可能。 POWELIKS(2014年) [※6より抜粋] ファイルレス攻撃(ファイルレスマルウェア)の 1種。ディスクには痕跡を残さず、標準で 組み込まれているソフトを使用し、メモリ内に 常駐することで、攻撃を実行する。 Windows Remote Management (WinRM) PowerShellを遠隔から操作する機能。 他のWindowsコンピュータのコマンドライン を呼び出し、コマンドの実行やプログラム の起動が可能。 Remote Procedure Call (RPC) あるコンピュータで動作するソフトウェア から、通信回線やコンピュータネットワーク を通じて別のコンピュータ上で動作するソフト ウェアへ処理を依頼したり、結果を返したり するための規約。 CVE-2022-26809 [※7より抜粋] RPCランタイムにおけるリモートコード実行の 脆弱性(CVSS9.8) 脆弱性が攻撃者によって悪用されると、影響を受け るシステム上で高い特権を用いてリモートでコード 実行される可能性がある。この脆弱性を悪用する際 にユーザによる操作を必要としないため、少なく ともRPCが届くシステム間では、これらの要因が 組み合わさって、ワーム活動が可能になる。 MS-RPC RPCの1つであるDistributed Computing Environment(DCE)を、Microsoftが自社 製品向けに拡張したもの。IANAではDCE endopoint resolution(emap)という名称で 登録されている。
30. ③ 時間がかかる • FSx作成時、ステータスがFAILED/AVAILABLE になるまで約30分 • 不足している通信許可を明示的にチェックできない ※稼働中のため、Amazon FSx Active Directory 検証ツール導入不可 • 既存FWの設定変更作業にはお客様の申請・承認が必要 4) はまりごと
31. まとめ
32. オンプレ環境で稼働中のADと連携した、FSx for Windowsを構築。 はまりごとは下記の3点 ① マルチAZを実現するための条件の見落とし ② 業務チームとの連携が不十分 ③ とにかく時間がかかる 5) まとめ
33. オンプレ環境で稼働中のADと連携した、FSx for Windowsを構築。 今後気を付けたいことは下記の3点 ① 公式ドキュメントの読み込み ② 他チームと作業の認識合わせを十分に行う ③ クラウドだけではなく、 OS・ネットワーク・セキュリティ に関する知見・技術の習得 5) まとめ
34. [1] AWS, Amazon FSx for Windows File Server Windowsユーザーガイド <https://docs.aws.amazon.com/ja_jp/fsx/latest/WindowsGuide/what-is.html> [2] AWS, Amazon FSx for Windows File Server のよくある質問 <https://aws.amazon.com/jp/fsx/windows/faqs/> [3] ディーネット, FSx for Windows File Server でファイルサーバを♪ <https://blog.denet.co.jp/amazon-fsx-for-windows-file-server-making04/> [4] クラスメソッド, Amazon FSx for Windows File Server を最低限の手順で構築 してみた <https://dev.classmethod.jp/articles/fsx-for-windows-file-server-walkthrough/> 参考 (2023/8/27 閲覧)
35. [5] インセプト, IT用語辞典 <https://e-words.jp/> [6]トレンドマイクロ, 「POWELIKS」：Windows レジストリに不正なコードを 隠ぺいする不正プログラムを確認 <https://blog.trendmicro.co.jp/archives/9595> [7]トレンドマイクロ, 2022年4月のセキュリティアップデート解説 <https://www.trendmicro.com/ja_jp/research/22/d/security-update-review- April-2022.html> [8] 上原孝之『情報処理教科書 情報処理安全確保支援士 2023年版』翔泳社,2022. 参考 (2023/8/27 閲覧)