プロトコルを跨いで使えるファイルサーバーを作ってみる 〜S3 File GatewayとTransfer Familyの併用〜

「JAWS-UG 栃木 オフライン #3」での登壇資料です
https://jawsug-tochigi.connpass.com/event/355727/

本資料は、以下のブログをもとにした資料となっています
https://iret.media/156099

Transcript

1. プロトコルを跨いで使えるファイルサーバーを 作ってみる 〜S3 File GatewayとTransfer Familyの併用〜 JAWS 栃木 #3 はたはた
2. アジェンダ lはじめに lStorage Gateway、S3 File Gateway、Transfer Familyのおさらい lやってみた lS3 File Gatewayの作成 lTransfer Family for SFTPの作成 lファイル転送の挙動確認 lまとめ
3. アジェンダ lはじめに lStorage Gateway、S3 File Gateway、Transfer Familyのおさらい lやってみた lS3 File Gatewayの作成 lTransfer Family for SFTPの作成 lファイル転送の挙動確認 lまとめ
4. 自己紹介 名前 畠山 大治（はたはた） 業務 クラウド案件のプリセールス、要件定義・設計 好きなもの Perfume、音楽、読書、映画・アニメ ギター、ボクシング 好きなAWSサービス VPC、CloudFront、Step Functions その他活動 Japan AWS Top Engineers（2024,2025） AWS Community Builders Ops-JAWS コアメンバー Toranomon Tech Hub 運営 はたはた (@hatake_book)
5. アジェンダ lはじめに lStorage Gateway、S3 File Gateway、Transfer Familyのおさらい lやってみた lS3 File Gatewayの作成 lTransfer Family for SFTPの作成 lファイル転送の挙動確認 lまとめ
6. AWS Storage Gatewayとは lSMB、NFS、iSCSIでAWSのストレージサービスを使えるようにするサービス l4種類のStorage Gatewayを使うプロトコルによって使い分ける 引用：https://pages.awscloud.com/rs/112-TZM-766/images/AWS-Black-Belt_2023_AWS-Storage-Gateway_0131_v1.pdf
7. Storage Gatewayアプライアンス lオンプレミス環境、AWS環境いずれかにStorage Gatewayアプライアンスを用意する 必要がある （下記はオンプレミスの仮想マシンにアプライアンスを展開した例） 引用：https://pages.awscloud.com/rs/112-TZM-766/images/AWS-Black-Belt_2023_AWS-Storage-Gateway_0131_v1.pdf
8. Amazon S3 File Gatewayとは lStorage Gatewayの一種、SMBもしくはNFSでS3を使えるようにするサービス 引用：https://pages.awscloud.com/rs/112-TZM-766/images/AWS-Black-Belt_2023_AWS-Storage-Gateway_0131_v1.pdf
9. AWS Transfer Familyとは l ファイル転送プロトコル（SFTP、FTPS、FTP）でS3やEFSを使えるようにするサービス l モニタリング機能や転送後の処理自動化がマネージドで提供される 引用：https://aws.amazon.com/jp/aws-transfer-family/
10. AWS Transfer Familyとは l以前Transfer Familyについてもっと深掘りしたので、ご興味があれば一緒に ご覧ください https://speakerdeck.com/hatahata021/lets-use-transferfamily-for-sftp
11. 今回作りたい構成 l社内外のファイル連携をしたい l 社内ユーザーは閉域網経由でSMBプロトコル、社外ユーザーはインターネット経由で SFTPプロトコルを使用 l S3をファイル置き場として使用、ファイル転送にはS3 File GatewayとTransfer Family for SFTPを使う構成を検討
12. S3 File Gatewayの気になる仕様 l複数のS3 File GatewayからS3バケットへの書き込みはS3に反映されない l「Transfer Family経由で書き込んでも大丈夫。。。？」となったのでいざ検証 引用：https://pages.awscloud.com/rs/112-TZM-766/images/AWS-Black-Belt_2023_AWS-Storage-Gateway_0131_v1.pdf
13. アジェンダ lはじめに lStorage Gateway、S3 File Gateway、Transfer Familyのおさらい lやってみた lS3 File Gatewayの作成 lTransfer Family for SFTPの作成 lファイル転送の挙動確認 lまとめ
14. ゲートウェイの作成 「ゲートウェイの作成」を クリックして作成を開始
15. ゲートウェイの作成 l まずはどのゲートウェイを作成するのかを選択 ※FSx File Gatewayは2024年10月28日以降、新規作成不可
16. アプライアンスの作成 l 下にスクロールするとアプライアンスの設定に移る
17. アプライアンスについての小ネタ l 「デフォルト設定」を選択するとEC2にパブリックIPを付与させる必要がある l アクティベートキーの有効化のためにStorage Gatewayのサービスエンドポイントに接続す る必要がある l デフォルト設定だと、アプライアンスが直接インターネット経由でエンドポイントに接続す る構成になる l パブリックIPを付与したくない場合は「設定をカスタマイズ」を選択 l Storage Gatewayのサービスエンドポイントに接続できるように、VPCエンドポイントを追 加しておく必要あり
18. アクティベーションキーの取得 l アプライアンスの作成が完了したら次へ進み、アプライアンスを有効化させる アプライアンスにパブリックIPを 付与してない場合はこっちを選択
19. アクティベーションキーの取得 l プライベートサブネットにStorage Gatewayアプライアンスを配置した場合、 Storage Gatewayアプライアンスに対してHTTPリクエストを投げ、そのレスポンス からアクティベーションキーを取得する必要がある 引用：h"ps://docs.aws.amazon.com/filegateway/latest/files3/get-ac8va8on-key.html#get-ac8va8on-key-linux-curl
20. アクティベーションキーの取得 l キー取得のために別途EC2を建て、そのEC2経由でcurlコマンドを実行 l CloudShellをVPC上で起動させても同じことができるかも
21. アクティベーションキーの取得 l 取得したアクティベーションキーを入力、以降ログやタグの設定を入れれば作成完了
22. ファイル共有の作成 l 「ファイル共有」の画面に移り、S3とゲートウェイを連携させる設定を行う
23. ファイル共有の作成 l 連携させるゲートウェイとS3バケット、使用するプロトコル、認証方法を選択すれば 設定完了
24. Windows Serverからの接続確認 l 別のVPCに作成したWindows Serverでネットワークドライブの割り当てを設定
25. アジェンダ lはじめに lStorage Gateway、S3 File Gateway、Transfer Familyのおさらい lやってみた lS3 File Gatewayの作成 lTransfer Family for SFTPの作成 lファイル転送の挙動確認 lまとめ
26. サーバーの作成 以下の設定を入れることでTransfer Familyサーバーを作成できる lIDプロバイダー lSFTPユーザーの管理方法を設定 lエンドポイント設定 lVPCにホストするか否か、ホストしない場合はカスタムドメインを設定可能 lドメインの選択 lS3とEFSどちらを使用するのかの設定 lその他オプション lログ設定、ワークフロー（転送時に自動で行う処理）、認証に使用する鍵の設定、など
27. ユーザーの作成と接続確認 lサーバー作成後にSFTPユーザーを作成し設定する l事前にクライアント側でSSHキーを発行しておき、作成したサーバーの画面からユー ザー追加を行う
28. ユーザーの作成と接続確認 lSFTPユーザー名、ユーザーにアタッチする IAMロールやポリシー、ホームディレクトリ を設定 lホームディレクトリに指定したパスは事前 に存在しなくてもOK lSFTP接続時に自動的に作成される lchrootの設定なども適宜実施
29. ユーザーの作成と接続確認 lsftpコマンドを使用して接続できることを確認 $ sftp -i TestUser1_key TestUser1@s-xxxxxxxxxxxxx.server.transfer.ap-northeast-1.amazonaws.com The authenticity of host ' s-xxxxxxxxxxxxx.server.transfer.ap-northeast-1.amazonaws.com (xx.xx.xx.xx)' can't be established. RSA key fingerprint is SHA256:6SxF/xxxxxxxxxxxxxxxxxxxxxxxx/5u/nRQ9m30. This key is not known by any other names Are you sure you want to continue connecting (yes/no/[fingerprint])? yes Warning: Permanently added 's-xxxxxxxxxxxxx.server.transfer.ap-northeast-1.amazonaws.com' (RSA) to the list of known hosts. Connected to s-xxxxxxxxxxxxx.server.transfer.ap-northeast-1.amazonaws.com. sftp>
30. アジェンダ lはじめに lStorage Gateway、S3 File Gateway、Transfer Familyのおさらい lやってみた lS3 File Gatewayの作成 lTransfer Family for SFTPの作成 lファイル転送の挙動確認 lまとめ
31. S3 File Gatewayからの転送 lSMBクライアントであるWindows Server上でファイルを作成し、共有フォルダに配置
32. S3 File Gatewayからの転送 lファイルを配置するとすぐにS3バケットにもファイルが格納される l1, 2分経過すると、ローカルPCからSFTP接続してもファイルが確認できた sftp> ls TestFile_from_smb.txt sftp> sftp> get TestFile_from_smb.txt Fetching /hatakeyama-test-s3/TestFile_from_smb.txt to TestFile_from_smb.txt TestFile_from_smb.txt sftp>
33. Transfer Familyからの転送 lSFTPクライアントになるローカルPC上にファイルを作成し、SFTPコマンドでS3バ ケットにファイルを転送 $ cat TestFile_from_sftp.txt This is a test file from local SFTP client. sftp> pwd Remote working directory: /hatakeyama-test-s3 sftp> sftp> put TestFile_from_sftp.txt Uploading TestFile_from_sftp.txt to /hatakeyama-test-s3/TestFile_from_sftp.txt TestFile_from_sftp.txt 100% 44 2.2KB/s 00:00 sftp> lS3バケットに保存されてることをマネコンからも確認
34. Transfer Familyからの転送 lしかし、10分ほど待ってもSMBクライアント側からは確認できず
35. Transfer Familyからの転送 lStorage Gatewayにはキャッシュ層が設けられているため、キャッシュ更新が行われ ないとS3バケット上での更新がSMBクライアント側からは確認できない 引用：https://pages.awscloud.com/rs/112-TZM-766/images/AWS-Black-Belt_2023_AWS-Storage-Gateway_0131_v1.pdf
36. Transfer Familyからの転送 lマネコンでキャッシュの更新をしてみると、SMBクライアントからもファイルを確認 することができた
37. Transfer Familyからの転送 lStorage Gatewayのファイル共有設定で、キャッシュ定期更新の間隔をカスタマイズ することが可能
38. アジェンダ lはじめに lStorage Gateway、S3 File Gateway、Transfer Familyのおさらい lやってみた lS3 File Gatewayの作成 lTransfer Family for SFTPの作成 lファイル転送の挙動確認 lまとめ
39. まとめ lStorage GatewayとTransfer Familyを組み合わせることで、プロトコル を跨いで使用できるファイルサーバーを作ることができる lStorage Gatewayアプライアンスの作成と有効化の作業はひとクセあり lS3 File Gatewayを使う時は書き込みの制約やキャッシュの仕様などを あらかじめ認識しておく必要あり l5分以下の更新反映が求められる場合には、別の構成やサービスを検討 する必要がありそう
40. 宣伝 l 東京虎ノ門周辺のエンジニアを集めてわいわいするコミュニティ 「 Toranomon Tech Hub 」を鋭意運営中です！ l 虎ノ門にゆかりのある方など、基本どなたでもウェルカムです！
41. 宣伝 l エンジニアだらけの音楽祭「Tech Rock Festival」に出演します！ Ø 9/13（土）、11/1（土）、11/22（土）の3Days開催！@新宿SUNFACE Ø はたはたの出演日は11/1（土） Ø 詳細はconnpassにて後日公開予定 https://trf.connpass.com/ #TechRockFestival
42. 参考資料 l SMBとSFTPどっちも使えるファイルサーバーをAWS上に作ってみた Ø https://iret.media/156099 l AWS Storage Gateway AWS Black Belt Online Seminar Ø https://pages.awscloud.com/rs/112-TZM-766/images/AWS-Black-Belt_2023_AWS-Storage- Gateway_0131_v1.pdf l Transfer Family for SFTPを使ってみよう Ø https://speakerdeck.com/hatahata021/lets-use-transferfamily-for-sftp l ファイル共有アクセスを Amazon FSx File Gateway から Amazon FSx for Windows File Server に切り替 える Ø https://aws.amazon.com/jp/blogs/news/switch-your-file-share-access-from-amazon-fsx-file- gateway-to-amazon-fsx-for-windows-file-server/ l AWS Storage Gatewayユーザーガイド Ø https://docs.aws.amazon.com/filegateway/latest/files3/what-is-file-s3.html