Share
Embed
プロトコルを跨いで使えるファイルサーバーを作ってみる 〜S3 File GatewayとTransfer Familyの併用〜
「JAWS-UG 栃木 オフライン #3」での登壇資料です
https://jawsug-tochigi.connpass.com/event/355727/
本資料は、以下のブログをもとにした資料となっています
https://iret.media/156099
da-hatakeyama
July 25, 2025
Transcript
42 slides
-
アジェンダ lはじめに lStorage Gateway、S3 File Gateway、Transfer Familyのおさらい lやってみた lS3 File
Gatewayの作成 lTransfer Family for SFTPの作成 lファイル転送の挙動確認 lまとめ -
アジェンダ lはじめに lStorage Gateway、S3 File Gateway、Transfer Familyのおさらい lやってみた lS3 File
Gatewayの作成 lTransfer Family for SFTPの作成 lファイル転送の挙動確認 lまとめ -
自己紹介 名前 畠山 大治(はたはた) 業務 クラウド案件のプリセールス、要件定義・設計 好きなもの Perfume、音楽、読書、映画・アニメ ギター、ボクシング 好きなAWSサービス
VPC、CloudFront、Step Functions その他活動 Japan AWS Top Engineers(2024,2025) AWS Community Builders Ops-JAWS コアメンバー Toranomon Tech Hub 運営 はたはた (@hatake_book) -
アジェンダ lはじめに lStorage Gateway、S3 File Gateway、Transfer Familyのおさらい lやってみた lS3 File
Gatewayの作成 lTransfer Family for SFTPの作成 lファイル転送の挙動確認 lまとめ -
アジェンダ lはじめに lStorage Gateway、S3 File Gateway、Transfer Familyのおさらい lやってみた lS3 File
Gatewayの作成 lTransfer Family for SFTPの作成 lファイル転送の挙動確認 lまとめ -
アプライアンスについての小ネタ l 「デフォルト設定」を選択するとEC2にパブリックIPを付与させる必要がある l アクティベートキーの有効化のためにStorage Gatewayのサービスエンドポイントに接続す る必要がある l デフォルト設定だと、アプライアンスが直接インターネット経由でエンドポイントに接続す る構成になる
l パブリックIPを付与したくない場合は「設定をカスタマイズ」を選択 l Storage Gatewayのサービスエンドポイントに接続できるように、VPCエンドポイントを追 加しておく必要あり -
アジェンダ lはじめに lStorage Gateway、S3 File Gateway、Transfer Familyのおさらい lやってみた lS3 File
Gatewayの作成 lTransfer Family for SFTPの作成 lファイル転送の挙動確認 lまとめ -
サーバーの作成 以下の設定を入れることでTransfer Familyサーバーを作成できる lIDプロバイダー lSFTPユーザーの管理方法を設定 lエンドポイント設定 lVPCにホストするか否か、ホストしない場合はカスタムドメインを設定可能 lドメインの選択 lS3とEFSどちらを使用するのかの設定 lその他オプション
lログ設定、ワークフロー(転送時に自動で行う処理)、認証に使用する鍵の設定、など -
ユーザーの作成と接続確認 lsftpコマンドを使用して接続できることを確認 $ sftp -i TestUser1_key TestUser1@s-xxxxxxxxxxxxx.server.transfer.ap-northeast-1.amazonaws.com The authenticity of
host ' s-xxxxxxxxxxxxx.server.transfer.ap-northeast-1.amazonaws.com (xx.xx.xx.xx)' can't be established. RSA key fingerprint is SHA256:6SxF/xxxxxxxxxxxxxxxxxxxxxxxx/5u/nRQ9m30. This key is not known by any other names Are you sure you want to continue connecting (yes/no/[fingerprint])? yes Warning: Permanently added 's-xxxxxxxxxxxxx.server.transfer.ap-northeast-1.amazonaws.com' (RSA) to the list of known hosts. Connected to s-xxxxxxxxxxxxx.server.transfer.ap-northeast-1.amazonaws.com. sftp> -
アジェンダ lはじめに lStorage Gateway、S3 File Gateway、Transfer Familyのおさらい lやってみた lS3 File
Gatewayの作成 lTransfer Family for SFTPの作成 lファイル転送の挙動確認 lまとめ -
S3 File Gatewayからの転送 lファイルを配置するとすぐにS3バケットにもファイルが格納される l1, 2分経過すると、ローカルPCからSFTP接続してもファイルが確認できた sftp> ls TestFile_from_smb.txt sftp>
sftp> get TestFile_from_smb.txt Fetching /hatakeyama-test-s3/TestFile_from_smb.txt to TestFile_from_smb.txt TestFile_from_smb.txt sftp> -
Transfer Familyからの転送 lSFTPクライアントになるローカルPC上にファイルを作成し、SFTPコマンドでS3バ ケットにファイルを転送 $ cat TestFile_from_sftp.txt This is a
test file from local SFTP client. sftp> pwd Remote working directory: /hatakeyama-test-s3 sftp> sftp> put TestFile_from_sftp.txt Uploading TestFile_from_sftp.txt to /hatakeyama-test-s3/TestFile_from_sftp.txt TestFile_from_sftp.txt 100% 44 2.2KB/s 00:00 sftp> lS3バケットに保存されてることをマネコンからも確認 -
アジェンダ lはじめに lStorage Gateway、S3 File Gateway、Transfer Familyのおさらい lやってみた lS3 File
Gatewayの作成 lTransfer Family for SFTPの作成 lファイル転送の挙動確認 lまとめ -
まとめ lStorage GatewayとTransfer Familyを組み合わせることで、プロトコル を跨いで使用できるファイルサーバーを作ることができる lStorage Gatewayアプライアンスの作成と有効化の作業はひとクセあり lS3 File Gatewayを使う時は書き込みの制約やキャッシュの仕様などを
あらかじめ認識しておく必要あり l5分以下の更新反映が求められる場合には、別の構成やサービスを検討 する必要がありそう -
宣伝 l エンジニアだらけの音楽祭「Tech Rock Festival」に出演します! Ø 9/13(土)、11/1(土)、11/22(土)の3Days開催!@新宿SUNFACE Ø はたはたの出演日は11/1(土) Ø
詳細はconnpassにて後日公開予定 https://trf.connpass.com/ #TechRockFestival -
参考資料 l SMBとSFTPどっちも使えるファイルサーバーをAWS上に作ってみた Ø https://iret.media/156099 l AWS Storage Gateway AWS
Black Belt Online Seminar Ø https://pages.awscloud.com/rs/112-TZM-766/images/AWS-Black-Belt_2023_AWS-Storage- Gateway_0131_v1.pdf l Transfer Family for SFTPを使ってみよう Ø https://speakerdeck.com/hatahata021/lets-use-transferfamily-for-sftp l ファイル共有アクセスを Amazon FSx File Gateway から Amazon FSx for Windows File Server に切り替 える Ø https://aws.amazon.com/jp/blogs/news/switch-your-file-share-access-from-amazon-fsx-file- gateway-to-amazon-fsx-for-windows-file-server/ l AWS Storage Gatewayユーザーガイド Ø https://docs.aws.amazon.com/filegateway/latest/files3/what-is-file-s3.html