AWS TransferFamilyを使ってみた！

Transcript

1. AWS Transfer Familyを使ってみた！ 2024/9/26 JAWS-UG朝会 #61 株式会社エーピーコミュニケーションズ 升谷直緒
2. 2 所属　株式会社エーピーコミュニケーションズ @apc_tweet 会社紹介
3. 3 手のひらネットワーク機器を企画・総合監修もしております！ 会社紹介
4. 4 自己紹介 株式会社 エーピーコミュニケーションズ システム基盤サービス事業本部 クラウド事業部 IaC技術推進部 升谷直緒 • 2020年新卒入社 • エンジニア5年目 • AWS4年目 • CI/CDの導入支援 • Webアプリの改善運用 • フルリモートワーク @masuchoku

5. 5 自己紹介 神奈川県で育ち 東海エリア在住 趣味 • ウインドサーフィン • SUP • マスキングテープ集め
6. 6 アウトプット • ブログ • LT ◦ JAWS-UG ▪ 社外の人と関われる貴重な機会 ▪ 普段使わないAWSサービスに触れる ▪ さまざまな支部があるから色々参加してみ るのと楽しい ◦ Women Developers Summit 2023 ▪ 女性エンジニアのイベント ▪ アウトプットしよう！というテーマでLT ◦ エンジニアの輪 ▪ オフラインイベント ▪ エンジニアの横のつながり
7. 7 色々勉強中！
8. 8 AWS Summit 2024行きましたー！
9. 9 今日のアジェンダ AWS Transfer Familyを使ってみた 1. 機能について 2. サーバーとコネクタ 3. サーバーを使ってみた 4. Step Functionsとも組み合わせられる 5. Step Functionsについても少し紹介
10. 10 1.機能について • ファイル転送ワークフローを簡単に実装 • Amazon S3または Amazon EFS に情報を保存 • ワークフローを管理 • 各種プロトコルにおいて全てのデータ転送を暗 号化 • 最大3つのAZをサポート • データ転送のリクエストに対して自動スケーリ ング、冗長をサポート SSH ファイル転送プロトコル Secure Shell 経由のファイル転送 File Transfer Protocol Secure TLS 暗号化を使用したファイル転 送プロトコル Applicability Statement 2 ビジネス間データ交換用のメッ セージングプロトコル File Transfer Protocol 暗号化されていないファイル転送 プロトコル
11. 11 2.サーバーとコネクタ 特徴 課金方法 サーバー Transfer Familyをエンドポイントとし、 任意の端末⇔S3/EFSで ファイルの送受信ができる エンドポイントの有効時間 ＋ データ転送量 サーバーは停止中も課金される コネクタ Transfer Familyがクライアントになり、 任意の端末⇔S3/EFSで ファイルの送受信ができる コネクタの呼び出し回数 ＋ データ転送量 時間課金ではない
12. 12 ワークフローもあるよ TransferFamilyで受信したファイ ルの処理を設定できます。 自動化と監視も可能。
13. 13 3.サーバーを使ってみた 1. 事前準備 ◦ IAMロールの作成 ◦ S3バケットの作成 2. Transfer Familyにて ◦ サーバーの作成（4Steps） ◦ サーバーにユーザーの追加 ▪ SSH公開鍵を登録 3. OpenSSHクライアントを使ってファイル転送 ◦ putコマンドでファイル送信 ◦ getコマンドでファイル受信 4. S3にてファイルの確認
14. 14 ドラッグアンドドロップ で視覚的に ワークフローが作れる ので本当に簡単 jsonが自動で作成される ので勉強になる 分散アプリケーション のための 視覚的なワークフロー AWSの公式サイト 4.Step Functionsとも組み合わせられる
15. 15 ワークフローの中に組み込める アクションはLambdaに限らず、 220以上のAWSサービスをローコード（ノーコード！？）で ワークフローを作り自動化ができる。 Lambdaで実装しようと思っていた処理が実は、 Step Functionsを使うとノーコードで実装できる可能性がある Step Functionsの推しポイント
16. 16 Step FunctionsにあるTransfer Familyのアクションを組み合わせてみた • ファイル転送の環境の準備 • ファイル転送を待つ処理 • ファイル転送の環境の削除 全ての手順がStep Functionsで実装が可能 サーバーの場合クライアント側で コマンド実行するスクリプトが必要なので そこまで需要はないかもと思いつつ、SF面白い コネクタで実装すればもっと簡略化が可能そうです
17. 17 5. Step Functionsについても少し紹介 加工バッチ 外部サービス 社内サーバー データの保管環境の 整備ができていない。 コストがかかっている。 Step Functionsを使って 問題解決 取得バッチ 取得データ保管DB 加工データ保管DB
18. AWS Cloud 18 AWS Step Functions workflow EventBridge
 Lambda
 Redshift
 S3
 Step FunctionsやAPI Gatewayを使ったPoCの作成 API Gateway
 1. EventBridgeから StepFunctionsを呼び出す 2. Lambdaを使ってAPI Gatewayから複数のデータを 取得し、S3へ格納 3. 後続Lambdaは並行で実行さ れS3のデータ一つ一つを加 工し、DBへ保存 入力
 出力
 入力
 出力
 入力
 出力
 入力
 出力

19. 19 今日のアジェンダ AWS Transfer Familyを使ってみた 1. 機能について 2. サーバーとコネクタ 3. サーバーを使ってみた 4. Step Functionsとも組み合わせられる 5. Step Functionsについても少し紹介
20. 20 参考 https://aws.amazon.com/jp/aws-transfer-family/ https://dev.classmethod.jp/articles/transfer-files-to-s3-using-aws-transfer-family/ https://dev.classmethod.jp/articles/aws-transfer-family-release-sftp-connector/ https://blog.serverworks.co.jp/tech/2019/07/26/radio-exercises/ https://www.sunnycloud.jp/column/20240210-02/ 早起きって すばらしい〜！