AWS DataSync クロスリージョン S3 to S3 転送をざっくり絵で紹介

Transcript

1. AWS DataSync クロスリージョン S3 to S3 転送をざっくり絵で紹介 JAWS-UG 朝会 #57 2024年05月23日 NRI ネットコム株式会社 NT システム事業二部 西 洋平
2. 1 Copyright（C） NRI Netcom, Ltd. All rights reserved. n 西 洋平 (NISHI Yohei) l NRI ネットコム株式会社 NT システム事業二部 (@Osaka) n Web システム開発運用チームのインフラ担当 l IaC や SaaS による運用とシステム改善 l たまにサーバレスアプリケーション開発 自己紹介 https://jawsug-asa.connpass.com/event/291918/ https://tech.nri-net.com/entry/automation_with_stepfunctions https://nrinetcom.connpass.com/event/307324/
3. 2 Copyright（C） NRI Netcom, Ltd. All rights reserved. nAWS マネージドなファイル転送サービス (リージョナルサービス) l 変更があったファイルのみ転送できたり、転送後の検証までケアしてくれる nAWS → AWS だけでなく、AWS → オンプレミス、AWS → 他クラウドへの転送もサポート AWS DataSync (DataSync) おさらい
4. 3 Copyright（C） NRI Netcom, Ltd. All rights reserved. nAWS マネージドなファイル転送サービス (リージョナルサービス) l 変更があったファイルのみ転送できたり、転送後の検証までケアしてくれる nAWS → AWS だけでなく、AWS → オンプレミス、AWS → 他クラウドへの転送もサポート AWS DataSync (DataSync) おさらい 今日話すのはこのケース
5. 4 Copyright（C） NRI Netcom, Ltd. All rights reserved. n 結構いっぱいいる DataSync による転送の登場人物
6. 5 Copyright（C） NRI Netcom, Ltd. All rights reserved. n 結構いっぱいいる DataSync による転送の登場人物 Location 転送元 / 先サーバと紐付けるリソース
7. 6 Copyright（C） NRI Netcom, Ltd. All rights reserved. n 結構いっぱいいる DataSync による転送の登場人物 Task 転送元 / 先やフィルタなど、転送に関わる設定を定義するリソース (Location は Task に関連付く)
8. 7 Copyright（C） NRI Netcom, Ltd. All rights reserved. n 結構いっぱいいる DataSync による転送の登場人物 Task Execution Task が実行している / した転送についての情報がまとまったリソース (≒ 進捗 / 履歴)
9. 8 Copyright（C） NRI Netcom, Ltd. All rights reserved. n リージョンを跨いで Amazon S3 バケット から別の Amazon S3 バケットへファイルを転送することを考える クロスリージョン S3 to S3 ファイル転送のユースケース
10. 9 Copyright（C） NRI Netcom, Ltd. All rights reserved. n リージョンを跨いで Amazon S3 バケット から別の Amazon S3 バケットへファイルを転送することを考える クロスリージョン S3 to S3 ファイル転送のユースケース Q. どのリージョンにどう配置する?
11. 10 Copyright（C） NRI Netcom, Ltd. All rights reserved. n リージョンを跨いで Amazon S3 バケット から別の Amazon S3 バケットへファイルを転送することを考える クロスリージョン S3 to S3 ファイル転送のユースケース Q. どのリージョンにどう配置する? リージョナルサービスだけど……? いくつかリソースの種類があったけど……?
12. 11 Copyright（C） NRI Netcom, Ltd. All rights reserved. n 正解はこう クロスリージョン S3 to S3 ファイル転送のユースケース
13. 12 Copyright（C） NRI Netcom, Ltd. All rights reserved. n 正解はこう クロスリージョン S3 to S3 ファイル転送のユースケース Location → 関連付ける S3 と同じリージョンに作る Location → 関連付ける S3 と同じリージョンに作る
14. 13 Copyright（C） NRI Netcom, Ltd. All rights reserved. n 正解はこう クロスリージョン S3 to S3 ファイル転送のユースケース Task → 転送先のリージョンに作る
15. 14 Copyright（C） NRI Netcom, Ltd. All rights reserved. n S3 to S3 by DataSync はどういう時におすすめ? ちなみに & おわりに
16. 15 Copyright（C） NRI Netcom, Ltd. All rights reserved. n S3 to S3 by DataSync はどういう時におすすめ? ちなみに & おわりに 例えば ワークフローの処理として同期的に転送を実行したい時 https://tech.nri-net.com/entry/data_sync_copy_between_s3_buckets