S3 バケット間でのオブジェクト同期方法の比較

S3 バケット間でのオブジェクト同期方法の比較 ~ NRIネットコム TECH AND DESIGN STUDY #81 ~
2025年 10月 28日 NRIネットコム株式会社 NTシステム事業二部西洋平 #nncstudy

1 Copyright（C） NRI Netcom, Ltd. All rights reserved. ◼AWS が提供するオブジェクトストレージサービス。
◼オブジェクトストレージとしてだけでなく、幅広い用途で利用されている。 Amazon S3 (S3) おさらい #nncstudy ワークロードの成果物を保存する静的サイトをホスティングする監査証跡の分析基盤に利用する

2 Copyright（C） NRI Netcom, Ltd. All rights reserved. ◼S3 を利用する中で、S3
バケット間のオブジェクトコピー・同期を行うニーズは多い。 S3 バケット間オブジェクトコピー・同期 #nncstudy コピー・同期をワークフローのトリガーにする複数環境で内容を揃えておく

3 Copyright（C） NRI Netcom, Ltd. All rights reserved. S3 バケット間オブジェクトコピー・同期のための方法
#nncstudy

4 Copyright（C） NRI Netcom, Ltd. All rights reserved. ◼S3 バケット間のオブジェクトコピー・同期を実現するためのマネージドサービスは複数存在する。
S3 バケット間オブジェクトコピー・同期のための方法 #nncstudy

S3 バケット間オブジェクトコピー・同期のための方法 #nncstudy • S3 サービスの機能 • S3 バケット間でオブジェクトをコピーできる。 • ライブ・オンデマンドの 2 種類が存在する。 • ライブ: オブジェクト PUT 時に都度コピーする。 • オンデマンド: 既存のオブジェクトをコピーする。

S3 バケット間オブジェクトコピー・同期のための方法 #nncstudy • AWS マネージドなファイル転送サービス。 • AWS サービス - オンプレミス間でのファイル転送が可能。 • S3 バケット同士のファイル転送にも活用できる。

7 Copyright（C） NRI Netcom, Ltd. All rights reserved. ◼マネージドサービス以外に、自前での実装による実現も可能。 S3
バケット間オブジェクトコピー・同期のための方法 #nncstudy AWS CLI・SDK Integration で実現他サービスによるアプリケーション実装

8 Copyright（C） NRI Netcom, Ltd. All rights reserved. ◼マネージドサービス・実装する方法など、様々な手段でオブジェクトコピーは実現できる。 S3
バケット間オブジェクトコピー・同期のための方法 #nncstudy 実装マネージドサービス

9 Copyright（C） NRI Netcom, Ltd. All rights reserved. ◼マネージドサービス・実装する方法など、様々な手段でオブジェクトコピーは実現できる。 S3
バケット間オブジェクトコピー・同期のための方法 #nncstudy 実装マネージドサービスこれらの方法を比較していきます。

10 Copyright（C） NRI Netcom, Ltd. All rights reserved. S3 Replication
#nncstudy

11 Copyright（C） NRI Netcom, Ltd. All rights reserved. ◼ライブレプリケーションとオンデマンドレプリケーション (バッチレプリケーション)
の 2 種類が存在する。 ◼レプリケーションを行うタイミングに応じてユースケースが異なる。 S3 Replication #nncstudy

の 2 種類が存在する。 ◼レプリケーションを行うタイミングに応じてユースケースが異なる。ライブレプリケーション S3 Replication #nncstudy

の 2 種類が存在する。 ◼レプリケーションを行うタイミングに応じてユースケースが異なる。ライブレプリケーション S3 Replication #nncstudy オブジェクトが Put される度、順次コピーされる。 → コピーできるものから、できるだけ速くコピーしたい場合に利用可能。

の 2 種類が存在する。 ◼レプリケーションを行うタイミングに応じてユースケースが異なる。オンデマンドレプリケーション (バッチレプリケーション) S3 Replication #nncstudy

の 2 種類が存在する。 ◼レプリケーションを行うタイミングに応じてユースケースが異なる。オンデマンドレプリケーション (バッチレプリケーション) S3 Replication #nncstudy 作成したジョブを実行するとオブジェクトがまとめてコピーされる。 → 既存のオブジェクトを一括でコピーしたい場合などに利用可能。

16 Copyright（C） NRI Netcom, Ltd. All rights reserved. ◼ S3
Replication では、コピー処理と合わせて以下の機能も利用可能。 S3 Replication の特徴 #nncstudy

Replication では、コピー処理と合わせて以下の機能も利用可能。 S3 Replication の特徴 #nncstudy ライブレプリケーション以下の要素でコピー対象をフィルタ可能 • オブジェクトプレフィックス • オブジェクトのタグオンデマンドレプリケーション以下の要素でコピー対象をフィルタ可能 • オブジェクトキーの任意の部分 • オブジェクトキーの末尾 • オブジェクトメタデータ • サイズ・ストレージクラス・暗号化タイプ……

18 Copyright（C） NRI Netcom, Ltd. All rights reserved. AWS DataSync
#nncstudy

19 Copyright（C） NRI Netcom, Ltd. All rights reserved. ◼AWS マネージドなファイル転送サービス
◼AWS to AWS・AWS to オンプレミス・AWS to 他クラウドのケースで利用できる (今回は AWS to AWS)。 AWS DataSync #nncstudy

20 Copyright（C） NRI Netcom, Ltd. All rights reserved. ◼AWS マネージドなファイル転送サービス
◼AWS to AWS・AWS to オンプレミス・AWS to 他クラウドのケースで利用できる (今回は AWS to AWS)。 AWS DataSync #nncstudy

21 Copyright（C） NRI Netcom, Ltd. All rights reserved. #nncstudy ◼
AWS DataSync では、コピー処理以外に以下のような周辺機能が利用可能。 AWS DataSync の特徴

AWS DataSync では、コピー処理以外に以下のような周辺機能が利用可能。 AWS DataSync の特徴以下の要素でコピー対象をフィルタ可能 • オブジェクトキー ( * や / を使ってパス形式で表現) • ファイル拡張子

AWS DataSync では、コピー処理以外に以下のような周辺機能が利用可能。 AWS DataSync の特徴ファイル検証は以下のタイミングで実施可能 • 転送中 • 転送中と転送完了後転送完了後の検証は以下の形式が選択可能 • 転送されたファイルのみ • すべてのファイル

25 Copyright（C） NRI Netcom, Ltd. All rights reserved. ◼マネージドサービス以外に、自前での実装による実現も可能。 (再)
S3 バケット間オブジェクトコピー・同期のための方法 #nncstudy AWS CLI・SDK Integration で実現他サービスによるアプリケーション実装

26 Copyright（C） NRI Netcom, Ltd. All rights reserved. ◼このケースの場合、S3 API
を利用する → S3 API 仕様が注意点となる。 AWS CLI・SDK Integration (AWS Step Functions) で実現 #nncstudy CopyObject (Get / PutObject) によるコピー MultiPartUpload によるコピー

を利用する → S3 API 仕様が注意点となる。 AWS CLI・SDK Integration (AWS Step Functions) で実現 #nncstudy オブジェクトサイズ制限 • 5GiB 以下のオブジェクトを操作可能。データ整合性の検証 • 実行時のオプションに Content-MD5 ヘッダを付与することが可能。オブジェクトサイズ制限 • 5MiB 以上・5TiB 以下のオブジェクトを操作可能。 • サイズが100 MiB 以上 → MultiPartUpload の利用が推奨される。データ整合性の検証 • 実行時のオプションで検証用アルゴリズム指定することで可能。 • SHA-1、SHA-256、CRC32、CRC32C CopyObject (Get / PutObject) によるコピー MultiPartUpload によるコピー

を利用する → S3 API 仕様が注意点となる。 AWS CLI・SDK Integration (AWS Step Functions) で実現 #nncstudy CopyObject (Get / PutObject) によるコピー MultiPartUpload によるコピーオブジェクトサイズ制限 • 5GiB 以下のオブジェクトを操作可能。データ整合性の検証 • 実行時のオプションに Content-MD5 ヘッダを付与することが可能。オブジェクトサイズ制限 • 5MiB 以上・5TiB 以下のオブジェクトを操作可能。 • サイズが100 MiB 以上 → MultiPartUpload の利用が推奨される。データ整合性の検証 • 実行時のオプションで検証用アルゴリズム指定することで可能。 • SHA-1、SHA-256、CRC32、CRC32C 扱うオブジェクトサイズが幅広い場合 → サイズに応じたコピー方法を利用する条件の実装が必要

32 Copyright（C） NRI Netcom, Ltd. All rights reserved. ◼実装する方法についても紹介したが、実装する場合は自由度が高い。 →
マネージドサービスである S3 Replication と AWS DataSync を比較する。 ◼S3 間のオブジェクトコピー機構を作成する際、以下の項目が主要な考慮点になる。 ⚫ 速度 ⚫ 金銭コストマネージドサービスの比較 #nncstudy

33 Copyright（C） NRI Netcom, Ltd. All rights reserved. ◼S3 Replication
の速度に関するドキュメントの記載は以下の通り。・S3 Replication Time Control (S3 RTC) は 99.9% のオブジェクトを 15 分以内にコピーが完了する。・同一 / クロスリージョンのコピー時は、 24 ~ 48 時間以内にコピーが完了する。速度面の比較 #nncstudy https://docs.aws.amazon.com/AmazonS3/latest/userguide/replication.html#replication-workload-requirements

34 Copyright（C） NRI Netcom, Ltd. All rights reserved. ◼AWS DataSync
の速度に関する具体的な速度指標の記述はなし。・AWS サービス同士の通信 (今回のケース) は AWS Network の中での通信となることが記載されている。・一方 DataSync は転送前後で、転送対象オブジェクトを差分チェック・検証処理のためにスキャンする。 → 対象オブジェクトが増加することで転送前後の処理時間が増加する (Enhanced Mode で並列実行は可能)。速度面の比較 #nncstudy https://docs.aws.amazon.com/datasync/latest/userguide/how-datasync-transfer-works.html#in-cloud-transfer

Replication ⚫ S3 RTC を利用することで、ほぼすべてのオブジェクトを 15 分以内にコピーすることが可能。 ⚫ 一方、通常の S3 Replication の場合は SLA 準拠ではない値 (24h ~ 48h) が提示されている (≠時間がとてもかかる)。 ◼ AWS DataSync ⚫ 転送元・先が AWS サービス同士の場合、AWS Network を利用した転送と明記されている (一般的に高速とされる)。 ⚫ 転送前後の検証でオブジェクトのスキャン処理が走る → 一度の転送対象オブジェクトが多いと前後の処理時間が増加する。 ◼ まとめ ⚫ 大容量のファイル群が対象 and / or 出来うる限り高速に・継続的にコピーしたい → S3 Replication (要・S3 RTC) ⚫ 小規模 ~ 中規模のファイル群が転送対象の中心 → S3 Replication・AWS DataSync ⚫ 一度のタイミングで転送したいファイル数が大量にある → S3 Replication 速度面の比較

36 Copyright（C） NRI Netcom, Ltd. All rights reserved. ◼S3 Replication
を利用した際に、S3 のオブジェクト保存以外にかかる料金は以下の通り (us-east-1)。金銭コストの比較 #nncstudy https://aws.amazon.com/jp/s3/pricing/ https://aws.amazon.com/jp/blogs/storage/monitor-data-transfer-costs-related-to-amazon-s3-replication/ 項目金額備考 PUT リクエスト (Standard) USD 0.005 / 1000 req データ転送コスト (クロスリージョンの場合) USD 0.09 / GB • ~ 40TB / 月 • 以降、段階的に値引き • 同一リージョンは無料オンデマンドバッチレプリケーション (オンデマンドレプリケーションの場合) USD 0.25 / Job USD 1.00 / 1,000,000 processed obj USD 0.015 / 1,000,000 obj (in ソースバケット) ※ マニフェスト操作を実施する場合 S3 RTC USD 0.015 / GB ライブレプリケーションの場合

37 Copyright（C） NRI Netcom, Ltd. All rights reserved. ◼AWS DataSync
を利用した際に、S3 のオブジェクト保存以外にかかる料金は以下の通り (us-east-1)。金銭コストの比較 #nncstudy https://aws.amazon.com/jp/datasync/pricing/ 項目金額備考 PUT リクエスト (Standard) USD 0.005 / 1000 req DataSync による転送料金 USD 0.0125 / GB Enhanced Mode 料金 USD 0.015 / GB USD 0.55 / TaskExecution Enhanced Mode 利用時

Replication ⚫ USD 0.015 / GB で S3 RTC は利用可能。 • 大容量ファイルが対象の際に利用ニーズがあるため、大きなコスト要因になる可能性はあり。 ◼ AWS DataSync ⚫ 速度低下を招き得るファイル数の影響は Enhanced Mode で軽減は可能。 + USD 0.015 / GB・USD 0.55 / TaskExecution ◼ まとめ ⚫ 同一リージョンで内容の同期を行いたい場合 → S3 Replication ⚫ リージョン間での同期を取りたい場合 → AWS DataSync ⚫ 費用を抑えつつ、複数リージョンに転送を行いたい場合 → AWS DataSync ⚫ 大容量ファイルを大量に取り扱う場合 → S3 Replication (S3 RTC) 金銭コストの比較

バケット間オブジェクトコピー・同期方法にはマネージド・実装など、様々な方法が存在する。 ⚫ S3 Replication ⚫ AWS DataSync ⚫ 他サービスによるアプリケーション実装…… ◼ 各マネージドサービスはフィルタリングやファイル検証などはある程度似通った機能を提供している。 ⚫ 対象のフィルタリング ⚫ メタデータやストレージクラスの取り扱い ◼ 最高速度の保証は S3 Replication が、検証オプションの手厚さは DataSync が優位。 ◼ 速度・費用面では利用するユースケースで S3 Replication・DataSync でそれぞれ優位なケースが存在する。おわりに #nncstudy

S3 バケット間でのオブジェクト同期方法の比較

S3 バケット間でのオブジェクト同期方法の比較

More Decks by 4hei4hei

Featured

Transcript