オンプレミスからAWSへのデータ移行手段を改めて検討してみた話 / 20250811 JAWS-UG Saga Makihara LT

JAWS-UG佐賀
【オンライン】佐賀の中心でAWSを叫ぶ
https://jawsug-saga.connpass.com/event/362596/

Transcript

1. ©Fusic Co., Ltd. 0 CONFIDENTIAL CONFIDENTIAL オンプレミスから AWSへ データ移行手段を改めて検討してみた話 ~インフラ編 ~ 2025.08.11 槇原 竜之輔 JAWS-UG佐賀 佐賀 中心で AWSを叫ぶ
2. ©Fusic Co., Ltd. 1 CONFIDENTIAL 自己紹介 じめに 槇原 竜之輔 MAKIHARA RYUNOSUKE 株式会社Fusic 事業本部 クラウドエンジニアリング部門 チームリーダー 🦍 • 佐賀県佐賀市 出身 • Fusic@福岡(2020~) • 某警備会社 IT子会社@東京(2018~2019) • 甲賀流忍者検定(中級)、スパルタンレース • 将棋、漫画、映画(アクション、ホラー、サメ等)が好き 2024/2025 Japan All AWS Certifications Engineer 2025 Japan AWS Top Engineer (Services)
3. ©Fusic Co., Ltd. 2 CONFIDENTIAL 1. データ移行で使用するAWSサービス 2. 検討してみよう 3. どうやって検証するべきか
4. ©Fusic Co., Ltd. 3 CONFIDENTIAL データ移行で使用する AWSサービス 1
5. ©Fusic Co., Ltd. 4 CONFIDENTIAL 代表的なデータ移行用 AWSサービス AWS Snowball 大容量データをオンプレミスからAWSに物理的に移行するため デバイス。 オフラインで高速転送を実現。 AWS DataSync オンプレミスとAWS間(に限らないが)でデータを効率的に転送するサービス。 ネットワークを通じて高速な移行が可能。 AWS Database Migration Service (DMS) データベース 移行を支援するサービス。 異なるデータベース間でデータを簡単に転送・同期。 Amazon Elastic VMware Service (EVS) VMwareワークロードをAWSに移行して運用するため サービス。 先週GAされた。
6. ©Fusic Co., Ltd. 5 CONFIDENTIAL 代表的なデータ移行用 AWSサービス AWS Snowball 大容量データをオンプレミスからAWSに物理的に移行するため デバイス。 オフラインで高速転送を実現。 AWS DataSync オンプレミスとAWS間(に限らないが)でデータを効率的に転送するサービス。 ネットワークを通じて高速な移行が可能。 AWS Database Migration Service (DMS) データベース 移行を支援するサービス。 異なるデータベース間でデータを簡単に転送・同期。 Amazon Elastic VMware Service (EVS) VMwareワークロードをAWSに移行して運用するため サービス。 先週GAされた。
7. ©Fusic Co., Ltd. 6 CONFIDENTIAL 適当なAWS資格試験風問題 A社 オンプレミス データセンターからAWS環境へ データ 移行を検討しています。データ 全てNFSサーバにあり、 サイズ 100TBあります。 データセンター ネットワーク環境に通常運用時以上 負荷を与えること 許可されていません。 最も効率 高い方法でデータを転送するために、 ど AWSサービスを使用するべきですか？ A. AWS DataSync B. AWS Direct Connect C. AWS Database Migration Service D. AWS Snowball Edge Storage Optimized
8. ©Fusic Co., Ltd. 7 CONFIDENTIAL 適当なAWS資格試験風問題 A. AWS DataSync B. AWS Direct Connect C. AWS Database Migration Service D. AWS Snowball Edge Storage Optimized A社 オンプレミス データセンターからAWS環境へ データ 移行を検討しています。データ 全て NFSサーバにあり、 サイズ 100TBあります。 データセンター ネットワーク環境に通常運用時以上 負荷を与えること 許可されていません 。 最も効率 高い方法でデータを転送するために、 ど AWSサービスを使用するべきですか？
9. ©Fusic Co., Ltd. 8 CONFIDENTIAL 適当なAWS資格試験風問題 A. AWS DataSync B. AWS Direct Connect C. AWS Database Migration Service D. AWS Snowball Edge Storage Optimized A社 オンプレミス データセンターからAWS環境へ データ 移行を検討しています。データ 全て NFSサーバにあり、 サイズ 100TBあります。 データセンター ネットワーク環境に通常運用時以上 負荷を与えること 許可されていません 。 最も効率 高い方法でデータを転送するために、 ど AWSサービスを使用するべきですか？
10. ©Fusic Co., Ltd. 9 CONFIDENTIAL 検討してみよう 2
11. ©Fusic Co., Ltd. 10 CONFIDENTIAL 実際 データ移行 よし、データ移行 進めていくぞ！ まず ...
12. ©Fusic Co., Ltd. 11 CONFIDENTIAL 実際 データ移行 1. 現状 データを確認して 2. 移行サービスを検討して 3. サービス 動作確認をして 4. 移行計画を立てて 5. 移行を始めるか...
13. ©Fusic Co., Ltd. 12 CONFIDENTIAL 現状 データ確認 500TB(NFS)
14. ©Fusic Co., Ltd. 13 CONFIDENTIAL 移行サービス 検討 数百TBレベルということ Snowballを使え OKだ！ 500TB(NFS)
15. ©Fusic Co., Ltd. 14 CONFIDENTIAL 移行サービス 検討 本当に？ 🤔 500TB(NFS)
16. ©Fusic Co., Ltd. 15 CONFIDENTIAL AWS Snowball (Edge)をもうちょっと詳しく • 210TB 容量 (Snowball Edge Storage Optimized) • 500TBを移行する必要台数 = 500 [TB] / 210 [TB/台] = 2.38 [台] ≒ 3 [台] • 注意点 ◦ 複数台が同時に届くと 限らない ◦ 物理的に接続する場所 ある か ◦ まあまあ重い(22.54 kg) ◦ 書き込みにも時間がかかる で、オンライン 転送が可能なら速度 計算が必須 https://docs.aws.amazon.com/ja_jp/snowball/latest/developer-guide/receive-device.html
17. ©Fusic Co., Ltd. 16 CONFIDENTIAL 移行サービス 検討 今回 オンライン でも問題ない で DataSyncで進めるか... 🤔 500TB(NFS)
18. ©Fusic Co., Ltd. 17 CONFIDENTIAL DataSyncをもうちょっと詳しく • 10Gbps(=1.25GB/s)利用可能だとすると、転送 500,000 [GB] / 1.25 [GB/s] = 400,000 [s] ≒ 111.11 [時間] ≒ 4.63 [日] • DataSyncエージェント 仮想マシンで起動する ◦ 推奨メモリ 32GBもしく 64GB • DataSyncエージェント DataSync用 ドメインに対 して通信できる必要 がある • プロトコル 対応バージョンがある ファイルサーバ サーバ DataSync エージェント NFS、SMB、HDFS
19. ©Fusic Co., Ltd. 18 CONFIDENTIAL DataSyncをもうちょっと詳しく ファイルサーバ サーバ DataSync エージェント NFS、SMB、HDFS 既存環境特有 設定や物理機器 製品依存 設定があり得る で事前 検証が必要 ex. NFS バージョン、 特有 サービス用ポート 開放、 FW 開放申請...
20. ©Fusic Co., Ltd. 19 CONFIDENTIAL どうやって検証するべきか 3
21. ©Fusic Co., Ltd. 20 CONFIDENTIAL データ移行 検証 実機で 検証 オンプレミスが関わってくる場合、出来るだけ実際 オンプレミス環境で再現 を行う が望ましい。 オンプレミス環境に利用可能な実機がない場合でも、 予備機等で環境を近付けたも を用意したい。 ベアメタル EC2インスタンスタイプで 検証 i3.metalやi4i.metal等 EC2インスタンスだと仮想マシンを実行することが 可能。(時間あたり 利用料が高い で利用 際 注意が必要 ) データ 送信元 EFSやFSx等 AWSサービスを出来るだけ使用せず、 同じくEC2上に建てた方が、より実機に近づける。
22. ©Fusic Co., Ltd. 21 CONFIDENTIAL 検証した結果ど 移行用サービスも使う が難しい場合 ファイルサーバ サーバ NFS、SMB、HDFSでマウント Amazon S3 AWS CLI aws s3 cp/sync • AWS CLIを利用して移行することも検討可能 • S3に送信した後に必要になり得る証跡情報 ◦ 送信済みファイル一覧 ◦ 送信ファイルサイズ ◦ ハッシュ値
23. ©Fusic Co., Ltd. 23 CONFIDENTIAL まとめ データ移行 ため AWSサービス 色々ある で、要件で使い分ける必要がある データ移行 オンプレミス 要件が関わる で、資格試験通りになると 限らない AWS CLIを使うことも選択肢 一つだが、証跡 要件に注意 Point.01 Point.02 Point.03
24. ©Fusic Co., Ltd. 24 CONFIDENTIAL Thank You ご清聴いただきありがとうございました