OCI技術資料 : データ移行

Oracle Cloud Infrastructure (OCI) の技術説明資料、 データ移行(Level 100) です。

オンプレミスからのデータ移行等で利用可能なツール（OCI CLI, RCLONE, OCIFSなど）、およびデータ転送サービスについて解説しています。

2020/10 初版
2021/02 v2.0 フォーマット変更、構成図など修正、最新情報を反映
2022/08 v2.1 最新情報を反映
2023/05 v2.2 誤植修正、最新情報を反映
2024/04/02 v3.0 ストレージ・ゲートウェイとデータ転送アプライアンスを削除して改定

Transcript

1. OCIへのデータ移行 Data Migration Oracle Cloud Infrastructure 技術資料 日本オラクル株式会社 2024年4月
2. • データ移行の計画 • 既存環境や要件の確認 • 移行方法の選択 • オンライン転送 • オブジェクト・ストレージへのデータ移行 • OCI CLI Object Storage sync • OCIFS • Rclone • ファイル・ストレージへのデータ移行 • （補足）コンピュート・インスタンスの移行 • オフライン転送 • データ転送サービスの概要 • データ転送ディスクの利用の流れ Agenda Copyright © 2024, Oracle and/or its affiliates 2
3. 移行データや既存環境の確認 どのようにデータ移行を行うかを検討する上では、移行するデータの詳細の把握と、既存のオンプレミス環境のアセスメント を行う必要がある • アプリケーション：全てのソフトウェアアプリケーション、それらのバージョンや依存関係の把握 • データベース：全てのデータベースバージョンの把握と、どのような種類のデータが格納されているか • コンプライアンス準拠：HIPAAやFedRAMPのようなコンプライアンス準拠が必要か • ストレージ：オンプレミスで複数の種類のストレージが存在する場合、それらのタイプとデータ量の把握 • ネットワーク：ソース環境のネットワークアーキテクチャー（ネットワーク経路、帯域幅等）のアセスメントを行い、ター ゲットのOCIのネットワークアーキテクチャーをプラン データ移行の計画 Copyright © 2024, Oracle and/or its affiliates 3
4. 移行時の要件の確認 移行方式を検討する際には、移行時の要件をもとに適切な方法を選択する • セキュリティ要件：例）移行時に利用するネットワークはプライベートなネットワークが必要か • 移行時間の要件：例）移行中にどの程度の停止時間が許容されるか、移行プロセス全体でどの程度の期間が確 保可能か • データの整合性：例）いつの時点のデータを移行するか データ移行の計画 Copyright © 2024, Oracle and/or its affiliates 4
5. 移行元の環境やデータ移行の要件に応じて適切な方法を選択 • オンライン移行：ネットワーク経由でのデータの転送 • FastConnect：お客様固有の専用線/閉域網を利用。大容量データの高速な移行に適している。 • IPSec VPN over Internet：インターネット回線上でIPSec VPNを用いた暗号化トンネル通信。性能はインターネット性能にも 依存。比較的小さなデータ量の移行に向いている。 • オフライン移行：ネットワークを経由せず、物理媒体を介したデータの転送 オンライン移行とオフライン移行 Copyright © 2024, Oracle and/or its affiliates 5 オンプレミス OCI FastConnect IPSec VPN インターネット データ転送サービス ネットワーク経由でのオンライン移行 物理媒体を輸送してオフライン移行 OCI CLI Rclone OCIFS 3rd partyツール
6. オンライン転送 各ストレージ・サービスへのデータ移行 Copyright © 2024, Oracle and/or its affiliates 6
7. インターネットまたはプライベート・ネットワークからのアクセスを選択 A) インターネット経由でオブジェクト・ストレージにアクセス • パブリックな通信となる。性能はインターネット性能に依存。 B) プライベートなネットワークを利用してオブジェクト・ストレージにアクセス • IPSec VPNまたはFastConnectのプライベート・ピアリングでお客様のネットワークとOCIのVCNがプライベート接続されている場 合、 VCNを介したトランジット・ルーティングを行うことが可能 • インターネットを経由せずプライベートなネットワークを利用してセキュアにデータ転送が可能 • FastConnectの場合、移行に必要なネットワーク帯域幅を選択可能（1 Gbps, 10 Gbps, 100 Gbps, 400 Gbps） オブジェクト・ストレージへのネットワーク・アクセス Copyright © 2024, Oracle and/or its affiliates 7 オンプレミス OCI FastConnect IPSec VPN インターネット VCN DRG オブジェクト・ ストレージ サービス・ ゲートウェイ
8. オブジェクト・ストレージへの一括アップロードや同期を行うコマンドを提供 サーバー上にOCI CLIをインストールし、ディレクトリ内のファイルをオブジェクト・ストレージへ一括でデータ移行する。 特徴 • ディレクトリ内のファイルを一括でアップロード可能 • バケット内のオブジェクトを一括でディレクトリにダウンロードすることも可能 • アップロード済みのオブジェクトとの差分のみ同期することも可能 • CLI内でデフォルトでマルチパート・アップロードや並列処理が実行でき、パラメータによってパートサイズや並列度の調整も可能なため、 環境に応じた高速な処理も可能 サポートされるOS • CentOS, Oracle Linux, Oracle Autonomous Linux, Ubuntu, Windows 10/11, Windows Server • また、サポートされるバージョンのPythonが必要。バージョンの詳細や最新情報はドキュメント参照。 • https://docs.oracle.com/ja-jp/iaas/Content/API/Concepts/cliconcepts.htm コマンドの詳細はコマンドライン・リファレンスを参照 • https://docs.oracle.com/en-us/iaas/tools/oci-cli/3.37.13/oci_cli_docs/cmdref/os/object.html OCI CLIを利用したオブジェクト・ストレージへのデータ移行 Copyright © 2024, Oracle and/or its affiliates 8
9. CLIサンプル オブジェクトの一括アップロード bulk-upload • ディレクトリおよびそのサブディレクトリ内のファイルのグループをバケットにアップロード。サブディレクトリがある場合は、スラッシュ(/)文字で区切られた接頭辞 付きのオブジェクト名で追加される。 オブジェクトの同期 sync • ディレクトリ内で新規および変更されたファイルを宛先にコピーし、ソースに存在しないオブジェクトを削除 オブジェクトの一括ダウンロード bulk-download • バケットからオブジェクトを一括ダウンロード OCI CLIを利用したオブジェクト・ストレージへのデータ移行 Copyright © 2024, Oracle and/or its affiliates 9 oci os object bulk-upload --bucket-name <バケット名> --src-dir <ソースディレクトリ名> [OPTIONS] oci os object sync --bucket-name <バケット名> --src-dir <ソースディレクトリ名> [OPTIONS] oci os object bulk-download --bucket-name <バケット名> --download-dir <ダウンロードディレクトリ名> [OPTIONS] オプション・パラメータ（一部） • --part-size [integer] マルチパート処理のパートサイズ指定。デフォルト：128MiB、最小：10MiB。 • --parallel-upload-count [integer] / --parallel-operations-count [integer] パラレル処理の数。デフォルト：10、最大：1000。 • --no-multipart マルチパート処理をしない場合に指定。 • --include [text] パターン一致したファイルのみ処理する。 • --exclude [text] パターン一致したファイルを除外して処理する。 • --no-overwrite 同じ名前のファイルがあった場合には上書きしない。 • --overwrite 同じ名前のファイルがあるかのチェックをせず上書きする。 • --overwrite、--no-overwrite どちらも指定されていない場合、同じ名前のファイルがあった場合には上書きするか確認するプロンプトが表示される。
10. 様々なクラウドストレージにも対応しているオープンソースのrcloneを利用 OCIオブジェクト・ストレージはrcloneでネイティブにサポートされている • OCI CLIと同様にAPIキーを使用した認証を行ってオブジェクト・ストレージをリモートサイトとしてセットアップすることが可能 • 例 Rcloneを利用したオブジェクト・ストレージへのデータ移行 Copyright © 2024, Oracle and/or its affiliates 10 【ご参考】Migrate Data to Oracle Cloud Infrastructure Object Storage Using Rclone https://docs.oracle.com/en/learn/migrate-data-to-oci-object-storage/index.html ・ソースディレクトリからリモートのOCIオブジェクトストレージのバケットへのコピー rclone copy <source_directory> <remote>:<bucket_name> ・ソースディレクトリからリモートのOCIオブジェクトストレージのバケットへの同期 rclone sync <source_directory> <remote>:<bucket_name>
11. オブジェクト・ストレージをファイルシステムとしてマウントして利用 OCIFSを利用することで、オブジェクト・ストレージをOracle Linuxからファイルシステムとしてマウントしてデータ移行 • OS上で利用するファイル操作コマンドが利用可能 • Oracle Linux 8以降で起動されたインスタンスで利用可能 • OCIFSの詳細はドキュメント参照：https://docs.oracle.com/ja-jp/iaas/oracle-linux/ocifs/index.htm • 【ご参考】Introducing OCIFS https://blogs.oracle.com/linux/post/introducing-ocifs OCIFSを利用したオブジェクト・ストレージへのデータ移行 Copyright © 2024, Oracle and/or its affiliates 11 制限事項、注意点 • 通常のファイルおよびディレクトリのみサポート。シンボリックリンクや特殊ファイルはサポートされない。 • ファイル属性（アクセス権や所有者等）はマウント/アンマウント時にすべてリセットされる。 • 書き込みは50GBまで。50GB以上のファイルを作成、変更できない。 • OCIFSは共有ファイル・システムではないため、データの破損を避けるため同時に同じバケットを複数からマウントしないこと。 また、マウントされている間は、バケット・オブジェクトをコンソール、CLIまたはAPIなどで直接変更しないこと。 ocifs [<options>] <bucket-path> <dir> mount -t fuse.ocifs [-o <options>] <bucket-path> <dir> fusermount -u mydir umount /mnt バケットのマウント：ocifsコマンドまたはmountコマンド バケットのアウンマウント：fusermountまたはumountコマンド
12. FastConnectまたはVPN経由でファイル・ストレージ・サービスに対してデータ移行を行う 移行元にLinuxサーバーがある場合 • OCI上にLinuxインスタンスを作成して、 FSSをNFSマウント。 • fss-parallel-toolsやfpsyncを利用してファイルをコピー。 • fpsync：rsyncのラッパーツール。 • fss-parallel-tools：ファイル・ストレージのパラレルツール。partar やparcpコマンド。 移行元がWindowsの場合 • OCI上にLinuxインスタンスを作成して、 CIFSユーティリティを インストール。OnPのWindows サーバーのCIFS共有とFSS をNFSマウント。 • fss-parallel-toolsやfpsyncを利用してファイルをコピー。 ファイル・ストレージへのデータ移行 Copyright © 2024, Oracle and/or its affiliates 12 オンプレミス OCI FastConnect IPSec VPN VCN DRG ファイル ストレージ CIFSマウント Windows サーバー VM インスタンス マウント例 $ sudo mount -t cifs -o username=opc //win2012/c /mnt/win_share $ sudo mount -t nfs 10.x.x.x:/fs-export-path /mnt/MyFilesystem パラレルツールの利用例 $ parcp –P 32 /mnt/win_share /mnt/MyFilesystem NFSマウント オンプレミス OCI FastConnect IPSec VPN VCN DRG ファイル ストレージ Linux サーバー VM インスタンス NFSマウント fpsyncの利用例 $ fpsync -vv -n `nproc` -f 2000 -o "-arxH --progress -- e ssh" /<source>/ opc@10.x.x.x:/mnt/MyFilesystem/ マウント例 $ sudo mount -t nfs 10.x.x.x:/fs-export-path /mnt/MyFilesystem https://docs.oracle.com/ja-jp/iaas/Content/File/Tasks/transferring-data-to-and-from-file-storage.htm#transfer-data
13. 要件に応じて適切な移行方法を選択 【参考】 OCIコンピュート・インスタンスの移行方式 4/2/2024 Copyright © 2024, Oracle and/or its affiliates 13 移行方法 方式 メリット 制限や注意事項 BYOI（Bring Your Own Image）を 利用した手動移行 • 既存環境から仮想マシンイ メージを出力し、カスタム・イ メージとしてインポート • VMDK,QCOW2形式にすることができ れば様々な環境からの持ち込みが可能 • カスタムイメージの作成を含む、イン スタンス作成作業が手動なので、少 量の仮想マシンの移行に適している • ボリュームはブート・ボリューム1つのみ、 イメージサイズ400GBまでの制限 BYOIを利用しない 手動移行 • 完全に新しいOS環境として インスタンスを新規作成し、 手動でアプリケーションやデー タを移行する • OSバージョンなどを最新にする場合は 適切 • プラットフォーム・イメージを利用可能 （= コンピュートで動作するOCIの機能 が利用できる。モニタリング・メトリックや OS管理など） • 手動でインスタンス作成、ソフトウェ アやアプリケーションのデプロイ、デー タ移行が必要 Oracle Cloud Migration Service の利用 • 既存環境でエージェント・アプ ライアンスを起動し、OCIに ネットワーク経由で移行 • VMwareの仮想マシンをそのまま移行 可能。データのレプリケーションや、インス タンス作成もツール側で自動実行可能 • 少量の移行から大規模な移行まで対 応 • 現時点ではソース環境はVMware のみ • ネットワーク経由で既存環境とOCI 間の通信が必要。 3rd partyツールの 利用 • 3rd partyベンダーからの提 供とサポート • 様々な環境に対応できる • ツールに依存
14. オフライン転送 データ転送サービス Data Transfer Service Copyright © 2024, Oracle and/or its affiliates 14
15. 大容量のデータをネットワークを経由せずセキュアに Oracle Cloud へ転送 データ転送ディスクを利用したオフラインでのデータ移行 • お客様購入ディスクにデータをロードし、データ転送サイトに送付 • 対応デバイス：USB 2.0/3 .0ハード・ディスク・ドライブ • 転送前にデータ暗号化（AES-256） • お客様指定のオブジェクト・ストレージのバケットにアップロードされる • アップロードが完了したディスクは消去されてから（NIST 800- 88）お客様に返送される • サービス費用無償 • 別途デバイス費用と往復輸送費、移行先オブジェクト・ストレージ費用が必要 データ転送サービス - Data Transfer Service Copyright © 2024, Oracle and/or its affiliates 15 Data Transfer オンプレミス ディスク OCI オブジェクト ストレージ データ・ホスト
16. • 各プロセスにおいてデータは全て暗号化（AES 256） • AES 256暗号化 • オブジェクトストレージのバケット格納時に暗号化 • ネットワーク通信はTransit Layer Security (TLS)で暗号化 • データをディスクにコピーした際に生成されるマニフェスト内には、データ整合性ハッシュとともにコピーされたすべてのファイ ルのインデックスを格納 • 転送プロセス全体を通じて保護管理が行われる データのセキュリティ確保 Copyright © 2024, Oracle and/or its affiliates 16
17. • データ転送サービスのためにディスクを用意し、オラクルに送付する準備を行うためのコマンドラインのツール • ディスクベースのデータ転送サービスに利用可能 • データコピー用HDDを接続するホストにインストールするソフトウェア • OCI(Data Transfer Service Console)と連動し、同サービスの設定、ステータスの管理を行う • HDDの暗号化、ファイルシステム(ext)の作成、HDD識別IDの付与、OSへのマウント • データのコピー処理自体は本ツールでは実施しない • マシン要件 • Oracle Linux 6 以降, Ubuntu 14.04 以降, または SUSE 11 以降 • Java 1.8 または Java 1.11 • hdparm 9.0 以降 • Cryptsetup 1.2.0 以降 • ファイアウォール・アクセス要件 • データ転送サービス: [東京] 140.204.0.0/16 、 [大阪] 140.204.0.0/16 • オブジェクトストレージ: [東京] 134.70.80.0/22 、 [大阪] 134.70.112.0/22 データ転送ユーティリティ Copyright © 2024, Oracle and/or its affiliates 17
18. データ転送サービスの流れ – 準備 – ローカル環境 データ・ホスト ３．ファイアウォール設定 ・[東京] 140.204.0.0/16, 134.70.80.0/22 ・[大阪] 140.204.0.0/16, 134.70.112.0/22 ポート 443 ２．オブジェクト・ストレージ・ バケットの作成 １．IAMの設定 ・データ転送アップロード・ユーザー情報（Oracle使用ユー ザー）の作成など ５．構成ファイル作成 ・CLIを使用して構成ファイルを作成 ・configファイル：データ転送管理者情報 ・config_upload_userファイル：データ転送アップロード・ユー ザー情報（Oracle使用ユーザー） ・オブジェクトストレージエンドポイントの追加 ４．転送ジョブの作成 ・コンソールまたはデータ転送ユーティリティより実行 ・ディスクの指定 ・対象のオブジェクト・ストレージの指定 ・作成した転送ジョブより、転送ジョブIDを取得 ６．転送パッケージの作成 ・データ転送ユーティリティorコンソールから実行（ディスクの出 荷先住所、出荷ベンダー、出荷ステータスなどを取得） ７．送付ラベルの作成 ・データ転送ユーティリティorコンソールから実行し、転送パッ ケージの送付先住所を取得 ・送付先住所の情報を元に送付状を作成 Copyright © 2024, Oracle and/or its affiliates 18 VCN OCIリージョン データ転送 サービス オブジェクトス トレージ Firewall 送付ラベル 転送パッケージ 転送ジョブ データ転送 ユーティリティ 実行 ファイアウォール経 由でのアクセスを 許可
19. データ転送サービスの流れ – 構成・コピー・出荷・モニタリング – ローカル環境 データ・ホスト ８．ディスクのアタッチ ・データ・ホストにディスクを接続し、ブロック・デバイス・パスを 取得する ※すべてのパーティションおよび任意のファイル・システムは削 除する ディスク ９．データのコピー ・データ転送ユーティリティを使用し、以下を実行 ・転送ディスクを作成（暗号キーを取得する） ・転送ディスクによって作成されたマウントポイ ントにファイルをコピー ・マニフェストファイルを生成 （config_upload_user構成ファイルおよび参照 されているIAM資格証明が、暗号化された転送 ディスクにコピー） 10．転送ディスクのロック ・データ転送ユーティリティを使用して転送ディスクをロック 11．転送パッケージへのアタッチ ・データ転送ユーティリティorコンソールから実行 ・転送ディスクを転送パッケージにアタッチする 12．転送パッケージの出荷 ・転送パッケージを出荷ベンダーに配送 13．転送状況の確認 ・コンソールまたはデータ転送ユーティリティを通じて転送パッ ケージのステータスを確認 14．転送ジョブの終了 ・コンソールまたはデータ転送ユーティリティを通じて転送ジョブ を終了する Copyright © 2024, Oracle and/or its affiliates 19 OCIリージョン データ転送 サービス オブジェクトス トレージ 送付ラベル 転送パッケージ 転送ジョブ Firewall VCN データ転送 ユーティリティ 実行 ファイアウォール経 由でのアクセスを 許可
20. チュートリアル - Oracle Cloud Infrastructureを使ってみよう • https://oracle-japan.github.io/ocitutorials/ Oracle Japan主催 セミナー、ハンズオン・ワークショップ • https://search.oracle.com/events?q=&location=japan Oracle Cloud Infrastructure – General Forum (英語) • https://cloudcustomerconnect.oracle.com/resources/9c8fa8f96f/summary Oracle Cloud Infrastructure トレーニング・技術フォーラム Copyright © 2024, Oracle and/or its affiliates 20
21. Oracle Cloud Infrastructure マニュアル • https://docs.oracle.com/ja-jp/iaas/Content/home.htm - マニュアル(日本語) • https://docs.cloud.oracle.com/iaas/api/ - APIリファレンス • https://docs.oracle.com/ja-jp/iaas/Content/General/Reference/aqswhitepapers.htm- テクニカル・ホワ イト・ペーパー • https://docs.cloud.oracle.com/iaas/releasenotes/ - リリースノート • https://docs.oracle.com/ja-jp/iaas/Content/knownissues.htm - 既知の問題(Known Issues) • https://docs.oracle.com/ja-jp/iaas/Content/General/Reference/graphicsfordiagrams.htm- OCIアイコ ン・ダイアグラム集(PPT、SVG、Visio用) Oracle Cloud Infrastructure マニュアル・ドキュメント Copyright © 2024, Oracle and/or its affiliates 21
22. Thank you Copyright © 2024, Oracle and/or its affiliates 22
24. Our mission is to help people see data in new ways, discover insights, unlock endless possibilities.