Cinder Backupを活用したユーザー負担の少ないクロスリージョンボリューム移行システム

プライベートクラウドの新規リージョン立ち上げに伴い、既存リージョンからのユーザー負担の少ない移行を支援するクロスリージョン移行システムを開発しました。ユーザーが移行元のボリュームを指定するだけで、Cinder BackupやNFSの共有ストレージを通したデータ移行を自動的に行うワークフローを実現しています。OpenStackやIaaS基盤の運用に携わるインフラエンジニアの方々に、VMの安全なデータ移行の知見や、利用者負担を減らすシステム設計に関するノウハウをお伝えします。

Transcript

1. Cinder Backup を活用した クロスリージョンボリューム移行 近藤智文 / サイバーエージェント CODT2026
2. 自己紹介 近藤 智文 • サイバーエージェント24新卒 • プライベートクラウド IaaS 基盤の 開発・運用をやってます • OpenStack/OVS/Kubernetes /Go/Python https://github.com/TOMOFUMI-KONDO/ https://x.com/tomokon_0314
3. 本発表で学べること • クラスタ外へのデータ転送を伴う OpenStack Cinder volume の移行を、安全かつ簡単に行う方法の一例 • OpenStack Cinder の基本的なアーキテクチャや、 Snapshot / Backup といった便利機能の使い方と 実際のユースケース
4. 既存リージョンから 新リージョンへのVM移行
5. プライベートクラウドの概要 社内ユーザに以下の機能を提供 • IaaS (OpenStackベース) • PaaS/SaaS ◦ Kubernetes as a Service ◦ Serverless Computing ◦ ML Platform ◦ GitHub Actions Self-Hosted Runner ◦ DB/Storage, etc.
6. 新リージョンの立ち上げ ハードもソフトもゼロベースで構築 • 最新世代のハードウェアによりリソース効率や パフォーマンスの大幅向上 • 統合されたUI/UX・メンテナンスタイムの削減に よる利用者の負担削減 • 高いテナント分離性によるセキュリティ向上
7. 新リージョンの設計 新リージョンでは OpenStack をラップする独自の IaaS 基盤を構築 ➔ 将来的に OpenStack を丸ごと別のプロバイダーに リプレイスすることも可能な設計 旧リージョン 新リージョン Cinder API Nova API 独自 IaaS API Cinder API Nova API
8. 新リージョンの設計 新リージョンでは OpenStack をラップする独自の IaaS 基盤を構築 ➔ 将来的に OpenStack を丸ごと別のプロバイダーに 新リージョンのリリースは リプレイスすることも可能な設計 無事完了！🎉🎉🎉 新リージョン 旧リージョン Cinder API Nova API 独自 IaaS API Cinder API Nova API
9. 新リージョンの設計 新リージョンでは OpenStack をラップする独自の IaaS 基盤を構築 ➔ 将来的に OpenStack を丸ごと別のプロバイダーに リプレイスすることも可能な設計 めでたし、めでたし 旧リージョン 新リージョン Cinder API Nova API 独自 IaaS API Cinder API Nova API
10. 新リージョンの設計 新リージョンでは OpenStack をラップする独自の IaaS 基盤を構築 ➔ 将来的に OpenStack を丸ごと別のプロバイダーに リプレイスすることも可能な設計 とはいかず、、、 旧リージョン 新リージョン Cinder API Nova API 独自 IaaS API Cinder API Nova API
11. 既存リージョンからの VM 移行が必要 新旧リージョン両方を稼働させているとダブルコストで 辛いので、なるべく早く旧リージョンをクローズしたい ➔ 旧リージョンにいる既存ユーザの VM を移行しても らわなければいけない ➔ ユーザ負担少なく移行ができないと、移行が進まな かったり、最悪の場合はユーザの離脱にも繋がる
12. 独自の移行システムによる解決 移行システムに必要な要件 • ユーザ負担を最小限にしてスムーズに移行が行える こと • クロスリージョンでのデータ移行が行えること • ユーザのデータ (VM) を破損させずに安全に移行す ること • 数 TB の大容量データ移行をサポートできること
13. 移行システム
14. 移行フローの概要 ユーザが旧リージョンで Volume Snapshot を作成 ユーザー操作はこれだけ！ 1. 2. 3. 4. Snapshot 作成を検知 Snapshot から Volume Backup を作成 新リージョンに Backup をインポート Backup から Volume を復元 移行ツールが自動実行 ユーザが新リージョンで移行 Volume からInstance を作成
15. システムの全体像 移行ツール API Server 3. Snapshot から 移行タスク作成 停止 Instance Volume から Snapshot 作成 8. Backup から Volume を復元 Worker 2. Snapshotを収集 Cinder API 6. Snapshot から Backup 作成 9. Volume を独自 IaaS 基盤 管理下にインポート 新リージョン 1. Instance を停止して 10. Volume から Snapshot 作成 Instance を作成 Instance Volume CoW DB 5. タスク取得 Collector 旧リージョン 4. タスク保存 Snapshot User 7. クロスリージョン転送 (Backup 作成) 独自 IaaS API Instance 作成 Backup Volume インポート Copy Cinder API Volume 復元 Volume
16. Snapshot 作成が全ての始まり 移行ツール API Server 3. Snapshot から 移行タスク作成 停止 Instance Volume から Snapshot 作成 8. Backup から Volume を復元 Worker 2. Snapshotを収集 Cinder API 6. Snapshot から Backup 作成 9. Volume を独自 IaaS 基盤 管理下にインポート 新リージョン 1. Instance を停止して 10. Volume から Snapshot 作成 Instance を作成 Instance Volume CoW DB 5. タスク取得 Collector 旧リージョン 4. タスク保存 Snapshot User 7. クロスリージョン転送 (Backup 作成) 独自 IaaS API Instance 作成 Backup Volume インポート Copy Cinder API Volume 復元 Volume
17. Why Snapshot ? もちろん、Volume を直接転送することもできる。 しかし、Snapshot を経由することで、、、 • Snapshot 作成イベントを契機に移行を開始させること ができ、旧リージョンで追加の API が不要 • Snapshot 作成 (数秒) さえ終われば、転送中も 旧リージョンで Instance を稼働できる といった大きなメリットが得られる
18. Snapshot の課題 Snapshot を保存するための追加のストレージ容量が必要 (特に数 TB の大容量ボリュームでは厳しい) ➔ Thin Provisioning Snapshot を取ることで解決 • Snapshot 作成後に書き込まれたデータの差分だけ 追記されていく ➔ 既存の Cinder 実装では Thick Provisioning Volume か ら Thin Provisioning Snapshot の作成が不可能 • Cinder 実装に手を入れる事ことで解決！
19. Snapshot から移行タスクを作成 移行ツール API Server 3. Snapshot から 移行タスク作成 停止 Instance Volume から Snapshot 作成 8. Backup から Volume を復元 Worker 2. Snapshotを収集 Cinder API 6. Snapshot から Backup 作成 9. Volume を独自 IaaS 基盤 管理下にインポート 新リージョン 1. Instance を停止して 10. Volume から Snapshot 作成 Instance を作成 Instance Volume CoW DB 5. タスク取得 Collector 旧リージョン 4. タスク保存 Snapshot User 7. クロスリージョン転送 (Backup 作成) 独自 IaaS API Instance 作成 Backup Volume インポート Copy Cinder API Volume 復元 Volume
20. Snapshot から移行タスクを作成 1. 常駐の Collector が旧リージョンの新規 Snapshot 作成 をポーリングで検知 2. 検知した Snapshot を 移行ツール API Server に渡す 3. Snapshot に対応する既存タスクがないことを確認 4. Source Snapshot ID / Source Volume ID 等の必要な 情報を含む “移行タスク” を作成して DB に保存
21. Cinder Backup を活用したクロスリージョン転送 移行ツール API Server 3. Snapshot から 移行タスク作成 停止 Instance Volume から Snapshot 作成 8. Backup から Volume を復元 Worker 2. Snapshotを収集 Cinder API 6. Snapshot から Backup 作成 9. Volume を独自 IaaS 基盤 管理下にインポート 新リージョン 1. Instance を停止して 10. Volume から Snapshot 作成 Instance を作成 Instance Volume CoW DB 5. タスク取得 Collector 旧リージョン 4. タスク保存 Snapshot User 7. クロスリージョン転送 (Backup 作成) 独自 IaaS API Instance 作成 Backup Volume インポート Copy Cinder API Volume 復元 Volume
22. Cinder Backup Volume の Backup の保存や、任意のタイミングで Backup から Volume を復元できる Cinder 標準の機能  高い信頼性の確保 複雑なデータ転送の独自実装が不要 ➔ ユーザの大切なデータを安全に 移行することができる！  開発工数の大幅削減 既存のCinderエコシステムやAPIを そのまま活用できる ➔ 独自実装の開発工数を大幅削減
23. Snapshot から Backup を作成 先述した通り、Volume ではなく Snapshot を Backup の ソースとすることで、Backup の作成 (データ転送) 中も 旧リージョンの Instance を稼働させておける ➔ ダウンタイムを短くしたいユーザには大きなメリット Instance Volume CoW 転送中も サービスは継続😁 Backup Snapshot 転送 長ければ数十分から 数時間かかることも、、、
24. Backup 作成 = クロスリージョン転送 Cinder Backup (NFS driver) の保存先を新リージョンの NFS server に設定することで、Backup を作成するだけで 自動的に 旧リージョン → 新リージョン のデータ転送が 行われる (もちろん ネットワーク経路があることは大前提) backup_driver = cinder.backup.drivers.nfs.NFSBackupDriver backup_share = <新リージョン NFS IP>:/cinder_backup01_vol01 backup_mount_point_base = /var/lib/cinder/backup_mount backup_mount_options = ...
25. 新リージョンで Volume を復元 & インポート 移行ツール API Server 3. Snapshot から 移行タスク作成 停止 Instance Volume から Snapshot 作成 8. Backup から Volume を復元 Worker 2. Snapshotを収集 Cinder API 6. Snapshot から Backup 作成 9. Volume を独自 IaaS 基盤 管理下にインポート 新リージョン 1. Instance を停止して 10. Volume から Snapshot 作成 Instance を作成 Instance Volume CoW DB 5. タスク取得 Collector 旧リージョン 4. タスク保存 Snapshot User 7. クロスリージョン転送 (Backup 作成) 独自 IaaS API Instance 作成 Backup Volume インポート Copy Cinder API Volume 復元 Volume
26. 新リージョンで Volume を復元 & インポート Backup 機能は OpenStack Cinder 独自のものを利用 ➔ Backup から復元した Cinder Volume は、そのままでは 独自 IaaS 基盤の管理下にない 😢 ➔ 復元された Cinder Volume をインポートして 独自 IaaS 基盤の管理下に置く必要がある
27. 移行された Volume から Instance 作成 移行ツール API Server 3. Snapshot から 移行タスク作成 停止 Instance Volume から Snapshot 作成 8. Backup から Volume を復元 Worker 2. Snapshotを収集 Cinder API 6. Snapshot から Backup 作成 9. Volume を独自 IaaS 基盤 管理下にインポート 新リージョン 1. Instance を停止して 10. Volume から Snapshot 作成 Instance を作成 Instance Volume CoW DB 5. タスク取得 Collector 旧リージョン 4. タスク保存 Snapshot User 7. クロスリージョン転送 (Backup 作成) 独自 IaaS API Instance 作成 Backup Volume インポート Copy Cinder API Volume 復元 Volume
28. 移行された Volume から Instance 作成 Instance 作成は “あえて” ユーザによる操作に任せた ➔ ユーザが任意のタイミングで Instance 作成を行える • 旧リージョンで稼働しているサービスを停止する タイミングと合わせるなど ➔ ユーザが Instance を起動する際のネットワーク設定、 マシンスペック等を柔軟に制御できる
29. 移行システムの設計振り返り • ユーザが Snapshot を作成するだけで自動的に移行を行 うことで、移行におけるユーザ負担を最小限に抑えた • Cinder Backup を用いてクロスリージョンでのデータ 移行を、安全かつ少ない工数で実現した • Thin Provisioning Snapshot を活用して数 TB の大容量 データ移行をサポート可能にした
30. まとめ
31. 移行システムによる新リージョンへの VM 移行 課題 • 新リージョンの立ち上げに伴い、既存ユーザの VM を 旧リージョンから迅速に移行する必要がある • 移行時のユーザ負担を最小限にしたい 解決策 • 独自の移行システムにより、ユーザの操作を最小限にし て半自動的に VM 移行する仕組みを実現
32. 本発表での学び • クラスタ外へのデータ転送を伴う OpenStack Cinder volume の移行の設計ノウハウ ◦ Cinder 標準の Backup 機能を活用することで独自実装を 避け、少ない工数で信頼度の高い移行システムを実現 • 移行システムで活用されている OpenStack Cinder の Snapshot / Backup のアーキテクチャや使い方 ◦ Thin Provisioning Snapshot ◦ Cinder Backup NFS driver
33. We are hiring! 一緒に働く仲間を大募集しています！ • プライベートクラウドや IaaS 基盤の開発・運用に 興味がある方 • 高い信頼性や UX が求められるシステムにおける アーキテクチャ設計に取り組むことに意欲がある方 お気軽にお声がけください 👋 https://it.cyberagent.group/team/ciu/ https://www.cyberagent.co.jp/way/list/detail/id=31427 https://www.cyberagent.co.jp/way/list/detail/id=31367 https://www.cyberagent.co.jp/way/list/detail/id=29497