プライベートクラウドのストレージライフサイクル問題に立ち向かう！〜ストレージ間マイグレーションの話〜

Transcript

1. プライベートクラウドの ストレージライフサイクル問題に立ち向かう！ 〜ストレージ間マイグレーションの話〜 Akira KAMIO 1
2. whoami 神尾　皓 (Akira KAMIO) •株式会社サイバーエージェント ◦CyberAgent group Infrastructure Unit (CIU) ◦Development Div, IaaS Team •2020/06 中途入社 ◦入社以来、一貫してIaaS基盤の開発/運用業務に従事 ◦Qemu/KVM や高集約コンピュートノードの最適化に興味がある 2
3. サイバーエージェントについて 3
4. CA のプライベートクラウドについて • プライベートクラウドとしてサービスに提供 IaaS (OpenStack) SaaS DB Kubernetes GitHub Actions Runner etc… • 規模感 HV: 1000+ VM: 5000+ ・Diskless Hypervisor ・AKE (Astro Kubernetes Engine) 4
5. 1.ストレージマイグレーションのモチベーション 2.OpenStack のストレージマイグレーション 3.OpenStack カスタムドライバ + 移行システム 4.まとめ 5
6. ストレージマイグレーションの モチベーション 6
7. 機器のライフサイクル (1) 機器には寿命があるため、ライフサイクルを考える必要がある ・サーバ・ネットワーク機器 　・保守切れ 　　・保守更新 or 機器更新 7
8. 機器のライフサイクル (2) ・ストレージ 　・保守切れ 　　・保守更新 or 機器更新 8
9. 機器のライフサイクル (2) ・ストレージ 　・保守切れ 　　・保守更新 or 機器更新 　　・あるベンダーの機器が保守更新不可＆機器更新不可 9
10. 機器のライフサイクル (2) ・ストレージ 　・保守切れ 　　・保守更新 or 機器更新 　　・あるベンダーの機器が保守更新不可＆機器更新不可 ストレージの EoL が OpenStack の EoL に直結してしまう 10
11. 機器のライフサイクル (2) ・ストレージ 　・保守切れ 　　・保守更新 or 機器更新 　　・あるベンダーの機器が保守更新不可＆機器更新不可 ストレージの EoL が OpenStack の EoL に直結してしまう OpenStack のストレージマイグレーションが必要に 11
12. OpenStack のストレージ マイグレーションの方法 12
13. ストレージマイグレーションの方法 パッと思いつくのは下記の2パターン ・cinder retype ・OpenStack 外からバックエンドストレージ移行 -> DB 更新 13
14. cinder retype ・OpenStack にはバックエンドストレージを変更するための 　仕組みがある（openstack CLI は未対応） ・この仕組みを使うと cinder でいい感じに volume を 　マイグレーションしてくれる（dd） $ cinder retype $SRC_VOL_UUID $DST_TYPE 14
15. cinder retype ・OpenStack にはバックエンドストレージを変更するための 　仕組みがある（openstack CLI は未対応） ・この仕組みを使うと cinder でいい感じに volume を 　マイグレーションしてくれる（dd） $ cinder retype $SRC_VOL_UUID $DST_TYPE →今回の環境ではベンダー固有の extra_spec が設定されており不可 15
16. OpenStack 外からバックエンドストレージ移行 ・cinder retype ができない場合はこの手法が有効 　・e.g. extra_spec が設定されている ・cons: 　・システムを実装する必要がある 16
17. OpenStack Migration System Overview storage A
 storage B
 migration
 Agent
 migration
 DB
 migration
 UI
 migration
 API
 cinder-volume
 A driver
 B driver
 OpenStack
 DB
 Migration Manager 17
18. OpenStack volume migration (1) storage A
 storage B
 migration
 Agent
 migration
 DB
 migration
 UI
 migration
 API
 cinder-volume
 A driver
 B driver
 OpenStack
 DB
 migration request polling 18
19. OpenStack volume migration (2) storage A
 storage B
 migration
 Agent
 migration
 DB
 migration
 UI
 migration
 API
 cinder-volume
 A driver
 B driver
 OpenStack
 DB
 mount volume create / mount 19
20. OpenStack volume migration (2) storage A
 storage B
 migration
 Agent
 migration
 DB
 migration
 UI
 migration
 API
 cinder-volume
 A driver
 B driver
 OpenStack
 DB
 mount volume create / mount dd 20
21. OpenStack volume migration (3) storage A
 storage B
 migration
 Agent
 migration
 DB
 migration
 UI
 migration
 API
 cinder-volume
 A driver
 B driver
 OpenStack
 DB
 done update volume info update connection info 21
22. OpenStack volume migration (3) storage A
 storage B
 migration
 Agent
 migration
 DB
 migration
 UI
 migration
 API
 cinder-volume
 A driver
 B driver
 OpenStack
 DB
 done update volume info update connection info 上手く移行できそうであったが… 22
23. 直面した課題 ・Terraform の大規模利用ユーザが存在 ・Terraform で cinder boot 、その中で volume_type を指定 　・Terraform は実行時にリソースの状態を見て 　　正しい状態になるように動作する 　・Terraform の実行によって移行した volume が再作成 　　-> データロスト 😇 23
24. OpenStack カスタムドライバ + 移行システム 24
25. カスタムドライバ ・ベンダ A/B 両方のストレージを操作できるドライバを作成 　・移行前／移行後の volume を操作 ・cinder の volume_type はそのまま 　・Terraform による volume の再作成が発生しない 25
26. OpenStack （再掲）Migration System Overview storage A
 storage B
 migration
 Agent
 migration
 DB
 migration
 UI
 migration
 API
 cinder-volume
 A driver
 B driver
 OpenStack
 DB
 Migration Manager 26
27. OpenStack Migration System with Custom Driver storage A
 storage B
 migration
 Agent
 migration
 DB
 migration
 UI
 migration
 API
 cinder-volume
 A driver
 B driver
 OpenStack
 DB
 Migration Manager custom driver
 OpenStack カスタムドライバ 27
28. OpenStack volume migration storage A
 storage B
 migration
 Agent
 migration
 DB
 migration
 UI
 migration
 API
 cinder-volume
 A driver
 B driver
 OpenStack
 DB
 custom driver
 migration request polling mount volume create / mount dd update volume info update connection info 28
29. OpenStack storage A へのリクエスト storage A
 storage B
 migration
 Agent
 migration
 DB
 migration
 UI
 migration
 API
 cinder-volume
 A driver
 B driver
 OpenStack
 DB
 custom driver
 1. cinder volume hoge 4. storage A へ命令 29 2. A/Bどちらに存在するか確認 3. A driver を呼び出し
30. OpenStack storage B へのリクエスト storage A
 storage B
 migration
 Agent
 migration
 DB
 migration
 UI
 migration
 API
 cinder-volume
 A driver
 B driver
 OpenStack
 DB
 custom driver
 1. cinder volume hoge 4. storage B へ命令 30 2. A/Bどちらに存在するか確認 3. B driver を呼び出し
31. OpenStack storage B へのリクエスト storage A
 storage B
 migration
 Agent
 migration
 DB
 migration
 UI
 migration
 API
 cinder-volume
 A driver
 B driver
 OpenStack
 DB
 custom driver
 1. cinder volume hoge 4. storage B へ命令 31 2. A/Bどちらに存在するか確認 3. B driver を呼び出し OpenStack を騙すことで volume_type 問題を解決
32. まとめ 32
33. まとめ ・ストレージの EoL が OpenStack の EoL になりうる ・OpenStack にはストレージマイグレーション機能がある ・Terraform で cinder を扱う場合は注意する ・CA ではストレージマイグレーションを 　移行システムとカスタムドライバで解決した 33
34. EOP 34