Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Kube Con EU 2021 recap ~ Rook Intro & Ceph Deep Dive

842515eaf8fbb2dfcc75197e7797dc15?s=47 Satoru Takeuchi
May 20, 2021
Technology
0
840

Kube Con EU 2021 recap ~ Rook Intro & Ceph Deep Dive

以下イベントの発表資料です。
https://k8sjp.connpass.com/event/211349/

842515eaf8fbb2dfcc75197e7797dc15?s=128

Satoru Takeuchi

May 20, 2021
Tweet

More Decks by Satoru Takeuchi

See All by Satoru Takeuchi
842515eaf8fbb2dfcc75197e7797dc15?s=48 sat
0
180
842515eaf8fbb2dfcc75197e7797dc15?s=48 sat
2
340
842515eaf8fbb2dfcc75197e7797dc15?s=48 sat
0
28
842515eaf8fbb2dfcc75197e7797dc15?s=48 sat
0
18
842515eaf8fbb2dfcc75197e7797dc15?s=48 sat
1
3.6k
842515eaf8fbb2dfcc75197e7797dc15?s=48 sat
0
14
842515eaf8fbb2dfcc75197e7797dc15?s=48 sat
1
270
842515eaf8fbb2dfcc75197e7797dc15?s=48 sat
0
120
842515eaf8fbb2dfcc75197e7797dc15?s=48 sat
0
190

Other Decks in Technology

See All in Technology
Ea6f48942c1e74ed0c78250321b124f9?s=48 dhamuharker
0
540
Cd931bc05e7cee46b9a950a63e47ba4c?s=48 you
0
220
F40e385e485eafaed67850df08b122d0?s=48 mashiike
0
120
B79e8f240b4b730fb692ab93ad42a89b?s=48 darquro
2
320
1dceaa2dcea41c16004f430c1723b20e?s=48 miso
0
200
6ddc65998177a0f05be629dc31321a8f?s=48 kken78
0
350
1ec68e792f99c958b8ffbd0aadaa182a?s=48 ikkou
0
290
6500a96a5f0786d7ff0c53429d691ae6?s=48 kazuhiro4949
2
370
De96bf5df1407e8c7b22a970c265c809?s=48 kazushieguchi
0
1.7k
C4221ba79492601eb59a9ef5d4f4bbaa?s=48 nakamuuu
3
340
63bf22db8ab8da3851da34d2e0cb0c69?s=48 imairi
18
7.7k
A6eac912214bea58f22ef8d33137eca1?s=48 kongou_ae
0
350

Featured

See All Featured
44b54d2ffcb7857004071cc6795dde11?s=48 cassininazir
350
20k
864a009ac73600c7c02e1f26629dd989?s=48 paigeccino
0
110
F68cb25ae3e5c2106997454b13b7737d?s=48 brad_frost
162
6.8k
170b760e0147792d0140e59ec78e9893?s=48 eitanlees
119
11k
C0390e8b11079f8761c0cd3274ed61cb?s=48 productmarketing
11
1.1k
20bfe76b3d6105641f879fe45cfc9272?s=48 bkeepers
PRO
414
58k
E76911cbe088e5b850d966de3fc7435b?s=48 robhawkes
55
3k
Ef32e0b1ac5082450dc8c1fca3a26b5c?s=48 cherdarchuk
77
270k
8ec1383b240b5ba15ffb9743fceb3c0e?s=48 philnash
20
1k
D83926c323d4f9289f947b4b4e76b939?s=48 jensimmons
209
11k
9cde37f47e4a800ea081ea42de8d749a?s=48 dougneiner
122
8.2k
A415db3ac9e9668acbc1fb36eead84ac?s=48 mthomps
44
2.5k

Transcript

  1. KubeCon EU 2021 Recap ～Rook Intro & Ceph Deep Dive～

    sat@Cybozu May 20th, 2021 1

  2. すすめかた 1. セッション紹介 2. サイボウズのRook/Cephクラスタ 2

  3. セッション紹介 3

  4. 4

  5. 5

  6. 6

  7. 7

  8. 8 • 📝コード全体のうち2/3以上がCephのもの • コミットもほとんどCephに対するもの • 📝 最新版(v1.6)でメンテされていない ストレージプロバイダが3つ削除された

  9. 9

  10. Cephのアーキテクチャ 10 アプリ ストレージプール Cephクラスタ node disk disk node disk

    disk node disk disk … ブロックデバイス オブジェクト ブロックデバイス ブロックストレージ オブジェクト ファイルシステム アプリ アプリ ブロックデバイス ブロックデバイス オブジェクトストレージ OSD OSD OSD OSD OSD OSD Cephのデータ領域 &管理デーモン

  11. K8sクラスタ Rookのアーキテクチャ 11 アプリ ストレージプール Cephクラスタ node disk disk node

    disk disk node disk disk … ブロックデバイス オブジェクト ブロックデバイス ブロックストレージ オブジェクト ファイルシステム アプリ アプリ(Pod) ブロックデバイス ブロックデバイス オブジェクトストレージ OSD pod OSD OSD pod OSD OSD pod OSD OSD pod OSD OSD pod OSD OSD pod OSD Ceph-csiドライバ lib-bucket-provisioner Rook PV,PVC OB,OBC

  12. K8sクラスタ Rookのアーキテクチャ 12 アプリ ストレージプール Cephクラスタ node disk disk node

    disk disk node disk disk … ブロックデバイス オブジェクト ブロックデバイス ブロックストレージ オブジェクト ファイルシステム アプリ アプリ(Pod) ブロックデバイス ブロックデバイス オブジェクトストレージ OSD pod OSD OSD pod OSD OSD pod OSD OSD pod OSD OSD pod OSD OSD pod OSD Ceph-csiドライバ lib-bucket-provisioner Rook PV,PVC OB,OBC 📝 K8s v1.22 + Rook v1.7(次期安定版)では Container Objest Storage Interface(COSI)を サポート予定

  13. 13

  14. 14

  15. 15 1. ユーザがCountを増やす 2. RookがOSD PodとPVCを作成 3. RookがPVC上にOSDを作る

  16. PVC-based clusterの課題 ▌K8sでは通常podのスケジュール先は不定 ▌例: 2node, 4disk, OSD数2, データのレプリカ数2 16 node0

    disk disk 望ましくない配置(node0障害で全データ喪失) 望ましい配置(1node失ってもデータは残る) OSD Pod PVC OSD OSD Pod PVC OSD node1 disk disk node1 disk disk OSD Pod PVC OSD node0 disk disk OSD Pod PVC OSD

  17. TopologySpreadConstraints(TSC) ▌Kubernetesの機能 ▌所定のドメイン間でPodを均等分散配置 17 apiVersion: v1 kind: Pod metadata: name:

    mypod spec: topologySpreadConstraints: - topologyKey: topology.Kubernetes.io/zone Podを分散させるべきドメイン apiVersion: v1 kind: Node metadata: name: mynode topology.Kubernetes.io/zone: myrack Nodeごとにドメインを設定

  18. TSCを使ったOSDの均等分散配置 ▌実現までの流れ 1. TSCによってOSD Podをドメイン間で均等分散配置 2. OSD Podが使うPVC、それに対応するOSDも同様 ▌他のストレージ on

    K8sにも使える技法 18 node2 disk disk OSD Pod PVC OSD node1 disk disk OSD Pod PVC OSD Kube-scheduler TSC

  19. サイボウズのRook/Cephクラスタ 19

  20. なぜRook/Cephなのか ▌機能要件を全て満たす ⚫スケーラブルな分散ストレージ ⚫ブロックストレージ、オブジェクトストレージ ⚫ラック障害時に運用継続可能、データロストなし ⚫宣言的に管理可能 ▌自分達で機能追加可能、有事の速やかな修正が可能 ⚫RookもCephもOSSなので、自前運用なら可能 ⚫📝 ストレージ障害はお客様及び自社の損害が大きい&取返し不可能

    20

  21. 社内Rook/Cephクラスタ開発方法 1. 検証&構築&実機上で運用 2. 課題が見つかればissue発行&必要あれば自分達で直す 3. 1に戻る 21

  22. これまでのRookへの貢献 ▌TSCのサポート ▌データ破壊問題の解決 ▌XFS on Cephブロックストレージ使用時の 問題検出&デフォルトfsの変更 ▌Disaster recovery手順改善 ▌バグ修正&テスト追加

    22

  23. 完成予想図 23 K8sクラスタ リモート K8sクラスタ * 左図と 同様の構成 レプリケーション Rook/CephクラスタA

    Rook/CephクラスタB アプリ アプリ アプリ オブジェクト ストレージ ブロック ストレージ ブロック ストレージ HDD node node SSD HDD HDD SSD NVMe SSD

  24. 現状 24 K8sクラスタ レプリケーション 監視ツール& ログ基盤 Rook/CephクラスタA Rook/CephクラスタB アプリ アプリ

    アプリ オブジェクト ストレージ ブロック ストレージ ブロック ストレージ 現行インフラ リモート K8sクラスタ * 左図と 同様の構成 HDD node node SSD HDD HDD SSD NVMe SSD

  25. 成熟度 ▌ユーザは制限付きでデータを置いてよい ⚫性能を気にしない ⚫長時間ダウンしても問題ない ▌毎週全サーバを順番に再起動しているが、 最近は問題が起きていない 25

  26. 今後 ▌性能チューニング&可用性を高める ▌機能追加 ⚫リモートレプリケーション ⚫スナップショット、バックアップ/リストア ▌既存データを(徐々に)移行 26

  27. 27 おわり ▌セッションのページ(スライド引用元) ⚫ https://kccnceu2021.sched.com/event/iE6R ▌Production-grade Deployment of PVC-based Rook/Ceph

    Cluster ⚫ https://blog.kintone.io/entry/2020/09/18/175030