Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Kube Con EU 2021 recap ~ Rook Intro & Ceph Deep...

Kube Con EU 2021 recap ~ Rook Intro & Ceph Deep Dive

以下イベントの発表資料です。
https://k8sjp.connpass.com/event/211349/

Satoru Takeuchi

May 20, 2021
Tweet

More Decks by Satoru Takeuchi

Other Decks in Technology

Transcript

  1. 4

  2. 5

  3. 6

  4. 7

  5. 9

  6. Cephのアーキテクチャ 10 アプリ ストレージプール Cephクラスタ node disk disk node disk

    disk node disk disk … ブロックデバイス オブジェクト ブロックデバイス ブロックストレージ オブジェクト ファイルシステム アプリ アプリ ブロックデバイス ブロックデバイス オブジェクトストレージ OSD OSD OSD OSD OSD OSD Cephのデータ領域 &管理デーモン
  7. K8sクラスタ Rookのアーキテクチャ 11 アプリ ストレージプール Cephクラスタ node disk disk node

    disk disk node disk disk … ブロックデバイス オブジェクト ブロックデバイス ブロックストレージ オブジェクト ファイルシステム アプリ アプリ(Pod) ブロックデバイス ブロックデバイス オブジェクトストレージ OSD pod OSD OSD pod OSD OSD pod OSD OSD pod OSD OSD pod OSD OSD pod OSD Ceph-csiドライバ lib-bucket-provisioner Rook PV,PVC OB,OBC
  8. K8sクラスタ Rookのアーキテクチャ 12 アプリ ストレージプール Cephクラスタ node disk disk node

    disk disk node disk disk … ブロックデバイス オブジェクト ブロックデバイス ブロックストレージ オブジェクト ファイルシステム アプリ アプリ(Pod) ブロックデバイス ブロックデバイス オブジェクトストレージ OSD pod OSD OSD pod OSD OSD pod OSD OSD pod OSD OSD pod OSD OSD pod OSD Ceph-csiドライバ lib-bucket-provisioner Rook PV,PVC OB,OBC 📝 K8s v1.22 + Rook v1.7(次期安定版)では Container Objest Storage Interface(COSI)を サポート予定
  9. 13

  10. 14

  11. PVC-based clusterの課題 ▌K8sでは通常podのスケジュール先は不定 ▌例: 2node, 4disk, OSD数2, データのレプリカ数2 16 node0

    disk disk 望ましくない配置(node0障害で全データ喪失) 望ましい配置(1node失ってもデータは残る) OSD Pod PVC OSD OSD Pod PVC OSD node1 disk disk node1 disk disk OSD Pod PVC OSD node0 disk disk OSD Pod PVC OSD
  12. TopologySpreadConstraints(TSC) ▌Kubernetesの機能 ▌所定のドメイン間でPodを均等分散配置 17 apiVersion: v1 kind: Pod metadata: name:

    mypod spec: topologySpreadConstraints: - topologyKey: topology.Kubernetes.io/zone Podを分散させるべきドメイン apiVersion: v1 kind: Node metadata: name: mynode topology.Kubernetes.io/zone: myrack Nodeごとにドメインを設定
  13. 完成予想図 23 K8sクラスタ リモート K8sクラスタ * 左図と 同様の構成 レプリケーション Rook/CephクラスタA

    Rook/CephクラスタB アプリ アプリ アプリ オブジェクト ストレージ ブロック ストレージ ブロック ストレージ HDD node node SSD HDD HDD SSD NVMe SSD
  14. 現状 24 K8sクラスタ レプリケーション 監視ツール& ログ基盤 Rook/CephクラスタA Rook/CephクラスタB アプリ アプリ

    アプリ オブジェクト ストレージ ブロック ストレージ ブロック ストレージ 現行インフラ リモート K8sクラスタ * 左図と 同様の構成 HDD node node SSD HDD HDD SSD NVMe SSD