Upgrade to Pro — share decks privately, control downloads, hide ads and more …

プロダクショングレードストレージシステム on Kubernetes

プロダクショングレードストレージシステム on Kubernetes

以下イベントの発表スライドです。

https://cndata.connpass.com/event/219690/

Satoru Takeuchi

September 17, 2021
Tweet

More Decks by Satoru Takeuchi

Other Decks in Technology

Transcript

  1. 高速ローカルブロックストレージ ▌以下要件を満たす既存ソフトが無かった ⚫ローカルストレージ用 ⚫Dynamic volume provisioning ⚫Topology/capacity aware scheduling ⚫

    空き容量がもっとも多いノードにPVCを使うPodをスケジュール ▌TopoLVMというCSIドライバを自作 ▌可用性やデータの冗長性などはアプリが担保 9
  2. Cephのアーキテクチャ(簡略版) 11 アプリ ストレージプール Ceph node disk disk node disk

    disk node disk disk … ブロックデバイス オブジェクト ブロックデバイス ブロックデバイス オブジェクト オブジェクトストレージ アプリ アプリ OSD OSD OSD OSD OSD OSD
  3. Rook Rookのアーキテクチャ(簡略版) 13 アプリ ストレージプール Ceph node disk disk node

    disk disk node disk disk … ブロックデバイス オブジェクト ブロックデバイス ブロックデバイス オブジェクト オブジェクトストレージ アプリ アプリ OSD OSD OSD OSD OSD OSD PV PV PV PV PV PV PV PVC Object Bucket Claim(OBC) Object Bucket(OB) PV PV PVC CSIドライバが管理
  4. Cephのオブジェクトストレージの使い方 ▌Bucketを使うためのCustomResourceを書く 16 kind: ObjectBucketClaim metadata: name: test-object-bucket namespace: default

    spec: generateBucketName: test-object-bucket storageClassName: ceph-bucket kind: Pod metadata: name: app-pod spec: containers: - name: foo envFrom: - configMapRef: name: test-object-bucket - secretRef: name: test-object-bucket • 今後はK8sの公式Container Object Storage Interfaceを使うように変更される見込み • COSIはK8s v1.23でのalphaサポートを目標に開発中 Bucketにアクセスする ための情報が入っている
  5. インフラ基盤のハードウェア構成 ▌2種のサーバを詰めたラックを並べる 17 rack CS SS SS rack CS CS

    SS rack CS CS SS SS … CS SS • Computing Server • 全サービスが使う • ストレージはNVMe SSD • Storage Server • Ceph専用 • ストレージはHDD CS SS
  6. ストレージシステムの構成 18 Rook/Cephクラスタ Rook/Cephクラスタ オブジェクトストレージ ブロックストレージ HDD SS CS SSD

    HDD HDD SSD NVMe SSD LogicalVolume LogicalVolume LogicalVolume LogicalVolume LogicalVolume LogicalVolume TopoLVMが管理 OB PV PV PV アプリ アプリ アプリ PVC PVC OBC PV VolumeGroup
  7. ▌CephCluster Custom Resource(CR)を書く 19 Rook/Cephクラスタの管理 storage: … count: 3 volumeClaimTemplates:

    - spec: resources: requests: storage: 1Ti storageClassName: <storageclass-name> OSD用PVCのテンプレート OSDの数 • Cluster on HDD • local-storage storage classを指定 • クラスタ on NVMe SSD • topolvm-provisioner storage classを指定
  8. ▌管理者がcountフィールドを増やすだけ ▌後はRookなどが勝手にやってくれる 1. RookがOSD用PVCを作る ⚫ クラスタ on HDD: 対応するPVがすでに存在している ⚫

    クラスタ on NVMe: 対応するPVはTopoLVMが動的に作成 2. RookがPV上にOSDのデータ構造を作る 3. RookがOSDをクラスタに組み込む 20 Cephクラスタの拡張