Kubernetesの永続化ストレージ基礎

 Kubernetesの永続化ストレージ基礎

Rancher meetup #15で発表したKubernetesの永続化ストレージの必要性と基礎について説明した資料となります。

4631864606a93224804a49331d1a7dfd?s=128

Ryoma Fujiwara

October 18, 2018
Tweet

Transcript

  1. Kubernetesの 永続化ストレージ基礎 1

  2. ⾃⼰紹介 藤原 涼⾺ (@RYoMa_0923) インフラエンジニア Rancher JPコアメンバー 趣味 勉強会で⾊々喋る ⼦供と遊ぶ

    特技 無茶振り対応 いらすとや・ヒューマンピクトグラム2.0の酷使 2 (C)Ryoma Fujiwara, All rights reserved
  3. ⽬的 Kubernetesの永続化ボリュームの 必要性 と 基礎 について理解してもらう 3 (C)Ryoma Fujiwara, All

    rights reserved
  4. 注意 & 懸念事項 4 (C)Ryoma Fujiwara, All rights reserved

  5. 注意 & 懸念事項 5 (C)Ryoma Fujiwara, All rights reserved これの品質

  6. 注意 & 懸念事項 6 (C)Ryoma Fujiwara, All rights reserved これの品質

    ⾷物アレルギーで 3⽇前に救急搬送 されてる(ry
  7. まあ、あれだ。 7 (C)Ryoma Fujiwara, All rights reserved

  8. まあ、あれだ。 まさか33もなって ⾷物アレルギー(きくらげ) 追加されるとは思わな かったよ & 現代医療は偉⼤ & お医者さんありがとう 8

    (C)Ryoma Fujiwara, All rights reserved
  9. 9 (C)Ryoma Fujiwara, All rights reserved 間違いの指摘歓迎

  10. 最初に 10 (C)Ryoma Fujiwara, All rights reserved 買った⼈?

  11. 最初に 11 (C)Ryoma Fujiwara, All rights reserved 買ってない⼈は 使う予定があるなら ひとまず買いましょう

  12. 最初に 12 (C)Ryoma Fujiwara, All rights reserved 7.5 PersistentVolumeClaim 〜

    7.9 volumeMountsで利⽤可能なオプション をひととおり理解している⼈ ノシ
  13. 最初に 13 (C)Ryoma Fujiwara, All rights reserved あまり追加情報はないですが、 何かしら持って帰って もらえるように頑張ります

  14. ⽬的 Kubernetesの永続化ボリュームの 必要性 と 基礎 について理解してもらう 14 (C)Ryoma Fujiwara, All

    rights reserved
  15. ⽬的 Kubernetesの永続化ボリュームの 必要性 と 基礎 について理解してもらう 15 (C)Ryoma Fujiwara, All

    rights reserved その前に
  16. その前にVolumeについておさらい 永続化ボリュームについて理解してもらう前にVolumeに ついてざっくりおさらい 16 (C)Ryoma Fujiwara, All rights reserved Volume

    PersistentVolume + PersistentVolumeClaim
  17. その前にVolumeについておさらい 永続化ボリュームについて理解してもらう前にVolumeに ついてざっくりおさらい 17 (C)Ryoma Fujiwara, All rights reserved Volume

    PersistentVolume + PersistentVolumeClaim Volumeの課題感がわかれば PersistentVolumeの意義もわかるはず
  18. Volume コンテナにマウントできる(そりゃそうだ) 18 (C)Ryoma Fujiwara, All rights reserved apiVersion: v1

    kind: Pod metadata: name: sample-pod spec: containers: - image: nginx:1.12 name: sample-container volumeMounts: - mountPath: /opt name: sample-volume volumes: - name: sample-volume emptyDir: {} sample-pod sample-container sample-volume (/optにマウント)
  19. Volumeの種類 Volumeはプラグインを介していろいろ実装できる 19 (C)Ryoma Fujiwara, All rights reserved https://kubernetes.io/docs/concepts/storage/volumes/#types-of-volumes

  20. Volumeの種類 emptyDir と hostPath Volumeといえばこの2つ 20 (C)Ryoma Fujiwara, All rights

    reserved https://kubernetes.io/docs/concepts/storage/volumes/#types-of-volumes いや、違うね!という⽅にはごめんなさい
  21. emptyDir Pod⽤の⼀時的なディスク領域を準備してPodにマウント する。 21 (C)Ryoma Fujiwara, All rights reserved apiVersion:

    v1 kind: Pod metadata: name: sample-pod spec: containers: - image: nginx:1.12 name: sample-container volumeMounts: - mountPath: /opt name: sample-volume volumes: - name: sample-volume emptyDir: {} sample-pod sample-container sample-volume (/optにマウント)
  22. emptyDir Podを削除するとVolumeも消える 22 (C)Ryoma Fujiwara, All rights reserved $ kubectl

    delete pod/sample-pod - ( - ( ) ) - ( /( ίϯςφ΋ ϘϦϡʔϜ΋ શͯফ͑Δ
  23. emptyDirの使い道の例 単⼀Pod、複数コンテナ時にコンテナ間の ファイル連携などに主に利⽤する 23 (C)Ryoma Fujiwara, All rights reserved apiVersion:

    v1 kind: Pod metadata: name: sample-pod spec: containers: - image: updater:1.12 name: updater-container volumeMounts: - mountPath: /opt name: comb-volume - image: update_checker:1.12 name: update-check-container volumeMounts: - mountPath: /mnt name: comb-volume volumes: - name: comb-volume emptyDir: {} sample-pod comb-volume updater-container update-check -container /mnt /opt
  24. emptyDirの使い道の例 単⼀Pod、複数コンテナ時にコンテナ間の ファイル連携などに主に利⽤する 24 (C)Ryoma Fujiwara, All rights reserved sample-pod

    comb-volume updater-container update-check -container なにがしか ファイルに書き込む ファイルの更新を 検知して何かする e.g. Amazon S3にアップロードなど
  25. hostPath Kubernetesのノード(≒dockerホスト)のディスク領域を コンテナにマウントする 25 (C)Ryoma Fujiwara, All rights reserved apiVersion:

    v1 kind: Pod metadata: name: sample-pod spec: containers: - image: nginx:1.12 name: sample-container volumeMounts: - mountPath: /mnt name: sample-volume volumes: - name: sample-volume hostPath: path: /opt type: DirectoryOrCreate sample-container sample-volume KubernetesのNode /opt /mnt sample-pod k8sのノードの/optをsample-volume として切り出し、sample-containerは これを/mntにマウント
  26. hostPathの使い道(例) なにかしらの理由があってKubernetesのノード側に ファイルを出⼒したい場合に利⽤する 26 (C)Ryoma Fujiwara, All rights reserved sample-container

    sample-volume KubernetesのNode /opt /mnt sample-pod
  27. Kubernetesの永続化ボリュームの 必要性 と 基礎 について理解してもらう 27 (C)Ryoma Fujiwara, All rights

    reserved
  28. 1台構成のKubernetesクラスタの世界 28 (C)Ryoma Fujiwara, All rights reserved

  29. 1台構成 + MySQL 1台構成のKubernetesクラスタ + MySQL を考える 29 (C)Ryoma Fujiwara,

    All rights reserved
  30. 1台構成+MySQL+emptyDir 1台構成のKubernetesクラスタ + MySQL + emptyDir 30 (C)Ryoma Fujiwara, All

    rights reserved (Volume) emptyDir Podを消すとVolumeも消える
  31. 1台構成+MySQL+emptyDir 1台構成のKubernetesクラスタ + MySQL + emptyDir 31 (C)Ryoma Fujiwara, All

    rights reserved (Volume) emptyDir DBとして基本的にはNG (意図的に消えて欲しい場合は別)
  32. 1台構成 + MySQL + hostPath 1台構成のKubernetes + MySQL + hostPath

    32 (C)Ryoma Fujiwara, All rights reserved (Volume) hostPath よさげ
  33. 1台構成 + MySQL + hostPath 1台構成のKubernetes + 複数MySQL + hostPath

    33 (C)Ryoma Fujiwara, All rights reserved (Volume) hostPath 複数のMySQLが同じデータファイルを ⾒てしまう可能性⼤(hostPathの管理が超煩雑に) やっぱりダメだったよ…
  34. 複数台構成+MySQL+emptyDir or hostPath 複数台構成のKubernetesクラスタ + MySQL + emptyDir or hostPath

    34 (C)Ryoma Fujiwara, All rights reserved (Volume) emptyDir or hostPath
  35. 複数台構成+MySQL+emptyDir 複数台構成のKubernetesクラスタ + MySQL + hostPath 35 (C)Ryoma Fujiwara, All

    rights reserved NodeA NodeB NodeC
  36. 複数台構成+MySQL+emptyDir 複数台構成のKubernetesクラスタ + MySQL + hostPath 36 (C)Ryoma Fujiwara, All

    rights reserved NodeA NodeB NodeC 起動するたびにデータファイル があったりなかったりなんですが… (期待したデータで起動できたりできなかったり……)
  37. 複数台構成+MySQL+emptyDir 複数台構成のKubernetesクラスタ + MySQL + hostPath 37 (C)Ryoma Fujiwara, All

    rights reserved NodeA NodeB NodeC NodeAで起動した時だけ うまくいきます
  38. 複数台構成+MySQL+emptyDir 複数台構成のKubernetesクラスタ + MySQL + hostPath 38 (C)Ryoma Fujiwara, All

    rights reserved NodeA NodeB NodeC NodeAで起動した時だけ うまくいきます DBの正常起動ガチャはふつうやらない (nodeSelectorで頑張れば⽴ち上がるNodeの固定も可能だがあまりしない)
  39. PersistentVolumeの意義 ここまでで出てきた課題への解決策が Persistent (永続的な) Volume (ボリューム) 39 (C)Ryoma Fujiwara, All

    rights reserved
  40. Kubernetes Nodeとボリュームを (可能な限り)疎な関係にする ※ネットワーク経由のボリュームを使うのが⼀般的 40 (C)Ryoma Fujiwara, All rights reserved

    PersistentVolume Kubernetes Node 疎
  41. 結果、どのNodeで起動しても期待した データファイルが得られる 41 (C)Ryoma Fujiwara, All rights reserved PersistentVolume Kubernetes

    Nodes どのNodeで起動しても期待した データファイルがあります!感激! ちゃんと ”永続化”できてる
  42. Kubernetesの永続化ボリュームの 必要性 と 基礎 について理解してもらう 42 (C)Ryoma Fujiwara, All rights

    reserved
  43. PersistentVolumeの作成 • 名前(オプション) • ラベル • アクセスモード • リクレイムポリシー •

    ストレージクラス名 43 (C)Ryoma Fujiwara, All rights reserved apiVersion: v1 kind: PersistentVolume metadata: name: sample-volume labels: type: longhorn-pv environment: dev spec: accessModes: - ReadWriteOnce capacity: storage: 8Gi storageClassName: longhorn persistentVolumeReclaimPolicy: Delete
  44. PersistentVolumeの作成 & 構成要素 • 名前 • ラベル • アクセスモード •

    容量 • リクレイムポリシー • ストレージクラス名 44 (C)Ryoma Fujiwara, All rights reserved apiVersion: v1 kind: PersistentVolume metadata: name: sample-pv-volume labels: type: longhorn-pv environment: dev spec: accessModes: - ReadWriteOnce capacity: storage: 8Gi persistentVolumeReclaimPolicy: Delete storageClassName: longhorn ここには出てないものもあるので注意
  45. PersistentVolumeの作成 • 名前 : ⽂字通り • ラベル : PersistentVolumeの分類・識別⼦ •

    アクセスモード : 別途説明 • 容量 : ボリュームの容量 • リクレイムポリシー: 別途説明(ボリューム再利⽤時の挙動) • ストレージクラス名: どのストレージを使うか 45 (C)Ryoma Fujiwara, All rights reserved
  46. アクセスモード 3種類ある 46 (C)Ryoma Fujiwara, All rights reserved ① ReadWriteOnce:

    単⼀のPodからのみ読み書き可能 ② ReadOnlyMany: 複数のPodからの読み取りアクセスのみ可能 ③ ReadWriteMany: 複数のPodからの読み書きアクセスが可能 PersistentVolume PodA PodB PersistentVolume PodA PodB PersistentVolume PodA PodB
  47. アクセスモード 3種類ある 47 (C)Ryoma Fujiwara, All rights reserved ① ReadWriteOnce:

    単⼀のPodからのみ読み書き可能 ② ReadOnlyMany: 複数のPodからの読み取りアクセスのみ可能 ③ ReadWriteMany: 複数のPodからの読み書きアクセスが可能 PersistentVolume PodA PodB PersistentVolume PodA PodB PersistentVolume PodA PodB どのaccessModeが使えるかは、 ボリュームプラグイン次第 https://kubernetes.io/docs/concepts/storage/persistent-volumes/#access-modes
  48. リクレイムポリシー PersistentVolumeの利⽤が完了 (=PersistentVolumeClaimが削除された) した際の挙動 48 (C)Ryoma Fujiwara, All rights reserved

    ① Delete ② Retain ③ Recycle(⾮推奨なので説明しない) PersistentVolumeClaim の削除 PersistentVolume の削除 PersistentVolumeClaim の削除 PersistentVolume の削除 ボリュームはそのまま残る ボリュームは消える データも消える
  49. ストレージクラス名 ストレージクラスを指定することで、 ストレージクラスに対応したprovisionerを介してどのボ リュームプラグインを使ってPersistentVolumeをプロビ ジョニングするかが定まる 49 (C)Ryoma Fujiwara, All rights

    reserved StorageClass provisioner Volume Plugin PersistentVolume プロビジョニング
  50. どうやって作成したPersistentVolumeを使う? 50 (C)Ryoma Fujiwara, All rights reserved

  51. どうやって作成したPersistentVolumeを使う? 51 (C)Ryoma Fujiwara, All rights reserved PersistentVolumeClaim

  52. PersistentVolumeClaim PersistentVolumeの所有権を主張して割り当ててもらう 52 (C)Ryoma Fujiwara, All rights reserved https://eikaiwa.dmm.com/blog/21699/ Claim

    = 権利(ここでは所有権) を主張する
  53. 何を主張するか 53 (C)Ryoma Fujiwara, All rights reserved ラベルが〜〜〜(ラベルセレクタ) で 容量がxxxx、

    かつ アクセスモードがyyyy、 で ストレージクラスがzzzz な PersistentVolume をよこせ kind: PersistentVolumeClaim apiVersion: v1 metadata: name: sample-pvc spec: selector: matchLabels: type: "nfs” matchExpressions: - {key: environment, operator: In, values: [stg]} accessModes: - ReadWriteOnce resources: requests: storage: 4Gi storageClassName: longhorn この要求をsample-pvcとする! https://thinkit.co.jp/article/14195?page=0%2C1 ͔ΒҾ༻
  54. Podへのボリュームのマウント 54 (C)Ryoma Fujiwara, All rights reserved 先ほどの主張 (sample-pvc)で得られた ボリュームにnginx-pvcの

    名前を与え①、 sample-pvc-podの nginx-containerに マウント②せよ https://thinkit.co.jp/article/14195?page=0%2C1 ͔ΒҾ༻ apiVersion: v1 kind: Pod metadata: name: sample-pvc-pod spec: containers: - name: nginx-container image: nginx ports: - containerPort: 80 name: "http” volumeMounts: - mountPath: "/usr/share/nginx/html" name: nginx-pvc volumes: - name: nginx-pvc persistentVolumeClaim: claimName: sample-pvc ① ②
  55. ざっくりと定義の流れをまとめ 55 (C)Ryoma Fujiwara, All rights reserved PersistentVolume Persistent VolumeClaim

    volumes container Podఆٛ
  56. (補⾜)Dynamic Provisioningやリサイズ PersistentVolumeClaimのみで動的にプロビジョニングし たり、PersistentVolumeをリサイズしたりもできますがこ のあたりは書籍・他資料を参照してください 56 (C)Ryoma Fujiwara, All rights

    reserved https://speakerdeck.com/masayaaoyama/cndjp8-pvcr 書籍 他資料 https://speakerdeck.com/hhiroshell/kubernetesbiao-zhun- falsesutoreziji-neng-woosaraisiyou
  57. ……あれ? 57 (C)Ryoma Fujiwara, All rights reserved

  58. Rancherではどうなのよ? 58

  59. 59

  60. できないとでも? 60

  61. もちろんできますとも ただし、事前にストレージの準備等は必要 ボリュームの⼀覧 61 (C)Ryoma Fujiwara, All rights reserved

  62. もちろんできますとも 作成(動的プロビジョニング) 62 (C)Ryoma Fujiwara, All rights reserved

  63. もちろんできますとも !? 63 (C)Ryoma Fujiwara, All rights reserved

  64. もちろんできますとも 作成(動的プロビジョニング) 64 (C)Ryoma Fujiwara, All rights reserved

  65. もちろんできますとも ボリュームできた 65 (C)Ryoma Fujiwara, All rights reserved

  66. Enjoy! 66