カンタンお手軽？！k8sから使えるラズパイ分散ストレージ / Raspberry Pi distributed storage from k8s

Transcript

1. カンタンお手軽？！K8s から使えるラ
   ズパイ分散ストレージ
   K8s@home #1 LT
   2022/10/12
   

   View Slide

2. 自己紹介
   ・ののし
   (@nnstt1)
   ・自動化が好き
   ・息子たちが大好き
   CKS/Professional/Expert 取りたいなぁ
   

   View Slide

3. 自宅ラボ構成
   ・仮想化基盤
   (Proxmox VE)
   に
   K8s
   やその他サーバを構築
   ・
   K8s
   は
   kubeadm
   を使ったノーマル構成
   ・ラズパイに分散ストレージ
   Ceph
   を構築して
   K8s
   の
   Rook
   から利用
   ・主にこちらをお話しします
   Proxmox VE
   Ceph
   DNS
   K8s LB
   ルータ
   ラボネットワーク
   自宅ネットワーク
   

   View Slide

4. 自宅ラボ構成
   ・仮想化基盤は
   NUC
   と
   DeskMini
   の
   2
   台構成
   ・
   Ceph
   はラズパイ
   3
   台構成
   & PoE
   スイッチから電源供給
   物理構成
   NUC DeskMini
   ラズパイ#1 ラズパイ#2 ラズパイ#3
   PoE スイッチ
   Cisco 891FJ
   

   View Slide

5. 自宅ラボ構成
   ・なるべく棚１段で収まる規模で
   NUC11PAHi5
   DeskMini A300
   NETGEAR
   GS305P
   ラズパイ
   Cisco 891FJ
   空冷
   

   View Slide

6. 　　Raspberry Pi とは
   ・
   ARM
   プロセッサを搭載したシングルボードコンピュータ
   ・通称「ラズパイ」
   ・
   Kubernetes
   クラスタ構築も可能
   ・自宅ラボでは
   Raspberry Pi 4 Model B (Mem: 4GB)
   を利用
   ・最近は入手困難らしい
   

   View Slide

7. 　　Ceph とは
   ・オープンソースの分散ストレージ
   ・ブロックストレージ、ファイルストレージ、オブジェクトストレージを提供
   ・
   OSD
   がストレージデバイスを管理
   

   View Slide

8. 　　Rook とは
   ・クラウドネイティブなストレージオーケストレーター
   ・
   K8s
   上で
   Ceph
   を管理するオペレーターを展開
   ・
   External Cluster
   という機能で
   K8s
   クラスタ外の
   Ceph
   も利用可能
   

   View Slide

9. なんで ラズパイ ✕ Ceph ？
   ・
   K8s
   勉強のため自宅ラボ構築
   ・
   Rook/Ceph
   で
   StorageClass
   を用意
   ・よくクラスタを壊すのでストレージも消える
   ・そもそも
   Ceph
   が分からない
   ・クラスタ外にストレージを作ろう、ついでに
   Ceph
   も勉強しよう
   ・ストレージは物理で用意したいよね（浪漫）
   ・でもあまり💰は掛けたくない
   ラズパイ
   Ceph
   爆誕
   K8s
   はどうした
   🤔自宅 K8s クラスタのストレージはどうしてますか？
   Synology が CSI ドライバ公開してて便利そう
   

   View Slide

10. ラズパイ Ceph の作り方
    1. ARM
    向け
    OS
    イメージを
    MicroSD
    カードに焼く
    2. MicroSD
    をラズパイに挿して起動
    3. Cephadm
    を使ってクラスタ作成
    ○
    Cephadm
    については
    Japan Rook Meetup #5
    でお話ししています（宣伝）
    とてもカンタン！
    

    View Slide

11. K8s から Ceph を使う
    1. K8s
    に
    Rook
    インストール
    2. Ceph
    で認証情報を作成
    /
    取得するスクリプト実行
    3. External Cluster
    用リソースデプロイ
    とてもお手軽！
    K8s に関連するページはここだけかも ……
    

    View Slide

12. ラズパイ Ceph の注意点
    ラズパイを使ったことでいくつかトラブルがあったので紹介します。
    （時間なくなったら省略します）
    

    View Slide

13. Ceph がラズパイに対応してなかった
    ・
    OSD
    が起動してもすぐ落ちる
    ・
    ceph-volume
    が
    /dev/root
    を想定していない
    ・データストア
    (filestore/bluestore)
    を選択できなくてコケる
    ・最新版
    Ceph
    では修正済みの事象
    ・ラズパイで動くことを想定していないバグがあったりする
    

    View Slide

14. USB-SATAケーブルの相性問題
    ・
    SSD
    を
    USB-SATA
    ケーブルでラズパイに接続
    ・
    SSD
    を認識しなくなるエラーが多発
    ・ラズパイと相性が悪い
    USB-SATA
    ケーブルだった
    ・実績のあるケーブルに変えることで安定
    ・こちらのサイトに助けられました
    　　
    Best Working SSD / Storage Adapters for Raspberry Pi 4 / 400
    　　https://jamesachambers.com/best-ssd-storage-adapters-for-raspberry-pi-4-400/
    ・ケーブル全とっかえ😇～💸
    

    View Slide

15. ・
    SSD
    を
    1
    台
    /
    ラズパイ で運用
    ・もっと
    OSD
    が欲しい
    ……
    →
    SSD
    を
    2
    台
    /
    ラズパイ に増やす
    ・電力不足発生
    → ラズパイは
    USB type-c
    で
    15W
    供給
    ・
    PoE+ HAT
    と
    PoE
    スイッチを導入
    ・
    30W
    供給可能
    ・電力不足解消
    &
    ケーブル周りもスッキリ
    ・😇～💸
    電力不足
    

    View Slide

16. 停電で MicroSD ぶっ壊れる
    ・最近落雷⚡が多いですよね
    ・
    UPS
    を導入していない自宅ラボで停電頻発
    ・ラズパイ ⅔ 台の
    MicroSD
    カードが故障、停電が原因っぽい
    ・
    UPS
    導入して停電対策
    ・安心は金で買える
    ・😇～💸
    ・
    MicroSD
    は壊れやすいのでラズパイは
    SSD
    起動がよいかも
    

    View Slide

17. まとめ
    ・ラズパイを使えば カンタン
    (
    ※
    1)
    お手軽
    (
    ※
    2)
    に
    Ceph
    を構築できる
    (
    ※
    3)(
    ※
    4)
    ※
    1
    インストールはカンタンです
    ※
    2 Rook
    から使うのはお手軽です
    ※
    3
    安定稼働するとは言ってない
    ※
    4
    😇～💸
    ・大変さを上回る楽しさがあります✨
    

    View Slide