カンタンお手軽？！K8s から使えるラ ズパイ分散ストレージ K8s@home #1 LT 2022/10/12

自己紹介 ・ののし (@nnstt1) ・自動化が好き ・息子たちが大好き CKS/Professional/Expert 取りたいなぁ

自宅ラボ構成 ・仮想化基盤 (Proxmox VE) に K8s やその他サーバを構築 ・ K8s は kubeadm を使ったノーマル構成 ・ラズパイに分散ストレージ Ceph を構築して K8s の Rook から利用 ・主にこちらをお話しします Proxmox VE Ceph DNS K8s LB ルータ ラボネットワーク 自宅ネットワーク

自宅ラボ構成 ・仮想化基盤は NUC と DeskMini の 2 台構成 ・ Ceph はラズパイ 3 台構成 & PoE スイッチから電源供給 物理構成 NUC DeskMini ラズパイ#1 ラズパイ#2 ラズパイ#3 PoE スイッチ Cisco 891FJ

自宅ラボ構成 ・なるべく棚１段で収まる規模で NUC11PAHi5 DeskMini A300 NETGEAR GS305P ラズパイ Cisco 891FJ 空冷

　　Raspberry Pi とは ・ ARM プロセッサを搭載したシングルボードコンピュータ ・通称「ラズパイ」 ・ Kubernetes クラスタ構築も可能 ・自宅ラボでは Raspberry Pi 4 Model B (Mem: 4GB) を利用 ・最近は入手困難らしい

　　Ceph とは ・オープンソースの分散ストレージ ・ブロックストレージ、ファイルストレージ、オブジェクトストレージを提供 ・ OSD がストレージデバイスを管理

　　Rook とは ・クラウドネイティブなストレージオーケストレーター ・ K8s 上で Ceph を管理するオペレーターを展開 ・ External Cluster という機能で K8s クラスタ外の Ceph も利用可能

なんで ラズパイ ✕ Ceph ？ ・ K8s 勉強のため自宅ラボ構築 ・ Rook/Ceph で StorageClass を用意 ・よくクラスタを壊すのでストレージも消える ・そもそも Ceph が分からない ・クラスタ外にストレージを作ろう、ついでに Ceph も勉強しよう ・ストレージは物理で用意したいよね（浪漫） ・でもあまり💰は掛けたくない ラズパイ Ceph 爆誕 K8s はどうした 🤔自宅 K8s クラスタのストレージはどうしてますか？ Synology が CSI ドライバ公開してて便利そう

ラズパイ Ceph の作り方 1. ARM 向け OS イメージを MicroSD カードに焼く 2. MicroSD をラズパイに挿して起動 3. Cephadm を使ってクラスタ作成 ○ Cephadm については Japan Rook Meetup #5 でお話ししています（宣伝） とてもカンタン！

K8s から Ceph を使う 1. K8s に Rook インストール 2. Ceph で認証情報を作成 / 取得するスクリプト実行 3. External Cluster 用リソースデプロイ とてもお手軽！ K8s に関連するページはここだけかも ……

ラズパイ Ceph の注意点 ラズパイを使ったことでいくつかトラブルがあったので紹介します。 （時間なくなったら省略します）

Ceph がラズパイに対応してなかった ・ OSD が起動してもすぐ落ちる ・ ceph-volume が /dev/root を想定していない ・データストア (filestore/bluestore) を選択できなくてコケる ・最新版 Ceph では修正済みの事象 ・ラズパイで動くことを想定していないバグがあったりする

USB-SATAケーブルの相性問題 ・ SSD を USB-SATA ケーブルでラズパイに接続 ・ SSD を認識しなくなるエラーが多発 ・ラズパイと相性が悪い USB-SATA ケーブルだった ・実績のあるケーブルに変えることで安定 ・こちらのサイトに助けられました 　　 Best Working SSD / Storage Adapters for Raspberry Pi 4 / 400 　　https://jamesachambers.com/best-ssd-storage-adapters-for-raspberry-pi-4-400/ ・ケーブル全とっかえ😇～💸

・ SSD を 1 台 / ラズパイ で運用 ・もっと OSD が欲しい …… → SSD を 2 台 / ラズパイ に増やす ・電力不足発生 → ラズパイは USB type-c で 15W 供給 ・ PoE+ HAT と PoE スイッチを導入 ・ 30W 供給可能 ・電力不足解消 & ケーブル周りもスッキリ ・😇～💸 電力不足

停電で MicroSD ぶっ壊れる ・最近落雷⚡が多いですよね ・ UPS を導入していない自宅ラボで停電頻発 ・ラズパイ ⅔ 台の MicroSD カードが故障、停電が原因っぽい ・ UPS 導入して停電対策 ・安心は金で買える ・😇～💸 ・ MicroSD は壊れやすいのでラズパイは SSD 起動がよいかも

まとめ ・ラズパイを使えば カンタン ( ※ 1) お手軽 ( ※ 2) に Ceph を構築できる ( ※ 3)( ※ 4) ※ 1 インストールはカンタンです ※ 2 Rook から使うのはお手軽です ※ 3 安定稼働するとは言ってない ※ 4 😇～💸 ・大変さを上回る楽しさがあります✨