Tweet
Tweet

Slide 1

Slide 1 text

無限ストレージ Jul. 10th, 2021 Satoru Takeuchi twitter: satoru_takeuchi, EnSatoru 1

Slide 2

Slide 2 text

ストレージのコストは高い 1. ハードウェアコストは高い 2. ストレージシステムを組むコストも高い 3. 運用コストも高い 2

Slide 3

Slide 3 text

今日のテーマ 1. ハードウェアコストは高い 2. ストレージシステムを組むコストも高い 3. 運用コストも高い 3

Slide 4

Slide 4 text

容量が無限のストレージさえあれば… 1. 構築 2. 容量を無限に増やす 3. バイト単価が実質ゼロに 4. うれしい 4

Slide 5

Slide 5 text

実現方法: Cephを使う ● CephはOSSの分散ストレージ ● 提供するストレージ ○ ブロックデバイス(RBD) ○ ファイルシステム(CephFS) ○ オブジェクトストレージ (RGW) 5

Slide 6

Slide 6 text

Cephのアーキテクチャ 6 ストレージプール RBD CephFS RGW node node node node disk OSD disk OSD disk OSD disk OSD データはOSD間に均等に分散配置される データはOSD間に均等に分散配置される データはOSD間に均等に分散配置される データは全OSDに均等に分散配置される

Slide 7

Slide 7 text

RBDに注目! 7 ストレージプール RBD node node node node disk OSD disk OSD disk OSD disk OSD

Slide 8

Slide 8 text

もしRBDの上にOSDを作れれば… 8 ストレージプール RBD node node node node disk OSD disk OSD disk OSD disk OSD OSD

Slide 9

Slide 9 text

もしOSD on RBDのみからクラスタを作れれば… 9 ストレージプール rbd OSD rbd OSD rbd OSD rbd OSD

Slide 10

Slide 10 text

無限ストレージができるのでは? 10 ストレージプール rbd OSD rbd OSD rbd OSD rbd OSD 超自然的パワー 無限のデータ やったね!

Slide 11

Slide 11 text

つくりかた 1. 物理ディスク上のOSD(以下OSD on diskと記載)からCephクラスタを作る 2. クラスタからRBDを切り出す 3. RBD上にOSD(以下OSD on RBDと記載)を作ってクラスタに組み込む 4. OSD on diskをクラスタから切り離す 11

Slide 12

Slide 12 text

環境 ● Ubuntu: 18.04.4 ● Linuxカーネル: 4.15.0-99 ● Ceph: v15.2.12 ● Rook(Cephのオーケストレータ): v1.6.7 12

Slide 13

Slide 13 text

初期状態 13 ストレージプール disk OSD 1node, 1OSD on disk(10GiB)のシンプルな構造 # ceph -s ... osd: 1 osds: 1 up (since 9m) …usage: 1.0 GiB used, 9.0 GiB / 10 GiB avail

Slide 14

Slide 14 text

RBDを作る 14 ストレージプール disk OSD RBD

Slide 15

Slide 15 text

次: RBDの上にOSDを作る 15 ストレージプール disk OSD RBD OSD

Slide 16

Slide 16 text

成功 16 ストレージプール disk OSD RBD OSD # ceph -s ... osd: 2 osds: 2 up

Slide 17

Slide 17 text

容量も倍になった! 17 ストレージプール disk OSD RBD OSD # ceph -s ... osd: 2 osds: 2 up ... usage: 2.0 GiB used, 18 GiB / 20 GiB avail

Slide 18

Slide 18 text

次: OSD on diskをクラスタから切り離す 18 ストレージプール disk OSD RBD OSD

Slide 19

Slide 19 text

成功! 19 ストレージプール disk OSD RBD OSD # ceph -s ... osd: 1 osds: 1 up ... usage: 1.0 GiB used, 9.0 GiB / 10 GiB avail

Slide 20

Slide 20 text

…と思ったら死んだ! 20 ストレージプール disk OSD RBD OSD osd: 1 osds: 0 up

Slide 21

Slide 21 text

原因 21 ストレージプール disk OSD RBD OSD 1. OSD on RBDのメタデータはOSD on diskに保存されている 2. OSD on diskを削除するとそこにあったデータはロスト 3. OSD on RBDが機能しなくなりDOWN 新OSDのメタデータ

Slide 22

Slide 22 text

対策: データを冗長化させて徐々に移動させる 22 1. 最初にOSD on diskを二つ作る 2. OSD on RBDを2つ作る 3. OSD on diskを1つ削除。このOSDにあったデータは他の OSDに移動 4. OSD on diskをもう1つ削除。その後は同上

Slide 23

Slide 23 text

初期状態その2 23 ストレージプール disk OSD ● 1node, 2OSD on disk(それぞれ10GiB) # ceph -s ... osd: 2 osds: 2 up … usage: 2.0 GiB used,18.0 GiB / 20 GiB avail disk OSD

Slide 24

Slide 24 text

次: OSD on RBDを2つ作る 24 ストレージプール disk OSD disk OSD RBD OSD RBD OSD

Slide 25

Slide 25 text

問題発生: データのリバランスが終わらない 25 ストレージプール disk OSD RBD OSD RBD OSD disk OSD ● 期待値: OSD on disk上のデータの半分が OSD on RBDに移動 ● 実際: 全然進まない

Slide 26

Slide 26 text

原因: 循環I/O 26 ストレージプール disk OSD RBD OSD RBD OSD disk OSD 1. OSD on disk上のデータをOSD on RBDに移動 2. 移動時のwriteは同期write 3. OSD on RBDへの同期write->OSD on diskへの同期write->OSD on RBDへの(ry

Slide 27

Slide 27 text

解決方法: 同期writeしないようにCephを改造 27 ● open()に付与されたO_SYNC,O_DSYNC,O_DIRECTを削除 ● sync系システムコールの呼び出しをすべて削除 ○ sync(), fsync(), fdatasync(), sync_file_range()...

Slide 28

Slide 28 text

改造したCephを使ってもう一回やってみると… 28 ストレージプール disk OSD disk OSD RBD OSD RBD OSD

Slide 29

Slide 29 text

やっぱり循環I/O発生! 29 ストレージプール disk OSD RBD OSD RBD OSD disk OSD ● 原因不明 ● カーネルのrbdドライバの変更が必要 ? ● ここで時間切れ

Slide 30

Slide 30 text

(推測) 仮に次のステップに行けたとして… 30 ストレージプール RBD OSD RBD OSD

Slide 31

Slide 31 text

(推測) こうなるか? 31 ストレージプール RBD OSD RBD OSD やったね! 無限I/O 超自然的パワー

Slide 32

Slide 32 text

(推測) 無限に書き込むと… 32 ストレージプール RBD OSD RBD OSD できるよね? 無限write

Slide 33

Slide 33 text

(推測) たぶん死ぬ 33 ストレージプール RBD OSD RBD OSD 君にはがっかりだ RBD 無限write カーネルパニック!

Slide 34

Slide 34 text

(推測) 原因 1. OSD on RBDのデータはアタッチされたノードのメモリ上にのみ存在 2. メモリが足りないとOOM発動 3. プロセスを皆殺しにした後にカーネルパニック 4. ノード上のデータはすべて消える 34

Slide 35

Slide 35 text

結論 ● 超自然的パワーは無かった ● 無限ストレージも無かった ● ハードウェアコストは高い 35

Slide 36

Slide 36 text

おわり 36 残念だったな