Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Rook-Cephでいろいろベンチとってみる
Search
Takuya Utsunomiya
March 27, 2020
Technology
2
6.1k
Rook-Cephでいろいろベンチとってみる
Rook-CephでいろいろIO測ってみました。
Takuya Utsunomiya
March 27, 2020
Tweet
Share
More Decks by Takuya Utsunomiya
See All by Takuya Utsunomiya
OpenShift Virtualizationのストレージ、しゃべりたいだけしゃべる / ocpv-storage
tutsunom
0
54
VMをPodで起動するKubeVirtの真髄 / KubeVirt
tutsunom
1
900
オブジェクトストレージゲートウェイ:NooBaa / Object Storage Gateway NooBaa
tutsunom
1
800
Multi-Cloud Gatewayでデータを統治せよ!/ Data Federation with MCG
tutsunom
1
1.2k
運用者にやさしいOpenShift / OpenShift is operator-friendly
tutsunom
0
800
OpenShiftのクラスターバックアップリストア / OpenShift Cluster Backup Restore
tutsunom
2
2k
COSI (Container Object Storage Interface) で広がる永続ストレージの世界 / CNDT2021 COSI
tutsunom
0
1.3k
このろくでもない、すばらしきストレージの世界。/storage is brilliant
tutsunom
1
960
Kasten K10でBackup&Restore / Kasten K10 Backup Restore
tutsunom
1
1.1k
Other Decks in Technology
See All in Technology
急成長する企業で作った、エンジニアが輝ける制度/ 20250227 Rinto Ikenoue
shift_evolve
0
160
エンジニアリング価値を黒字化する バリューベース戦略を用いた 技術戦略策定の道のり
kzkmaeda
7
3k
クラウド関連のインシデントケースを収集して見えてきたもの
lhazy
9
1.5k
Introduction to OpenSearch Project - Search Engineering Tech Talk 2025 Winter
tkykenmt
2
120
EDRの検知の仕組みと検知回避について
chayakonanaika
12
5.1k
1行のコードから社会課題の解決へ: EMの探究、事業・技術・組織を紡ぐ実践知 / EM Conf 2025
9ma3r
12
4.2k
MIMEと文字コードの闇
hirachan
2
1.4k
Snowflakeの開発・運用コストをApache Icebergで効率化しよう!~機能と活用例のご紹介~
sagara
1
490
AIエージェント開発のノウハウと課題
pharma_x_tech
5
3.6k
IAMポリシーのAllow/Denyについて、改めて理解する
smt7174
2
210
自分だけの仮想クラスタを高速かつ効率的に作る kubefork
donkomura
0
110
DevinでAI AWSエンジニア製造計画 序章 〜CDKを添えて〜/devin-load-to-aws-engineer
tomoki10
0
180
Featured
See All Featured
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
251
21k
Build The Right Thing And Hit Your Dates
maggiecrowley
34
2.5k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
33
2.1k
Scaling GitHub
holman
459
140k
Why Our Code Smells
bkeepers
PRO
336
57k
The Cost Of JavaScript in 2023
addyosmani
47
7.4k
Documentation Writing (for coders)
carmenintech
67
4.6k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
226
22k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
21
2.5k
Why You Should Never Use an ORM
jnunemaker
PRO
55
9.2k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
10
520
A Tale of Four Properties
chriscoyier
158
23k
Transcript
で いろいろベンチとってみる Takuya Utsunomiya Storage Solution Architect, Red Hat K.K.
apiVersion: apiextentions.k8s.io/v1beta1 kind: CustomResourceDefinition metadata: name: 宇都宮 卓也 spec: group:
レッドハット株式会社 role: ストレージソリューションアーキテクト born: 大阪 version: 38歳 favorites: technology: ストレージ hobby: [“野球好き”, “プロレス好き”,”将棋好き”] drink: [“ビール”, “ワイン”] @japan_rook Japan Rook https://rook.connpass.com/ 一部執筆 してます #japanrook 2
で 計測してみる
モチベーション • IO測るの楽しいから • バックエンドのストレージ直で使うのと Rook-Cephを挟むのとでどれくらい変わるかみたい • Cephの構成変えることでどれくらい変わるのか見たい • IO測るの楽しいから
◦ ほんとだよ? なんでIO計測とかするの? 4
環境 • k8s 1.16 on AWS • 3 master +
3 worker ◦ master : m5.xlarge (4vCPU, 16Gi RAM) ◦ worker : m5.4xlarge (16vCPU, 64Gi RAM) • Rook-Cephはworkerへ • Rook 1.2.7, Ceph 14.2.8 ◦ 最新の組み合わせ 5
遊びかた • FIO 3.13 ◦ Kubestoneのfioを使う ◦ Fio Custom Resourceが便利
• fioのPodから100GBのPVマウント(xfs)してIOかける • 4K random read, 4K random writeでIOPSとlatencyをみる • 他のFioのオプションは ----> ◦ 割と適当に… 6 [global] direct=1 size=1G ioengine=libaio overwrite=1 runtime=120 ramp_time=10 startdelay=10 time_based [rw-64] rw=randwrite directory=/tmp bs=4k iodepth=64 [rr-64] rw=randread directory=/tmp bs=4k iodepth=64 ...
何を測るか • 素のEBS(gp2) vs Rook-Ceph 3x replica RBD • Cephクラスタのosd数
◦ 3 osd vs 12 osd • レプリカ数 ◦ 3x replica RBD vs 2x replica RBD 7
None
補足説明 • イメージはこんな感じ ----> • gp2は1TB未満だと3,000IOPSが天井 • 事前の予想 「readは互角くらい」 「writeは純粋にEBSの方が3倍はやい」
9 node EBS node EBS node EBS osd osd osd RBD 3x replica EBS raw EBS(gp2)
結果 • ReadはRook-Cephの方がIOPSもlatencyも断然はやい ◦ 全osdからreadできるから3,000IOPS以上出せる • WriteはEBSの方がはやい。けど3倍もいかない。 ◦ 三重書きのオーバーヘッド ◦
とは言え負荷が高くなって天井に当たると変わらない 10 結論 : 負荷が低い時のwriteは結構違う。 個人的にはreadが強いRook-Cephの方が役に立つ気がする。
None
補足説明 • イメージはこんな感じ ----> • 合計容量は同じになるようにする ◦ 3 osd …
600Gi x 3 ◦ 12 osd … 150Gi x 12 • 事前の予想 「OSDの数が多い方がreadもwriteも圧倒的に はやいはず」 12 node EBS node EBS node EBS osd osd osd RBD node node node RBD 3x replica EBSEBSEBSEBS EBSEBSEBSEBS EBSEBSEBSEBS osd osd osd osd osd osd osd osd osd osd osd osd 3x replica
結果 • やっぱりosdが多いほうがはやい ◦ 負荷が高いほうが違いがはっきりする • osdの容量を増やすよりScale-Outする方が断然おすすめ 13 結論 :
なにはともあれosdが多い方が正義。
None
補足説明 • イメージはこんな感じ ----> • Cephは3x replicaが主流だけど2x replicaもで きる。もちろんnodeをまたいで複製する。 •
利用可能容量は増えるけど、二重障害で data lossになるリスクがある。 • 事前の予想 「readはどちらも同じくらい」 「writeは2x replicaの方がはやい」 15 node node node RBD 2x replica EBSEBSEBSEBS EBSEBSEBSEBS EBSEBSEBSEBS osd osd osd osd osd osd osd osd osd osd osd osd node node node RBD 3x replica EBSEBSEBSEBS EBSEBSEBSEBS EBSEBSEBSEBS osd osd osd osd osd osd osd osd osd osd osd osd
結果 • Readは3xの方がちょっとはやい ◦ 2xの方がprimary osd偏りやすい?運ゲー? ◦ pg数を増やせば同じくらいになる? • Writeは2xの方がはやい
◦ さすがに二重書きの方がオーバーヘッド少ない 16 結論 : writeは結構変わる。 冗長性を取るか、write速い&少ない容量消費を取るか。
まとめ どうだった? 17 • テストケースが少ないけれど大まかな傾向は見えた。 • パブリッククラウドみたいにストレージに QoSをかけられている環境では Rook-Cephは限界突 破する手段になる。
• とにかくosdはたくさんあるに越したことない。 • Write intensiveな用途では2x replicaも一つの手。 • 12osdにするとなかなか4x3で分散してくれなくて困った。 TopologySpreadConstraintsサ ポートが待たれる。 • やっぱりIO測るのは楽しい。
18