Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
5分で作る分散ストレージ
Search
Satoru Takeuchi
PRO
June 24, 2022
Technology
1
300
5分で作る分散ストレージ
以下動画のテキストです
https://youtu.be/E6ZOw5JL3wM
Satoru Takeuchi
PRO
June 24, 2022
Tweet
Share
More Decks by Satoru Takeuchi
See All by Satoru Takeuchi
KubeConにproposalを送りたい人へのアドバイス
sat
PRO
3
230
俺とキャンプ2
sat
PRO
1
97
俺とキャンプ3
sat
PRO
0
83
データ冗長化のしくみRAID 基礎概念とRAID1編
sat
PRO
2
27
RAIDの実現方法
sat
PRO
2
56
Linux環境のCPU上で10ミリ秒間に起こること
sat
PRO
3
110
HDDへのアクセス速度は位置によって変わる!??
sat
PRO
4
53
ボリュームマネージャLVM
sat
PRO
2
87
Best Practices of Production-Grade Rook/Ceph Cluster
sat
PRO
1
1.9k
Other Decks in Technology
See All in Technology
プロデザ! BY リクルート vol.18_リクルートのリサーチ実践組織「リサーチブーストコミュニティ」
recruitengineers
PRO
3
270
KubeCon EU 2024 Recap “Kubernetes Policy Time Machine: Where to Next?”
ryysud
0
200
Compose Compiler Metricsを使った実践的なコードレビュー
tomorrowkey
1
220
開発生産性大幅アップ!Postman VS Code拡張機能
nagix
2
370
Meta Quest 3 で動く桜マシマシ WebXR アプリを IBM Cloud Code Engine と Babylon.js で作った話
1ftseabass
PRO
0
120
長期間TiDBを使ってきた話 @ 私たちはなぜNewSQLを使うのかTiDB選定5社が語る選定理由と活用LT / Experiences with TiDB Over Time
chibiegg
2
870
Janus
bkuhlmann
1
490
JSON攻略法.pdf
miyakemito
8
4.9k
チームでロジカルシンキングに改めて向き合っている話 〜学習環境と実践⽅法〜
sansantech
PRO
2
1.8k
DevOpsメトリクスとアウトカムの接続にトライ!開発プロセスを通して計測できるメトリクスの活用方法
ham0215
2
230
ChatworkのSRE部って実は 半分くらいPlatform Engineering部かもしれない
saramune
0
160
開発パフォーマンスを最大化するための開発体制
ham0215
2
200
Featured
See All Featured
ParisWeb 2013: Learning to Love: Crash Course in Emotional UX Design
dotmariusz
104
6.6k
Optimizing for Happiness
mojombo
370
69k
Done Done
chrislema
178
15k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
226
51k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
14
1.5k
A designer walks into a library…
pauljervisheath
200
23k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
2
3.4k
Building Better People: How to give real-time feedback that sticks.
wjessup
355
18k
Producing Creativity
orderedlist
PRO
337
39k
Atom: Resistance is Futile
akmur
259
25k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
78
42k
4 Signs Your Business is Dying
shpigford
175
21k
Transcript
5分で作る分散ストレージ Jun 24th, 2022 Satoru Takeuchi twitter: satoru_takeuchi
概要 • いくつかのOSSを活用して5分で分散ストレージを作る ◦ Ceph ◦ Kubernetes ◦ Rook •
楽するためにスクリプトを使う ◦ https://github.com/satoru-takeuchi/rook-helper
Cephとは • OSSの分散ストレージ • 20年近くの歴史あり ◦ CERN,NASAなどが大規模データを扱っている実績あり
Cephのアーキテクチャ Cephのストレージプール ブロックデバイス node ファイルシステム S3互換オブジェクト ストレージ クライアント disk disk
node disk disk node disk disk OSD OSD OSD OSD OSD OSD
Cephの難点 • コマンドが使いにくい • 設定項目が多くて複雑 • ゆえに管理が大変
Rookとは • Kubernetes上で動くCephのオーケストレータ • 生まれてから6年くらい • Kubernetes ◦ 分散コンテナ実行基盤 ◦
YAMLを書くだけでアプリが動く
Rookのアーキテクチャ • YAMLを書くだけでCephクラスタが構築できる apiVersion: ceph.rook.io/v1 kind: CephCluster … spec: …
cephVersion: image: quay.io/ceph/ceph:v17 … storage: useAllNodes: true useAllDevices: true … コンテナのバージョンを変えればアップデート可能 全ノード上の全空きディスク上に OSDを作ってCephに組み込む
デモ 1. Kubernetesクラスタを作成(1node) 2. Rook operator(オーケストレータ本体。Cephを管理)を作成 3. Cephクラスタを作成(2OSD)
まとめ • 5分で分散ストレージが作れた • 紹介した構成はあくまでテスト用 ◦ プロダクション用の構成は全然違うよ!