Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
5分で作る分散ストレージ
Search
Satoru Takeuchi
PRO
June 24, 2022
Technology
1
510
5分で作る分散ストレージ
以下動画のテキストです
https://youtu.be/E6ZOw5JL3wM
Satoru Takeuchi
PRO
June 24, 2022
Tweet
Share
More Decks by Satoru Takeuchi
See All by Satoru Takeuchi
Linuxのブートプロセス
sat
PRO
5
64
シェルのジョブ
sat
PRO
1
20
常駐サービスを実現するデーモンプロセス
sat
PRO
0
24
絶対殺すSIGKILLシグナルと絶対死なないプロセス
sat
PRO
3
81
シェルのセッション
sat
PRO
2
31
RubyでKubernetesプログラミング
sat
PRO
4
180
プロセスの生成 exec編
sat
PRO
1
41
プロセスの生成 fork&exec編
sat
PRO
0
36
プロセスの生成 コピーオンライトを使ったfork編
sat
PRO
0
35
Other Decks in Technology
See All in Technology
自分だけの仮想クラスタを高速かつ効率的に作る kubefork
donkomura
0
100
依存パッケージの更新はコツコツが勝つコツ! / phpcon_nagoya2025
blue_goheimochi
3
220
【5分でわかる】セーフィー エンジニア向け会社紹介
safie_recruit
0
19k
Apache Iceberg Case Study in LY Corporation
lycorptech_jp
PRO
0
330
脳波を用いた嗜好マッチングシステム
hokkey621
0
290
クラウド関連のインシデントケースを収集して見えてきたもの
lhazy
8
1.2k
Cracking the Coding Interview 6th Edition
gdplabs
14
28k
What's new in Go 1.24?
ciarana
1
110
DevinでAI AWSエンジニア製造計画 序章 〜CDKを添えて〜/devin-load-to-aws-engineer
tomoki10
0
140
JAWS DAYS 2025 アーキテクチャ道場 事前説明会 / JAWS DAYS 2025 briefing document
naospon
0
100
Snowflake ML モデルを dbt データパイプラインに組み込む
estie
0
100
AI自体のOps 〜LLMアプリの運用、AWSサービスとOSSの使い分け〜
minorun365
PRO
2
140
Featured
See All Featured
How STYLIGHT went responsive
nonsquared
98
5.4k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
47
5.2k
Speed Design
sergeychernyshev
27
810
Designing for Performance
lara
604
68k
Product Roadmaps are Hard
iamctodd
PRO
50
11k
A designer walks into a library…
pauljervisheath
205
24k
We Have a Design System, Now What?
morganepeng
51
7.4k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
10
510
A Philosophy of Restraint
colly
203
16k
Scaling GitHub
holman
459
140k
Rails Girls Zürich Keynote
gr2m
94
13k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
28
9.3k
Transcript
5分で作る分散ストレージ Jun 24th, 2022 Satoru Takeuchi twitter: satoru_takeuchi
概要 • いくつかのOSSを活用して5分で分散ストレージを作る ◦ Ceph ◦ Kubernetes ◦ Rook •
楽するためにスクリプトを使う ◦ https://github.com/satoru-takeuchi/rook-helper
Cephとは • OSSの分散ストレージ • 20年近くの歴史あり ◦ CERN,NASAなどが大規模データを扱っている実績あり
Cephのアーキテクチャ Cephのストレージプール ブロックデバイス node ファイルシステム S3互換オブジェクト ストレージ クライアント disk disk
node disk disk node disk disk OSD OSD OSD OSD OSD OSD
Cephの難点 • コマンドが使いにくい • 設定項目が多くて複雑 • ゆえに管理が大変
Rookとは • Kubernetes上で動くCephのオーケストレータ • 生まれてから6年くらい • Kubernetes ◦ 分散コンテナ実行基盤 ◦
YAMLを書くだけでアプリが動く
Rookのアーキテクチャ • YAMLを書くだけでCephクラスタが構築できる apiVersion: ceph.rook.io/v1 kind: CephCluster … spec: …
cephVersion: image: quay.io/ceph/ceph:v17 … storage: useAllNodes: true useAllDevices: true … コンテナのバージョンを変えればアップデート可能 全ノード上の全空きディスク上に OSDを作ってCephに組み込む
デモ 1. Kubernetesクラスタを作成(1node) 2. Rook operator(オーケストレータ本体。Cephを管理)を作成 3. Cephクラスタを作成(2OSD)
まとめ • 5分で分散ストレージが作れた • 紹介した構成はあくまでテスト用 ◦ プロダクション用の構成は全然違うよ!