Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
5分で作る分散ストレージ
Search
Satoru Takeuchi
PRO
June 24, 2022
Technology
1
510
5分で作る分散ストレージ
以下動画のテキストです
https://youtu.be/E6ZOw5JL3wM
Satoru Takeuchi
PRO
June 24, 2022
Tweet
Share
More Decks by Satoru Takeuchi
See All by Satoru Takeuchi
Linuxのブートプロセス
sat
PRO
6
99
シェルのジョブ
sat
PRO
1
21
常駐サービスを実現するデーモンプロセス
sat
PRO
0
26
絶対殺すSIGKILLシグナルと絶対死なないプロセス
sat
PRO
3
91
シェルのセッション
sat
PRO
2
33
RubyでKubernetesプログラミング
sat
PRO
4
190
プロセスの生成 exec編
sat
PRO
1
44
プロセスの生成 fork&exec編
sat
PRO
0
38
プロセスの生成 コピーオンライトを使ったfork編
sat
PRO
0
38
Other Decks in Technology
See All in Technology
【Snowflake九州ユーザー会#2】BigQueryとSnowflakeを比較してそれぞれの良し悪しを掴む / BigQuery vs Snowflake: Pros & Cons
civitaspo
4
1.5k
OCI Success Journey OCIの何が評価されてる?疑問に答える事例セミナー(2025年2月実施)
oracle4engineer
PRO
2
240
貧民的プログラミングのすすめ
kakehashi
PRO
2
200
IAMのマニアックな話2025
nrinetcom
PRO
6
1.5k
“常に進化する”開発現場へ! SHIFTが語るアジャイルQAの未来/20250306 Yuma Murase
shift_evolve
0
140
CSPMとのつきあい方
nantokanare
0
110
AIエージェント入門
minorun365
PRO
34
20k
20250309 無冠のわたし これからどう先生きのこれる?
akiko_pusu
9
850
DevinでAI AWSエンジニア製造計画 序章 〜CDKを添えて〜/devin-load-to-aws-engineer
tomoki10
0
240
ライフステージの変化を乗り越える 探索型のキャリア選択
tenshoku_draft
2
210
ExaDB-XSで利用されているExadata Exascaleについて
oracle4engineer
PRO
3
310
AIエージェント時代のエンジニアになろう #jawsug #jawsdays2025 / 20250301 Agentic AI Engineering
yoshidashingo
9
4.3k
Featured
See All Featured
The Power of CSS Pseudo Elements
geoffreycrofte
75
5.5k
The Straight Up "How To Draw Better" Workshop
denniskardys
232
140k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
49
2.3k
A better future with KSS
kneath
238
17k
Scaling GitHub
holman
459
140k
Build your cross-platform service in a week with App Engine
jlugia
229
18k
Embracing the Ebb and Flow
colly
84
4.6k
Music & Morning Musume
bryan
46
6.4k
Designing on Purpose - Digital PM Summit 2013
jponch
117
7.1k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
4
440
Designing Experiences People Love
moore
140
23k
Speed Design
sergeychernyshev
28
820
Transcript
5分で作る分散ストレージ Jun 24th, 2022 Satoru Takeuchi twitter: satoru_takeuchi
概要 • いくつかのOSSを活用して5分で分散ストレージを作る ◦ Ceph ◦ Kubernetes ◦ Rook •
楽するためにスクリプトを使う ◦ https://github.com/satoru-takeuchi/rook-helper
Cephとは • OSSの分散ストレージ • 20年近くの歴史あり ◦ CERN,NASAなどが大規模データを扱っている実績あり
Cephのアーキテクチャ Cephのストレージプール ブロックデバイス node ファイルシステム S3互換オブジェクト ストレージ クライアント disk disk
node disk disk node disk disk OSD OSD OSD OSD OSD OSD
Cephの難点 • コマンドが使いにくい • 設定項目が多くて複雑 • ゆえに管理が大変
Rookとは • Kubernetes上で動くCephのオーケストレータ • 生まれてから6年くらい • Kubernetes ◦ 分散コンテナ実行基盤 ◦
YAMLを書くだけでアプリが動く
Rookのアーキテクチャ • YAMLを書くだけでCephクラスタが構築できる apiVersion: ceph.rook.io/v1 kind: CephCluster … spec: …
cephVersion: image: quay.io/ceph/ceph:v17 … storage: useAllNodes: true useAllDevices: true … コンテナのバージョンを変えればアップデート可能 全ノード上の全空きディスク上に OSDを作ってCephに組み込む
デモ 1. Kubernetesクラスタを作成(1node) 2. Rook operator(オーケストレータ本体。Cephを管理)を作成 3. Cephクラスタを作成(2OSD)
まとめ • 5分で分散ストレージが作れた • 紹介した構成はあくまでテスト用 ◦ プロダクション用の構成は全然違うよ!