Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
5分で作る分散ストレージ
Search
Satoru Takeuchi
PRO
June 24, 2022
Technology
640
1
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
5分で作る分散ストレージ
以下動画のテキストです
https://youtu.be/E6ZOw5JL3wM
Satoru Takeuchi
PRO
June 24, 2022
Transcript
9 slides
5分で作る分散ストレージ Jun 24th, 2022 Satoru Takeuchi twitter: satoru_takeuchi
概要 • いくつかのOSSを活用して5分で分散ストレージを作る ◦ Ceph ◦ Kubernetes ◦ Rook •
楽するためにスクリプトを使う ◦ https://github.com/satoru-takeuchi/rook-helper
Cephとは • OSSの分散ストレージ • 20年近くの歴史あり ◦ CERN,NASAなどが大規模データを扱っている実績あり
Cephのアーキテクチャ Cephのストレージプール ブロックデバイス node ファイルシステム S3互換オブジェクト ストレージ クライアント disk disk
node disk disk node disk disk OSD OSD OSD OSD OSD OSD
Cephの難点 • コマンドが使いにくい • 設定項目が多くて複雑 • ゆえに管理が大変
Rookとは • Kubernetes上で動くCephのオーケストレータ • 生まれてから6年くらい • Kubernetes ◦ 分散コンテナ実行基盤 ◦
YAMLを書くだけでアプリが動く
Rookのアーキテクチャ • YAMLを書くだけでCephクラスタが構築できる apiVersion: ceph.rook.io/v1 kind: CephCluster … spec: …
cephVersion: image: quay.io/ceph/ceph:v17 … storage: useAllNodes: true useAllDevices: true … コンテナのバージョンを変えればアップデート可能 全ノード上の全空きディスク上に OSDを作ってCephに組み込む
デモ 1. Kubernetesクラスタを作成(1node) 2. Rook operator(オーケストレータ本体。Cephを管理)を作成 3. Cephクラスタを作成(2OSD)
まとめ • 5分で分散ストレージが作れた • 紹介した構成はあくまでテスト用 ◦ プロダクション用の構成は全然違うよ!
More Decks by Satoru Takeuchi
See All by Satoru Takeuchi
Btrfsのsnapshotとランダム書き込み
sat
PRO
0
51
ファイルシステムのデフラグ
sat
PRO
1
58
コピーオンライト型ファイルシステムと ランダム書き込み
sat
PRO
2
130
119-多機能ファイルシステムBtrfs_のコピー.pdf
sat
PRO
1
90
Linuxカーネルの インタフェースは変わりうる?
sat
PRO
1
120
あなたの知らないバージョン命名規則
sat
PRO
3
940
Rook: Intro and Deep Dive with Ceph
sat
PRO
1
87
Machine Check Exception
sat
PRO
2
78
バイナリダンプの模様を読む
sat
PRO
0
120
Other Decks in Technology
See All in Technology
統制されたID・権限をどう利用するか : DPoP/FAPIによるAPIセキュリティ強化
oidfj
1
230
農家は秘伝のタレを知らない - NOBODY KNOWS THE HIDDEN SOURCE - Kaggriculture 3rd Place Solution
masspeaks
3
600
落とし穴にハマってわかった 開発生産性を測るときに気をつけたいこと
munakata
3
460
その修正で本当に速くなったのか? k6とOpenTelemetryで確かめる性能改善 / Performance review with k6 and OpenTelemetry
ymotongpoo
3
320
AIネイティブ組織の作り方。1人のPOとAIから始める、自社での実験
ama_ch
2
1.2k
閉域網でのAPI公開の選択肢全部比較!
takano0131
4
600
Biohub - Cell Tracking During Development 5th place solution
rist
0
180
Taking back control of your AI development
inesmontani
PRO
0
300
飯から始まるデータエンジニア
sansantech
PRO
0
110
エンタープライズIAMについて - ID・権限をどう統制するか
oidfj
1
250
文書画像からの情報抽出を行うエージェントを、軌跡の正解データ無しで作れるか
sansantech
PRO
2
220
メール到達性を支える、リンク先URLのドメイン評価の扱い方
wind111
0
180
Featured
See All Featured
Practical Orchestrator
shlominoach
192
12k
Why You Should Never Use an ORM
jnunemaker
PRO
61
10k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
52
6.2k
Embracing the Ebb and Flow
colly
88
5.2k
The untapped power of vector embeddings
frankvandijk
2
2k
The Organizational Zoo: Understanding Human Behavior Agility Through Metaphoric Constructive Conversations (based on the works of Arthur Shelley, Ph.D)
kimpetersen
PRO
0
540
Noah Learner - AI + Me: how we built a GSC Bulk Export data pipeline
techseoconnect
PRO
0
490
Build your cross-platform service in a week with App Engine
jlugia
234
19k
jQuery: Nuts, Bolts and Bling
dougneiner
66
8.7k
Measuring & Analyzing Core Web Vitals
bluesmoon
9
1.1k
Music & Morning Musume
bryan
48
7.5k
Unlocking the hidden potential of vector embeddings in international SEO
frankvandijk
0
1k