Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Rook/Cephストレージシステムを開発しながらupstream OSSに成果を還元してきた取り組み
Search
Satoru Takeuchi
PRO
November 21, 2022
Technology
2
690
Rook/Cephストレージシステムを開発しながらupstream OSSに成果を還元してきた取り組み
Cloud Native Days Tokyo 2022の発表スライドです。
https://event.cloudnativedays.jp/cndt2022/talks/1525
Satoru Takeuchi
PRO
November 21, 2022
Tweet
Share
More Decks by Satoru Takeuchi
See All by Satoru Takeuchi
HDDへのアクセス速度は位置によって変わる!??
sat
PRO
4
26
ボリュームマネージャLVM
sat
PRO
2
71
Best Practices of Production-Grade Rook/Ceph Cluster
sat
PRO
1
1.6k
OSSへの貢献をはじめたきっかけ、貢献で得たもの、やりたい人へのアドバイス(改)
sat
PRO
4
110
device mapperによるディスクI/O障害のエミュレーション 既存ターゲット編
sat
PRO
0
95
分散ストレージCephのデータ破壊検知修復機能は本当に動作するのか
sat
PRO
0
39
ディスクI/O障害のエミュレーション カーネルモジュール自作編
sat
PRO
0
38
分散ストレージはすごいぞ
sat
PRO
2
2.4k
device mapperによるディスクI/O障害のエミュレーション
sat
PRO
10
6.5k
Other Decks in Technology
See All in Technology
Tohoku.Tech #1 「Cursorを使ったRaspberry Piの開発」by ねこまた
jun2882
0
150
『LeanとDevOpsの科学』をきちんと解読する 〜Four Keys だけじゃ絶対もったいなくなる話〜
bonotake
27
6.6k
Uniting Rust Servers and Clients through OpenAPI
ahl
0
430
スクラムガイドに載っていないスクラムのはじめかた - チームでスクラムをはじめるときに知っておきたい5個のコツ - / How to start Scrum that is not written in the Scrum Guide
takaking22
14
5.2k
『QAという人』が必要ではなく、『QAという技術』が必要
sadonosake
2
260
App Runnerでパラメーターストアの値を使ってみた
miura55
0
230
本気でプロダクトに向き合うCTOになるために必要な事 (技育祭2024春)
mosa_siru
33
11k
B+木入門:PHPで理解する データベースインデックスの仕組み/b-plus-tree-101
hanhan1978
5
2.8k
どうやってWebサービスのページ表示速度を1/3にしたか / how-to-reduce-display-speed
pinkumohikan
2
480
令和最新版 ソフトウェアエンジニアのためのDJ入門、あるいはDJに学ぶ仕事術 #ya8
stefafafan
1
140
自己完結な開発者組織を支える プラットフォーム作り
recruitengineers
PRO
2
230
【OpenAI本出版記念】npakaによるOpenAI最新技術情報と技術情報キャッチアップ術
npaka
8
1.4k
Featured
See All Featured
How STYLIGHT went responsive
nonsquared
92
4.7k
Making the Leap to Tech Lead
cromwellryan
122
8.4k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
56
13k
From Idea to $5000 a Month in 5 Months
shpigford
376
45k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
34
8.8k
BBQ
matthewcrist
78
8.7k
Teambox: Starting and Learning
jrom
126
8.3k
Unsuck your backbone
ammeep
660
56k
GraphQLの誤解/rethinking-graphql
sonatard
48
9.1k
Documentation Writing (for coders)
carmenintech
59
3.7k
We Have a Design System, Now What?
morganepeng
42
6.7k
Art, The Web, and Tiny UX
lynnandtonic
288
19k
Transcript
Rook/Cephストレージシステムを開発しながら upstream OSSに成果を還元してきた取り組み Nov. 21st, 2022 Cybozu, Inc. Satoru Takeuchi
1
今日伝えること ▌サイボウズがOSSベースのストレージシス テムを開発の延長としてupstreamに還元し てきた経験 ▌成果の還元で得られたOSSコミュニティと のつきあいかたのベストプラクティス 2
もくじ 3 ▌サイボウズとサイボウズのインフラ ▌これまでの開発&OSS貢献実績 ⚫検証中に見つけたRook/Cephの機能追加、バグ修正 ⚫upstream Cephのテスト改善提案 ⚫Upstream OSS最新情報チェック ▌OSSコミュニティとつきあうベストプラクティス
もくじ 4 ▌サイボウズとサイボウズのインフラ ▌これまでの開発&OSS貢献実績 ⚫検証中に見つけたRook/Cephの機能追加、バグ修正 ⚫upstream Cephのテスト改善提案 ⚫Upstream OSS最新情報チェック ▌OSSコミュニティとつきあうベストプラクティス
サイボウズ ▌様々なグループウェアを提供している ⚫kintone, Garoonなどなど ▌提供形態 ⚫クラウドサービス(今日の主題はこちら) ⚫一部パッケージ製品もある 5
サイボウズのインフラ ▌OSSベースのオンプレシステムを自前運用 ⚫有事に自ら即座に詳細調査や修正提供したい ▌現行インフラの限界が見えてきたので新インフラを 開発中 ▌新インフラはK8sクラスタで、ストレージシステム にはRook/Cephを使用 ⚫Ceph: OSSの分散ストレージ ⚫Rook:
K8s上で動くCephのオーケストレーション 6
Cephのアーキテクチャ 7 アプリ ストレージプール Cephクラスタ node disk disk node disk
disk node disk disk … ブロックデバイス オブジェクトストレージ OSD OSD OSD OSD OSD OSD ファイルシステム
Rookのアーキテクチャ 8 Rook ストレージプール Cephクラスタ node disk disk node disk
disk node disk disk … ブロックデバイス オブジェクトストレージ アプリ OSD OSD OSD OSD OSD OSD PV PV PV PV PV PV PV PVC Object Bucket Claim(OBC) Object Bucket(OB) PVC PVC PVC PVC ファイルシステム PV PVC PVC PVC
Rook/Cephクラスタの完成予想図 9 K8sクラスタ リモート K8sクラスタ * 左図と 同様の構成 レプリケーション HDD
Rook/Cephクラスタ SSD Rook/Cephクラスタ アプリ アプリ オブジェクト ストレージ ブロック ストレージ HDD node node SSD HDD HDD SSD NVMe SSD バック アップ
もくじ 10 ▌サイボウズとサイボウズのインフラ ▌これまでの開発&OSS貢献実績 ⚫検証中に見つけたRook/Cephの機能追加、バグ修正 ⚫upstream Cephのテスト改善提案 ⚫Upstream OSS最新情報チェック ▌OSSコミュニティとつきあうベストプラクティス
基本的な開発の流れ ▌以下の繰り返し 1. VM上に構築した仮想DCを使って開発 2. 開発用オンプレDCにdeploy 3. 本番オンプレDCへのdeploy ▌問題が見つかれば可能な限りupstreamで修正 ⚫成果がすべてのupstream
Rook/Cephユーザのためになる ⚫手元だけで修正するとメンテが大変 11
使用するコンテナ ▌Upstream OSSの最新版をもとに独自ビルドしたもの ▌独自パッチを当てたコンテナを運用することもある ⚫重要な修正がupstreamにマージされていない ⚫マージされたが新版がリリースされていない 12
もくじ 13 ▌サイボウズとサイボウズのインフラ ▌これまでの開発&OSS貢献実績 ⚫検証中に見つけたRook/Cephの機能追加、バグ修正 ⚫upstream Cephのテスト改善提案 ⚫Upstream OSS最新情報チェック ▌OSSコミュニティとつきあうベストプラクティス
問題1: OSDが作れない! 1. SSD Rook/CephクラスタはOSDをLVM上に作る 2. RookがOSD on LVMをサポートしていなかった 3.
Upstream Rookに機能追加して解決 14
問題2: OSDが壊れる! 1. ノード再起動時にOSDが壊れる問題が多発 2. RookにOSD操作の排他制御漏れがあった 3. Upstream Rookを修正して解決 15
問題3: OSDが作れない!(その2) 1. OSDを増やそうとすると稀に作成に失敗。テストにも 支障が出ていた 2. Upstream Cephのissue trackerに報告 3.
Upstream Cephを修正してもらった 16
問題4: オブジェクトストレージが動かない! 1. 突然オブジェクトストレージが応答しなくなった 2. オブジェクト数の増加時にサービスが長時間停止する バグがあった 3. Upstream Rookを修正して解決
17
貢献が認められRookのメンテナに就任 ▌プロジェクトの意思決定にかかわれる ▌KubeConのメンテナセッションで登壇できる ▌メンテナのおしごと ⚫リリース作業、ドキュメント改善、テスト改善 ⚫社外の人が作ったIssue対応,PRレビュー ⚫サイボウズに直接関係ないものも多い 18
OSS開発業務を支える会社のポリシー ▌OSSポリシーを定めている ⚫https://cybozu-oss-policy.readthedocs.io/ja/latest/ ▌ポリシーを定める目的 (前文より抜粋) ⚫当社及び従業員がOSS関連活動を過大な負担なく行える よう支援すること ⚫当社がオープンソースコミュニティで良き一員であるた めに必要な規定を定めること 19
もくじ 20 ▌サイボウズとサイボウズのインフラ ▌これまでの開発&OSS貢献実績 ⚫検証中に見つけたRook/Cephの機能追加、バグ修正 ⚫upstream Cephのテスト改善提案 ⚫upstream OSS最新情報チェック ▌OSSコミュニティとつきあうベストプラクティス
Cephについて浮かんだ疑問 ▌なぜサイボウズでは頻繁にOSDの作成失敗や再 起動時にOSDが破れるのか? ⚫前述したもの以外にもいくつかの類似バグを検出 ▌なぜupstreamのテストで検出されなかったか ▌手元のデータとupstreamのテスト履歴を分析 することに 21
分析の結果わかったこと 22 ▌サイボウズの開発スタイルではOSDを再起動す る頻度がupstreamのテストよりもはるかに高い ⚫UpstreamのテストでOSD再起動の負荷試験をすればバグ検 出率が上がるかも ▌ほとんどの問題はHDD上で検出していた ⚫UpstreamのテストでHDDを使っていない疑いがある ⚫もしそうならHDDを使うようにするとよいのでは
Upstream Cephへのはたらきかけ 23 ▌Ceph Virtualというイベントで問題提起 ⚫テストの改善を提案 ▌今後はMLなどで議論継続
もくじ 24 ▌サイボウズとサイボウズのインフラ ▌これまでの開発&OSS貢献実績 ⚫検証中に見つけたRook/Cephの機能追加、バグ修正 ⚫upstream Cephのテスト改善提案 ⚫Upstream OSS最新情報チェック ▌OSSコミュニティとつきあうベストプラクティス
upstream OSS最新情報チェック 25 ▌RookとCephの動向を毎日全てチェック ⚫ML, issue tracker, GitHub, slack… ▌目的
⚫深刻なバグの早期発見 ⚫問題に遭遇する前にワークアラウンド実施 ⚫暫定的に自前パッチ適用&リリース版へバックポート
例1: オブジェクトストレージのデータロスト 26 1. Upstream Cephにオブジェクトストレージのデータ ロスト問題の修正PRが投稿された ⚫オブジェクトのPUT時に特定のタイミングでネットワークが切れると オブジェクトがロスト 2.
mainマージ後にバックポートPR作成 ⚫現在マージ待ち状態
例2: オブジェクトストレージの性能問題 1. 開発用クラスタでオブジェクトストレージの 性能劣化が起きていた 2. この問題を解決しそうなPRがCephのmain branchに取り込まれた 3. 安定版にバックポートしたパッチを当てたサ
イボウズ独自コンテナにアップグレード 4. 性能改善! 27
ところが… 4. クラスタが異常を報告しはじめる 5. データが一部壊れる ⚫この後upstream Cephの安定版リリース時のテストで性能 改善PRのバグが検出された 6. 残ったデータの退避、及びバグ修正後の
PRを適用した開発用クラスタを再作成 28
原因 ▌性能改善PRは、ある程度以上古いバージョンで 作ったOSDのデータをうまく扱えなかった ▌条件に合うOSDが開発用クラスタに存在した ▌サイボウズではこのようなケースをテストして いなかった 29
PRマージ前に検出されなかった理由 ▌Upstreamのテストにはupgrade suiteがある ⚫古いバージョンのCephでOSDを作ってから最新版 にアップグレード ▌しかし個々のPRのテストではupgradeテストは 動かないことが判明 30
Cephコンテナのアップグレードポリシーの変更 ▌古い形式のOSDを考慮したテストを追加 ▌CephのアップグレードでOSDの形式が変われば、既 存の古いOSDは可能な限り全て最新版で作り直す ▌Upstreamのテストで流す全テストをローカル環境で 流せるようにする(継続中) ⚫これができるまで自前パッチを当てる運用は禁止 31
Rook/Cephクラスタ開発の進捗 32 K8sクラスタ レプリケーション Rook/CephクラスタA Rook/CephクラスタB オブジェクト ストレージ ブロック ストレージ
現行インフラ リモート K8sクラスタ * 左図と 同様の構成 HDD node node SSD HDD HDD SSD NVMe SSD 一部アプリ バック アップ アプリ アプリ
人材育成もやってます ▌当初upstream対応は一人が専任に近い形 でやっていて、SPOFになっていた ▌現在できる人を増やしつつある ⚫upstream OSSチェックは2人体制 ⚫Upstream OSS関連作業は慣れている人と慣れてい ない人がペアになってノウハウを伝達 33
もくじ 34 ▌サイボウズとサイボウズのインフラ ▌これまでの開発&OSS貢献実績 ⚫検証中に見つけたRook/Cephの機能追加、バグ修正 ⚫upstream Cephのテスト改善提案 ⚫Upstream OSS最新情報チェック ▌OSSコミュニティとつきあうベストプラクティス
基本的な考え方 ▌OSSへの貢献を特別なものと捉えない ▌OSSを使っていれば自然と貢献に繋げられる 1. 自社システムの課題を見つける 2. 課題をOSSコミュニティに共有 3. コミュニティ全体の利益になるよう一緒に解決 ▌企業同士の協業に近い(同じではない)
35
はじめの一歩 ▌簡単なバグ報告/修正から始める ⚫ドキュメント修正やテスト追加もアリ ▌具体的にどうするか ⚫貢献方法が書いている公式ドキュメントを見る ⚫GitHubなどを見て真似する ⚫経験がある人に助けてもらう 36
最初から肯定的な反応を期待しない ▌否定的な反応は注目されているサイン ⚫落としどころを見つけるために議論を重ねる ⚫無理筋なときは引き下がる。無理強いは嫌われる ▌無視が一番困る ⚫単に忘れられているだけでpingを打つと反応があることも ⚫説明しなおせば相手してもらえることも ⚫ × 「これが直らないと弊社が困るんです」
⚫ 〇 「これはみんながハマりうる問題です」 37
押さえておきたいこと ▌どこでコミュニケーションをとればいいか ▌Main branchやリリース版へのマージ条件 ▌リリースサイクル ▌キーマンは誰か 38
会社のサポートがあるとよい ▌OSSへの理解があるとうれしい ⚫自社のスケジュール通りには進まない ⚫自社の利益に直結しないタスクをすることも ⚫ ポリシーとして明文化されているとよい ▌Open Source Program Office(OSPO)があると楽
⚫ライセンスの使用可否の判断、知見蓄積 ⚫OSSコミュニティとのやりとりのアドバイス 39
まとめ ▌サイボウズはRook/Cephクラスタ開発の一環 としてupstream OSSに成果を還元してきた ▌この結果、OSSとのつきあいかたについての ノウハウを蓄積した ▌これからもこの方法で開発を進める ▌一緒に働いてくれる仲間を募集中! 40
That’s all, thank you! 41