4ペタバイトを超えるオブジェクトストレージをハードウェアからアプリケーションにかけて運用するノウハウ

1
4ペタバイトを超えるオブジェクトストレージを
ハードウェアからアプリケーションにかけて
運用するノウハウ
三上烈史（みかみ　つし） / GMO PEPABO inc.
2023.03.19 YAPC::Kyoto 2023

View Slide

まずは自己紹介
2

View Slide

3
自己紹介
三上　烈史（みかみ　つよし）
https://twitter.com/rsym1290
GMOペパボ株式会社
技術部プラットフォームグループ
2016年9月入社
担当している業務
- SRE
- インフラ
趣味
- ランニング・マラソン

View Slide

4
会社紹介
GMOペパボ株式会社
https://pepabo.com/
主な事業
- ホスティング
- EC支援
- ハンドメイド
- そ他

View Slide

本題へ
5

View Slide

6
- 弊社では独自にオブジェクトストレージを保有しています
- ほとんどの人はオブジェクトストレージを使うことはあっても、オブジェクトストレージ自体を作って運用
すことはあまないかなと思います
- 弊社ではどのうにオブジェクトストレージを作、そして運用してきたのかその知見を「ハードウェアの
レイヤかアプリケーションのレイヤにかけて」広く紹介したいと思います
本発表で伝えたいこと

View Slide

7
- ペパボのオブジェクトストレージ
- オブジェクトストレージのアーキテクチャ
- ハードウェアの運用ノウハウ
- オブジェクトストレージのAPIの実装
- 今後のオブジェクトストレージ/S3移設
アジェンダ

View Slide

ペパボのオブジェクトストレージ
8

View Slide

9
弊社では2つのサービスでオブジェクトストレージを運用しています

View Slide

10
- 写真や動画をアルバム形式で共有できサービス
- 大量の写真・動画保存すためにオブジェクトストレージを用
いています
- 2023/3/16時点で約8.7億枚の写真をお預かしています
30daysAlbum https://30d.jp/

View Slide

11
30daysAlbum https://30d.jp/
- YAPC::Kyoto 2023のスペシャルサンクスとして掲載させていただいておます
- 過去の写真が30daysAlbumにアップロードさています
- YAPC::Tokyo 2019：https://30d.jp/yapcjapan/4

View Slide

12
- ペパボ独自のプライベートなオブジェクトストレージ
- ペパボ各サービスから利用される社内向けサービス
- S3 REST API互換（一部だけ実装）
- 主な用途
- ショップ・ホームページ用コンテンツ
- 商品画像・ホームページ用画像など
Bayt(ベイト)

View Slide

13
とこで

View Slide

14
現代におけるオブジェクトストレージといえば？

View Slide

15
- 30daysAlbumは2008年に開始したサービス
- MogileFSを使って写真や動画を保存するためストレージを構築した
- Baytは2015年に運用を開始
- それまでサービスごとプラットフォーム・ストレージを持っていた
- 各サービス成長に伴い大統一なオブジェクトストレージも必要になった
- 30daysAlbumで培ったMogileFSを用いたオブジェクトストレージ運用知見をBaytに応用
- S3も選択肢になったが自前で運用した方がコスト面で大きなメリットがあった
なぜ自前でオブジェクトストレージ？

View Slide

16
- コストを重視すな Bayt
- S3と比べて非常に安価
- 豊富な機能を重視すな S3/GCS
- 利用できるS3 REST API 一部だけ
- CloudFrontやLambdaなどと連携における柔軟性
（Baytも連携できるが柔軟性で劣る）
BaytとS3/GCSとの使い分け

View Slide

オブジェクトストレージのアーキテクチャ
17

View Slide

18
- Perlで実装さたスケーラブルな分散ストレージを構築でき OSS
- https://github.com/mogilefs/MogileFS-Server
MogileFS(モガイルエフエス)とは？

View Slide

19
- 以下の要素で構成さ
- client：
- リクエストを発行する
- tracker：
- クライアントからリクエストを受け付ける
- database：
- オブジェクト保存場所やストレージを構成するサーバ・デバイス情報を格納したデータベース
- storage node：
- 実際にオブジェクトが格納される場所
- 弊社で C言語で実装されたcmogstoredを利用
- https://yhbt.net/cmogstored/
MogileFSとは？

View Slide

20
MogileFSとは？
tracker
client
storage
node
database storage
node
storage
node
リクエスト
オブジェクト取得・格納
（HTTPを利用）
オブジェクト保存先
オブジェクト

View Slide

21
弊社のサービスに当てはめてみます

View Slide

22
30daysAlbumでのMogileFSの利用
HDD
HDD
HDD
HDD
HDD
HDD
cmogstored
tracker
30daysAlbum用
API
MogileFS用DB
オブジェクト用メ
タデータ
worker
フロントエンド
アプリ
リバースプロキシ
DBサーバストレージサーバ
APIサーバ
画像処理サーバ
フロントエンドサー
バ
https://30d.jp

View Slide

23
Baytも含めたMogileFSの利用
HDD
HDD
HDD
HDD
HDD
HDD
cmogstored
tracker
30daysAlbum用
API
Bayt用API
MogileFS用DB
タデータ
worker
フロントエンド
アプリ
DBサーバストレージサーバ
APIサーバ
画像処理サーバ
フロントエンドサー
バ
https://30d.jp https:///
MogileFS 運用知見を
生かすためにバックエンドを
そままにBaytを追加

View Slide

30daysAlbum用
API
Bayt用API
24
- フロントエンドは別ていがバックエンドは共有してい
- 物理的に 30daysAlbum オブジェクトとBayt オブジェクト混在している
- MogileFS ドメイン仕組みを利用して論理的に区別している
- 各オブジェクト複数ストレージサーバに複製して配置される
30daysAlbumとBaytのオブジェクト
HDD
HDD
HDD
HDD
HDD
HDD
cmogstored
HDD
HDD
HDD
HDD
HDD
HDD
cmogstored
HDD
HDD
HDD
HDD
HDD
HDD
cmogstored
tracker

View Slide

ハードウェアの運用ノウハウ
25

View Slide

26
みなさんが運用していサービスで
ハードウェアって意識してますか？

View Slide

27
- クラウドの活用が当た前な昨今、ハードウェアを意識す場面は減つつあ
- でもクラウドの中身を支えていのは紛もなく「ハードウェア」
- 弊社のオブジェクトストレージも例外ではない
オブジェクトストレージを構成するハードウェアについて深掘りしていきます

View Slide

28
- ストレージサーバ：15台
- HDD：386本
- 6TB：14本
- 10TB：76本
- 12TB：89本
- 14TB：120本
- 18TB：87本
ストレージサーバの台数・構成(2023/3/16現在)
Checking devices...
host device size(G) used(G) free(G) use% ob state I/O%
---- ------------ ---------- ---------- ---------- ------ ---------- -----
[35] dev459 9312.008 8369.544 942.463 89.88% writeable 0.0
[35] dev460 9312.008 8367.161 944.846 89.85% writeable 0.0
[35] dev461 9312.008 8366.666 945.342 89.85% writeable 0.0
…
[49] dev839 16762.008 6854.785 9907.222 40.89% writeable 15.3
[49] dev840 16762.008 6855.121 9906.887 40.90% writeable 6.4
[49] dev841 16762.008 6855.199 9906.809 40.90% writeable 10.0
[49] dev842 16762.008 6854.847 9907.161 40.90% writeable 3.3
---- ------------ ---------- ---------- ---------- ------
total:4803153.439 4124898.135 678255.304 85.88%
総容量：4.58ペタバイト

View Slide

29
- 2023/3/16現在で総容量4.58ペタバイト
- オブジェクトを預かことができだけの容量を常に維持す必要があ
- 大容量を確保するために大量 HDDが必要
オブジェクトストレージに必要な総容量は常に増える

View Slide

30
- ラックを無尽蔵に増やすことはできない
- サーバもHDDも寿命があ
- サーバの性能は相対的に劣化す
ただサーバ・HDDを増設すれば良いわけではない

View Slide

31
- サーバラック代は高い
- 1ラックあたり月額20〜30万円（データセンターによる）
- サーバを闇雲に増やすとサーバラックの追加も必要
- 運用コストがどんどん増えていく
ラックを無尽蔵に増やすことはできない

View Slide

32
- サーバもHDDもいつか壊
- 壊＝ストレージの総容量が減・故障に対す対応が増え
- 壊前に廃棄す必要があ
サーバもHDDも寿命がある

View Slide

33
HDDを廃棄すとこうなます
サーバもHDDも寿命がある

View Slide

34
- 時の流と共に高性能なサーバが出現す
- 当時導入さたサーバは相対的に性能が不足していく
サーバの性能は相対的に劣化する

View Slide

35
ライフサイクルを意識した
ハードウェアの運用が必須

View Slide

36
- 古いサーバやHDDは積極的に廃棄す（一時的にストレージの総量は減）
- サーバを廃棄すことでサーバのラックスペースを確保でき
- 確保したスペースに大容量HDDを搭載した性能の良いサーバを投入す
ストレージサーバの増設・退役のライフサイクル
ストレージサーバ #1
(6TB HDD x 16)
(6TB HDD x 16)
(6TB HDD x 16)
(6TB HDD x 16)
(6TB HDD x 16)
(18TB HDD x 16)
(6TB HDD x 16)
(6TB HDD x 16)
サーバラックサーバラックサーバラック
total：288TB total：192TB total：480TB
廃棄
増設

View Slide

37
- HDDの収容能力と筐体サイズのバランス
- 収容能力が高い＝限られたラックスペースを有効活用できる
- 採用しているストレージサーバ収容能力
- 2U 16Bayサーバ
- 4U 36Bayサーバ
- cmogstoredを動かすサーバの性能要件
- 実 CPU/メモリそこまでいらない
ストレージサーバの増設・サーバの選定
※ Bay(ベイ)：HDDを収容できるスペースこと

View Slide

38
- 採用してい HDD
- データセンタ向けHDD
- フォームファクタ：LFF(3.5inch)
- 回転数：7200rpm
- 書き込み方式：CMR
- SSDではない理由
- 1ドライブあたりデータ容量 HDD 方が圧倒的に優れている
- SSD HDDに比べて容量単価が高い
- Bayt 要件として HDDでもIO性能十分足りる
HDDの選定

View Slide

39
参考：HDDの記録密度は現在も増え続けている
PC Watch 『東芝、30TB超のニアラインHDDを開発へ。11枚の多層化技術を活用』
https://pc.watch.impress.co.jp/docs/news/1455334.html

View Slide

40
余談ですが...

View Slide

41
- 半導体不足前は、納期2ヶ月前後で安定してました
- 今は、在庫がなけば半年〜1年かかます
半導体不足の影響を受けてます😢
納期から逆算した発注計画を立てる必要があります

View Slide

42
- 海外製のサーバを採用すと円安の影響を受けやすい
- 調達時の為替レートにって費用が変動（予算へのインパクト）
為替の影響を受けることもあります😢😢
Bloomberg 『ドル・円また下落シグナルか、移動平均線がデッドクロスへ』
https://www.bloomberg.co.jp/news/articles/2022-11-30/RM5ABJT1UM0Y01

View Slide

43
話を戻します 🙇

View Slide

44
- リリースしたそで終わではない
- サーバやHDDに寿命がある
- 時間流れ・サービス成長につれて当時十分な性能だったサーバ相対的に性能不足になる
- リリース・退役・廃棄まで面倒をみ必要があ
- 古くなったサーバを”壊れる前に”退役させて廃棄するまでが運用
- 壊れてからで遅い
ストレージサーバの退役
古いサーバを棄てることで初めて新しいサーバを取り入れることができる

View Slide

45
- とはいえどうしても壊こともあ
- smartmontoolsを利用したHDDの監視
- https://www.smartmontools.org/
- HDD 不調・故障を検知すると自動的に issueを起票する仕組みを導入
HDDの故障

View Slide

46
- MogileFSでは以下のステータスで各デバイス(HDD)を管理してい
- deadというステータスを利用することでそデバイスをオブジェクトストレージから切り離す
MogileFSの機能を利用した古いHDD・故障HDDの切り離し
GET PUT DELETE 用途
alive ◯ ◯ ◯ 平常時これをつかう
drain ◯ × ◯
新規オブジェクト PUTだけ止める場合
（あまり使わない）
readonly ◯ × ×
書き込みを一時停止する場合
（あまり使わない）
down × × ×
サーバ・ディスクメンテナンスなど
(alive/drain/readonlyに復帰可能)
dead × × ×
該当デバイスを2度と使わないようにする
(alive/drain/readonlyに復帰不可)

View Slide

47
- HDDのステータスをdeadにすことで古いHDD/故障HDDを切離す
- 各オブジェクト MogileFS 仕組みで複数ストレージサーバに複製して配置されている
- HDD ステータスがdeadになるとMogileFSによってオブジェクト再レプリケーションが実行される
MogileFSの機能を利用した古いHDD・故障HDDの切り離し
HDD
HDD
HDD
HDD
HDD
HDD
cmogstored
HDD
HDD
HDD
HDD
HDD
HDD
cmogstored
HDD
HDD
HDD
HDD
HDD
HDD
cmogstored
tracker

View Slide

48
こういった運用を継続した結果

View Slide

49
4ペタバイトを超えました😅
運用ノウハウ：ハードウェア編
もう一回ストレージを増設すると
5ペタバイトをこえそう
退役で容量が減っている
赤線が青線に触れないように運用

View Slide

オブジェクトストレージのAPIの実装
50

View Slide

51
BaytのAPI設計/実装
（S3 REST API）

View Slide

52
- REST API
- REST 原則を適用したAPI
- インターフェースを満たしていれ実装に制約ない
- S3のAPI Referenceに従ってREST APIを実装してい
- https://docs.aws.amazon.com/pdfs/AmazonS3/latest/API/s3-api.pdf
BaytはS3 REST API互換のオブジェクトストレージ

View Slide

53
- 実装してい API
- GetBucket
- GetObject
- HeadObject
- PutObject
- CopyObject
- DeleteObject
- GetObjectACL
- PutObjectACL
全てのAPI・オプションを実装しているわけではない

View Slide

54
$ aws s3api get-object --endpoint=http:/// --profile
--bucket --key hello.txt hello.txt
{
"AcceptRanges": "bytes",
"LastModified": "2020-01-28T22:58:00+00:00",
"ContentLength": 11,
"ETag": "\"3cb95cfbe1035bce8c448fcaf80fe7d9\"",
"ContentType": "text/plain",
"Metadata": {}
}
$ cat hello.txt
hello,world%
実行例(GetObject)

View Slide

55
S3 REST APIの実装

View Slide

56
インターフェースを満たしていれば実装は自由

View Slide

57
BaytはMogileFSをバックエンドとしてREST APIを実装
Ruby on Railsで実装

View Slide

58
Baytの構成図に当てはめると
HDD
HDD
HDD
HDD
HDD
HDD
cmogstored
tracker
Bayt用API
MogileFS用DB
タデータ
https:/// interface
API
MogileFS

View Slide

59
GetObjectを例に流を追ってみます

View Slide

60
GetObjectの流れ
GET /sample/object
HDD
HDD
HDD
HDD
HDD
HDD
cmogstored
tracker
Bayt用API
MogileFS用DB
タデータ

View Slide

61
GetObjectの流れ
メタデータ取得
- Content-Type
- Content-Length
- Etag
HDD
HDD
HDD
HDD
HDD
HDD
cmogstored
tracker
Bayt用API
MogileFS用DB
タデータ
オブジェクト格納先問い合わせ
GET /sample/object

View Slide

62
GetObjectの流れ
HDD
HDD
HDD
HDD
HDD
HDD
cmogstored
tracker
Bayt用API
MogileFS用DB
タデータ
オブジェクト格納先を検索検索結果に基づいてオブジェクトを取得
GET /sample/object

View Slide

63
GetObjectの流れ
HDD
HDD
HDD
HDD
HDD
HDD
cmogstored
tracker
Bayt用API
MogileFS用DB
タデータ
GET /sample/object
オブジェクト格納先をHTTPヘッダに格納して返す
- X-Reproxy-URL：http:///path/to/sample/object

View Slide

64
GetObjectの流れ
X-Reproxy-URLに記載されたパスへオブジェクトを
取りに行く
HDD
HDD
HDD
HDD
HDD
HDD
cmogstored
tracker
Bayt用API
MogileFS用DB
タデータ

View Slide

65
GetObjectの流れ
レスポンス
- Content-Type
- Content-Length
- Etag
- Body(オブジェクト)
HDD
HDD
HDD
HDD
HDD
HDD
cmogstored
tracker
Bayt用API
MogileFS用DB
タデータ

View Slide

今後のオブジェクトストレージ/S3移設
66

View Slide

67
- S3へ移設すことになました
- これまでコストを重視して Baytを利用してきましたが、サービス成長に伴い機能面を重視するた
めS3を利用する方針に切り替えました
- 弊社のテックブログもご覧ください
- 『プライベートなオブジェクトストレージから S3へ移設で直面した 2つ課題』
https://tech.pepabo.com/2022/12/16/bayt-to-s3-goope/
2015年から運用されていたBaytですが

View Slide

68
- 今後もストレージはどんどん成長していくことでしう
- 5ペタバイト、6ペタバイト...
- とはいえ課題もあます
- 運用属人化
- ハードウェア・MogileFS 有識者が限られている
- そ他アプリケーションも同様
- サービス全体レガシー化
30daysAlbumの運用は今後も続きます

View Slide

69
- 今後の取組み
- サービス成長を今後も支えていく
- 属人化対策
- 運用 toil削減・自動化による運用負担軽減
- ドキュメント充実
- オンコールトレーニングを通じた関係者障害対応力向上
- プラットフォーム見直し
- オンプレミス中心アーキテクチャからクラウド・オンプレミスハイブリット構成へ
- ハードウェア運用を最小限にするため
- コストバランスを踏まえてストレージ引き続きオンプレミスで運用を継続
30daysAlbumの運用は今後も続きます

View Slide

70
- 弊社のオブジェクトストレージを運用してきたのか、その知見を紹介しました
- MogileFSを用いたオブジェクトストレージアーキテクチャ
- ハードウェア導入から退役までライフサイクル
- S3 REST API 実装
- 30daysAlbum/Baytそぞの今後についてもお話ししました
まとめ

View Slide

71
最後に

View Slide

72
YAPC::Kyoto 2023の写真をぜひ
30daysAlbumへ！

View Slide

ご清聴ありがとうございました！
73

View Slide

74

View Slide

4ペタバイトを超えるオブジェクトストレージをハードウェアからアプリケーションにかけて運用するノウハウ

4ペタバイトを超えるオブジェクトストレージをハードウェアからアプリケーションにかけて運用するノウハウ

rsym1290

Featured

Transcript

4ペタバイトを超えるオブジェクトストレージを ハードウェアからアプリケーションにかけて 運用するノウハウ

4ペタバイトを超えるオブジェクトストレージを ハードウェアからアプリケーションにかけて 運用するノウハウ

rsym1290

Featured

Transcript

4ペタバイトを超えるオブジェクトストレージをハードウェアからアプリケーションにかけて運用するノウハウ

4ペタバイトを超えるオブジェクトストレージをハードウェアからアプリケーションにかけて運用するノウハウ