Glacierだからってコストあきらめてない？ / JAWS Meet Glacier Cost

by sasaki

Slide 1

Slide 1 text

Glacierだからってコストあきらめてない？ 2025年7月5日株式会社コドモン佐々木真也

Slide 2

Slide 2 text

2 ● 名前 ○ 佐々木真也 ● 所属 ○ 株式会社コドモン ■ SREチームマネージャー ● X ○ @taishin ● 居住地 ○ 大阪自己紹介

Slide 3

Slide 3 text

3 パパママと、子どもとの時間に 1秒でも多くの笑顔と愛情をすべての先生に子どもと向き合う時間と心のゆとりを「保育・子育て」と社会をつなげる保護者の子育てへの伴走保育・教育者の環境改善子育ての社会インフラ作り子どもを取り巻く環境をテクノロジーの力でよりよいものにミッション私たちの使命

Slide 4

Slide 4 text

すべての先生に子どもと向き合う時間と心のゆとりをこんなプロダクトを開発していますメインプロダクトは、こども施設職員の業務を支援するWebアプリケーション。保護者と施設のやり取りを支えるモバイルアプリケーションや、施設職員向けモバイル版アプリケーション、外部サービスと連携するAPIなども開発しています。 4

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

13 CONFIDENTIAL - © 2022 CoDMON Inc. 13 データベースのバックアップ ● データベース(Aurora MySQL)のバックアップを保存する必要があった ● 現在はAmazon Aurora Export S3を利用 ○ Apache Parquet形式なので、圧縮される ● 以前は mysqldumpのデータをS3にそのまま保存 ○ .sqlファイル、テキスト形式 ○ テーブルごとにファイルを作成・・・

Slide 14

Slide 14 text

14 CONFIDENTIAL - © 2022 CoDMON Inc. 14 データベースのバックアップ ● データベース(Aurora MySQL)のバックアップを保存する必要があった ● 現在はAmazon Aurora Export S3を利用 ○ Apache Parquet形式なので、圧縮される ● 以前は mysqldumpのデータをS3にそのまま保存 ○ .sqlファイル、テキスト形式 ○ テーブルごとにファイルを作成・・・

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

20 CONFIDENTIAL - © 2022 CoDMON Inc. 20 AWS SAにもらったアドバイス ● 事前に圧縮率を検証したほうがいいよ ○ 圧縮後が80％くらいならGlacierの取り出し料金は1年くらいでペイできそう ● Glacierはオブジェクトごとにメタデータが付与され、その容量も課金対象なので、アーカイブしてファイル数も減らした方がいいよ ● ゲートウェイ型のVPCエンドポイントを使えば S3 <-> EC2間のデータ転送量はかからないよ ● 作業はエラー検知、ハンドリングもした方がいいよ

Slide 21

Slide 21 text

21 事前検討

Slide 22

Slide 22 text

Slide 23

Slide 23 text

23 CONFIDENTIAL - © 2022 CoDMON Inc. 23 圧縮方式 ● gzipを採用 ○ 選定理由 ■ bz2は圧縮率は高いが、時間がかかりすぎ、作業にかかる一時費用にも差が大きそう ■ 圧縮後の費用差もそんなに高額ではない gzip bz2 圧縮後のデータサイズ 50GB 32GB 圧縮後の割合 9% 6% 圧縮完了までの時間約2時間約21時間 534GBのデータでのテスト結果

Slide 24

Slide 24 text

Slide 25

Slide 25 text

25 CONFIDENTIAL - © 2022 CoDMON Inc. 25 EC2インスタンス ● インスタンスサイズ ○ c7g.largeを選定 ■ maxでCPU使用率60％、メモリ使用率50％ ■ c7g.xlargeにしても完了までの時間に変化はなかった ● EBSサイズ ○ 1.5TB ■ 一回のバックアップの最大が900GBくらい ■ 圧縮作業時でも使用量は1.2倍程度なので1.5TBで対応可能と判断

Slide 26

Slide 26 text

Slide 27

Slide 27 text

27 構成と費用が発生するポイント

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

34 実行

Slide 35

Slide 35 text

Slide 36

Slide 36 text

36 結果

Slide 37

Slide 37 text

Slide 38

Slide 38 text

38 まとめ

Slide 39

Slide 39 text

Slide 40

Slide 40 text

40 コドモン採用ページ開発ブログコドモンでは一緒に働きたい仲間を募集しています！

Slide 41

Slide 41 text

No content