Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Glacierだからってコストあきらめてない? / JAWS Meet Glacier Cost
Search
sasaki
July 05, 2025
Technology
1
230
Glacierだからってコストあきらめてない? / JAWS Meet Glacier Cost
sasaki
July 05, 2025
Tweet
Share
More Decks by sasaki
See All by sasaki
FinOpsとタグ付け防止対策 / CCoE Osaka FinOps Tags
taishin
1
61
スケールするプロダクトと膨らむ組織 SREの挑戦と解決策 / Findy Job LT SRE
taishin
0
95
組織の変化とSREの役割進化 責務拡大にどう応えるか / globis_sre
taishin
0
200
Lambdaの運用についてのなにか / lambda_unyo
taishin
0
160
おすすめAWSコスト対策 / AWS Startup Meetup Osaka AWS Cost
taishin
1
390
プラットフォームってつくることより計測することが重要なんじゃないかという話 / Platform Engineering Meetup #8
taishin
1
1.2k
ECS Runtime Monitoring で コンテナランタイムセキュリティに入門 / nakanoshima-dev-ecs-runtime-monitoring
taishin
0
240
JAWS-UG-Osaka-guardrail
taishin
0
330
成長を続けるSaaSのAWSコスト管理において 開発者としてできること / AWS DevDay SaaS Cost
taishin
11
3k
Other Decks in Technology
See All in Technology
分散トレーシングによる コネクティッドカーのデータ処理見える化の試み
thatsdone
0
190
本当にわかりやすいAIエージェント入門
segavvy
10
5.9k
AWS Well-Architected から考えるオブザーバビリティの勘所 / Considering the Essentials of Observability from AWS Well-Architected
sms_tech
1
850
AI工学特論: MLOps・継続的評価
asei
10
1.4k
Amazon CloudWatchのメトリクスインターバルについて / Metrics interval matters
ymotongpoo
3
210
Step Functions First - サーバーレスアーキテクチャの新しいパラダイム
taikis
1
270
RapidPen: AIエージェントによる高度なペネトレーションテスト自動化の研究開発
laysakura
1
380
Webの技術とガジェットで那須の子ども達にワクワクを! / IoTLT_20250720
you
PRO
0
120
複数のGemini CLIが同時開発する狂気 - Jujutsuが実現するAIエージェント協調の新世界
gunta
11
3.1k
AIを使っていい感じにE2Eテストを書けるようになるまで / Trying to Write Good E2E Tests with AI
katawara
2
1.6k
室長の逆襲 :データ活用の陣地を増やすためのヒント
masatoshi0205
0
180
20250718_ITSurf_“Bet AI”を支える文化とコストマネジメント
helosshi
1
210
Featured
See All Featured
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
181
54k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
161
15k
Documentation Writing (for coders)
carmenintech
72
4.9k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
34
3.1k
The Pragmatic Product Professional
lauravandoore
35
6.8k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
34
5.9k
A Tale of Four Properties
chriscoyier
160
23k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.4k
Facilitating Awesome Meetings
lara
54
6.5k
Docker and Python
trallard
45
3.5k
Designing for Performance
lara
610
69k
Rails Girls Zürich Keynote
gr2m
95
14k
Transcript
Glacierだからってコストあきらめてない? 2025年7月5日 株式会社コドモン 佐々木真也
2 • 名前 ◦ 佐々木真也 • 所属 ◦ 株式会社コドモン ▪
SREチーム マネージャー • X ◦ @taishin • 居住地 ◦ 大阪 自己紹介
3 パパママと、子どもとの時間に 1秒でも多くの笑顔と愛情を すべての先生に 子どもと向き合う時間と心のゆとりを 「保育・子育て」と 社会をつなげる 保護者の子育てへの伴走 保育・教育者の環境改善 子育ての社会インフラ作り
子どもを取り巻く環境を テクノロジーの力で よりよいものに ミッション 私たちの使命
すべての先生に 子どもと向き合う 時間と心のゆとりを こんなプロダクトを開発しています メインプロダクトは、こども施設職員の業務を支援するWebアプリケーション。 保護者と施設のやり取りを支えるモバイルアプリケーションや、施設職員向けモバイル版 アプリケーション、外部サービスと連携するAPIなども開発しています。 4
5
6 CONFIDENTIAL - © 2022 CoDMON Inc. 6 S3 ストレージクラス
• S3 Standard • S3 Standard-IA • S3 Glacier Instant Retrieval • S3 Glacier Flexible Retrieval • S3 Glacier Deep Archive 高コスト 低コスト
7 CONFIDENTIAL - © 2022 CoDMON Inc. 7 S3 ストレージクラス
• S3 Standard • S3 Standard-IA • S3 Glacier Instant Retrieval • S3 Glacier Flexible Retrieval • S3 Glacier Deep Archive 高コスト 低コスト
8 CONFIDENTIAL - © 2022 CoDMON Inc. 8 ウチのGlacier Deep
Archive(GDA)の高くない? S3 Standard S3 GDA
9 CONFIDENTIAL - © 2022 CoDMON Inc. 9 GDA 料金がかかっていたS3バケット
• PB!! 1.xxx PB • サイズ ◦ 1.XPB • オブジェクト数 ◦ 5X万
10 CONFIDENTIAL - © 2022 CoDMON Inc. 10 S3 Glacier
Deep Archive 保存料金 • USD 0.002/GB /月 (東京リージョン) • 1PBの場合 ◦ 月 0.002 * 1024 * 1024 * 150 = ¥314,572.8 ◦ 年 314,572.8 * 12 = ¥3,774,873.6
11 CONFIDENTIAL - © 2022 CoDMON Inc. 11 GDA 料金がかかっていたS3バケットのオブジェクト
• .sql ?
12 CONFIDENTIAL - © 2022 CoDMON Inc. 12 GDA 料金がかかっていたS3バケットのオブジェクト
• .sql ? mysqldump? ただのテキストデータなのでは?
13 CONFIDENTIAL - © 2022 CoDMON Inc. 13 データベースのバックアップ •
データベース(Aurora MySQL)のバックアップを保存する必要があった • 現在はAmazon Aurora Export S3を利用 ◦ Apache Parquet形式なので、圧縮される • 以前は mysqldumpのデータをS3にそのまま保存 ◦ .sqlファイル、テキスト形式 ◦ テーブルごとにファイルを作成・・・
14 CONFIDENTIAL - © 2022 CoDMON Inc. 14 データベースのバックアップ •
データベース(Aurora MySQL)のバックアップを保存する必要があった • 現在はAmazon Aurora Export S3を利用 ◦ Apache Parquet形式なので、圧縮される • 以前は mysqldumpのデータをS3にそのまま保存 ◦ .sqlファイル、テキスト形式 ◦ テーブルごとにファイルを作成・・・
15 CONFIDENTIAL - © 2022 CoDMON Inc. 15 それなら •
テキストファイルだったら圧縮すれば、データ量が減って、コストが下が るのでは? ① Glacierから取り出し
16 CONFIDENTIAL - © 2022 CoDMON Inc. 16 それなら •
テキストファイルだったら圧縮すれば、データ量が減って、コストが下が るのでは? ② ダウンロード
17 CONFIDENTIAL - © 2022 CoDMON Inc. 17 それなら •
テキストファイルだったら圧縮すれば、データ量が減って、コストが下が るのでは? ③ 圧縮
18 CONFIDENTIAL - © 2022 CoDMON Inc. 18 それなら •
テキストファイルだったら圧縮すれば、データ量が減って、コストが下が るのでは? ④ Glacierにアップロード
19 CONFIDENTIAL - © 2022 CoDMON Inc. 19 AWS SAに相談
• 割とよくやることらしい ◦ 自動化している事例 https://aws.amazon.com/jp/blogs/news/compressing-and-archiving-logs-to-the-amazon-s3-glacier-storage-classes/
20 CONFIDENTIAL - © 2022 CoDMON Inc. 20 AWS SAにもらったアドバイス
• 事前に圧縮率を検証したほうがいいよ ◦ 圧縮後が80%くらいならGlacierの取り出し料金は1年くらいでペイで きそう • Glacierはオブジェクトごとにメタデータが付与され、その容量も課金対象 なので、アーカイブしてファイル数も減らした方がいいよ • ゲートウェイ型のVPCエンドポイントを使えば S3 <-> EC2間のデータ転 送量はかからないよ • 作業はエラー検知、ハンドリングもした方がいいよ
21 事前検討
22 CONFIDENTIAL - © 2022 CoDMON Inc. 22 圧縮率の調査 •
GZIPでの圧縮 ◦ データサイズ 534GB → 50GB ◦ 圧縮後のデータ量 9% 圧縮後が80%で一次費用1年で元取れるかもってことだっ たので9%ならもっと早く回収できそう ↓ 実施決定
23 CONFIDENTIAL - © 2022 CoDMON Inc. 23 圧縮方式 •
gzipを採用 ◦ 選定理由 ▪ bz2は圧縮率は高いが、時間がかかりすぎ、作業にかかる一時費用にも差が大きそう ▪ 圧縮後の費用差もそんなに高額ではない gzip bz2 圧縮後のデータサイズ 50GB 32GB 圧縮後の割合 9% 6% 圧縮完了までの時間 約2時間 約21時間 534GBのデータでのテスト結果
24 CONFIDENTIAL - © 2022 CoDMON Inc. 24 ファイル数の削減 •
一回のバックアップデータを一ファイルにアーカイブしてファイル数を削減 xxx.sql xxx.sql xxx.sql 2020120101.tar.gz
25 CONFIDENTIAL - © 2022 CoDMON Inc. 25 EC2インスタンス •
インスタンスサイズ ◦ c7g.largeを選定 ▪ maxでCPU使用率60%、メモリ使用率50% ▪ c7g.xlargeにしても完了までの時間に変化はなかった • EBSサイズ ◦ 1.5TB ▪ 一回のバックアップの最大が900GBくらい ▪ 圧縮作業時でも使用量は1.2倍程度なので1.5TBで対応可能と判断
26 CONFIDENTIAL - © 2022 CoDMON Inc. 26 EC2インスタンス •
AMIの用意 ◦ 実行スクリプトを配置 ◦ Cloudwatchエージェントの設定 ▪ CloudWatch Logsに実行経過、エラー、完了を送信 ◦ Session Managerでログインできるようにする
27 構成と費用が発生するポイント
28 CONFIDENTIAL - © 2022 CoDMON Inc. 28 構成
29 CONFIDENTIAL - © 2022 CoDMON Inc. 29 Glacierからの取り出し •
⼤容量復元 ◦ 0.005 USD/GB ◦ 0.025 USD/1,000 リクエスト • 今回の試算 ◦ 0.005USD/GBx1,000,000 GB = 5,000 USD ◦ 0.025USD/1,000リクエストx500,000=12.5 USD
30 CONFIDENTIAL - © 2022 CoDMON Inc. 30 S3 →
EC2へのデータ転送 • ゲートウェイエンドポイントを経由 することで、データ処理料金や時間 単位料金は無料 • GET 料⾦ ◦ 0.00037 USD/1,000 リクエスト ◦ 無視できる範囲
31 CONFIDENTIAL - © 2022 CoDMON Inc. 31 EC2、EBS使用料 EC2、EBSは従量課金
32 CONFIDENTIAL - © 2022 CoDMON Inc. 32 VPCエンドポイント利用料金 Interfaceタイプは有料
Gatewayタイプは無料
33 CONFIDENTIAL - © 2022 CoDMON Inc. 33 EC2 →
S3へのデータ転送 • ゲートウェイエンドポイントを経由 することで、データ処理料金や時間 単位料金は無料 • PUT 料⾦ ◦ 0.065 USD/1,000 リクエスト ◦ アーカイブしてファイル数を減らす ことで無視できる範囲
34 実行
35 CONFIDENTIAL - © 2022 CoDMON Inc. 35 実行 •
2ヶ月分くらいのバックアップをGDAから取り出し • 作成したAMIからEC2を30台くらい起動 • 各インスタンスでスクリプトを実行 • 2日くらいで終了 ◦ 終了したらCloudWatch Logs → Slackで通知
36 結果
37 CONFIDENTIAL - © 2022 CoDMON Inc. 37 GDA 料金がかかっていたS3バケット
• GDA削減額 ◦ 該当バケット約90% 削減 • 一時費用 ◦ 約5ヶ月でペイ
38 まとめ
39 CONFIDENTIAL - © 2022 CoDMON Inc. 39 まとめ •
GDAの費用は知らない間に大きくなってる • テキストデータなら圧縮効果は大きいのでやってみる価値はあり • 計画は大事!
40 コドモン採用ページ 開発ブログ コドモンでは一緒に働きたい仲間を募集しています!
None