Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Glacierだからってコストあきらめてない? / JAWS Meet Glacier Cost
Search
sasaki
July 05, 2025
Technology
0
19
Glacierだからってコストあきらめてない? / JAWS Meet Glacier Cost
sasaki
July 05, 2025
Tweet
Share
More Decks by sasaki
See All by sasaki
スケールするプロダクトと膨らむ組織 SREの挑戦と解決策 / Findy Job LT SRE
taishin
0
72
組織の変化とSREの役割進化 責務拡大にどう応えるか / globis_sre
taishin
0
180
Lambdaの運用についてのなにか / lambda_unyo
taishin
0
150
おすすめAWSコスト対策 / AWS Startup Meetup Osaka AWS Cost
taishin
1
380
プラットフォームってつくることより計測することが重要なんじゃないかという話 / Platform Engineering Meetup #8
taishin
1
1.2k
ECS Runtime Monitoring で コンテナランタイムセキュリティに入門 / nakanoshima-dev-ecs-runtime-monitoring
taishin
0
240
JAWS-UG-Osaka-guardrail
taishin
0
320
成長を続けるSaaSのAWSコスト管理において 開発者としてできること / AWS DevDay SaaS Cost
taishin
11
2.9k
IaCのCI/CDを考えよう / JAWS-UG_Okayama_IaC_CICD
taishin
2
1.5k
Other Decks in Technology
See All in Technology
OpenHands🤲にContributeしてみた
kotauchisunsun
1
500
CI/CD/IaC 久々に0から環境を作ったらこうなりました
kaz29
1
200
強化されたAmazon Location Serviceによる新機能と開発者体験
dayjournal
3
250
Node-REDのFunctionノードでMCPサーバーの実装を試してみた / Node-RED × MCP 勉強会 vol.1
you
PRO
0
130
React開発にStorybookとCopilotを導入して、爆速でUIを編集・確認する方法
yu_kod
1
100
Understanding_Thread_Tuning_for_Inference_Servers_of_Deep_Models.pdf
lycorptech_jp
PRO
0
150
製造業からパッケージ製品まで、あらゆる領域をカバー!生成AIを利用したテストシナリオ生成 / 20250627 Suguru Ishii
shift_evolve
PRO
1
160
生成AI開発案件におけるClineの業務活用事例とTips
shinya337
0
180
20250625 Snowflake Summit 2025活用事例 レポート / Nowcast Snowflake Summit 2025 Case Study Report
kkuv
1
370
論文紹介:LLMDet (CVPR2025 Highlight)
tattaka
0
240
KubeCon + CloudNativeCon Japan 2025 Recap Opening & Choose Your Own Adventureシリーズまとめ
mmmatsuda
0
230
Tech-Verse 2025 Keynote
lycorptech_jp
PRO
0
1.3k
Featured
See All Featured
We Have a Design System, Now What?
morganepeng
53
7.7k
Designing for Performance
lara
609
69k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
46
9.6k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.3k
Writing Fast Ruby
sferik
628
62k
Music & Morning Musume
bryan
46
6.6k
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
Build your cross-platform service in a week with App Engine
jlugia
231
18k
RailsConf 2023
tenderlove
30
1.1k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
GraphQLの誤解/rethinking-graphql
sonatard
71
11k
Transcript
Glacierだからってコストあきらめてない? 2025年7月5日 株式会社コドモン 佐々木真也
2 • 名前 ◦ 佐々木真也 • 所属 ◦ 株式会社コドモン ▪
SREチーム マネージャー • X ◦ @taishin • 居住地 ◦ 大阪 自己紹介
3 パパママと、子どもとの時間に 1秒でも多くの笑顔と愛情を すべての先生に 子どもと向き合う時間と心のゆとりを 「保育・子育て」と 社会をつなげる 保護者の子育てへの伴走 保育・教育者の環境改善 子育ての社会インフラ作り
子どもを取り巻く環境を テクノロジーの力で よりよいものに ミッション 私たちの使命
すべての先生に 子どもと向き合う 時間と心のゆとりを こんなプロダクトを開発しています メインプロダクトは、こども施設職員の業務を支援するWebアプリケーション。 保護者と施設のやり取りを支えるモバイルアプリケーションや、施設職員向けモバイル版 アプリケーション、外部サービスと連携するAPIなども開発しています。 4
5
6 CONFIDENTIAL - © 2022 CoDMON Inc. 6 S3 ストレージクラス
• S3 Standard • S3 Standard-IA • S3 Glacier Instant Retrieval • S3 Glacier Flexible Retrieval • S3 Glacier Deep Archive 高コスト 低コスト
7 CONFIDENTIAL - © 2022 CoDMON Inc. 7 S3 ストレージクラス
• S3 Standard • S3 Standard-IA • S3 Glacier Instant Retrieval • S3 Glacier Flexible Retrieval • S3 Glacier Deep Archive 高コスト 低コスト
8 CONFIDENTIAL - © 2022 CoDMON Inc. 8 ウチのGlacier Deep
Archive(GDA)の高くない? S3 Standard S3 GDA
9 CONFIDENTIAL - © 2022 CoDMON Inc. 9 GDA 料金がかかっていたS3バケット
• PB!! 1.xxx PB • サイズ ◦ 1.XPB • オブジェクト数 ◦ 5X万
10 CONFIDENTIAL - © 2022 CoDMON Inc. 10 S3 Glacier
Deep Archive 保存料金 • USD 0.002/GB /月 (東京リージョン) • 1PBの場合 ◦ 月 0.002 * 1024 * 1024 * 150 = ¥314,572.8 ◦ 年 314,572.8 * 12 = ¥3,774,873.6
11 CONFIDENTIAL - © 2022 CoDMON Inc. 11 GDA 料金がかかっていたS3バケットのオブジェクト
• .sql ?
12 CONFIDENTIAL - © 2022 CoDMON Inc. 12 GDA 料金がかかっていたS3バケットのオブジェクト
• .sql ? mysqldump? ただのテキストデータなのでは?
13 CONFIDENTIAL - © 2022 CoDMON Inc. 13 データベースのバックアップ •
データベース(Aurora MySQL)のバックアップを保存する必要があった • 現在はAmazon Aurora Export S3を利用 ◦ Apache Parquet形式なので、圧縮される • 以前は mysqldumpのデータをS3にそのまま保存 ◦ .sqlファイル、テキスト形式 ◦ テーブルごとにファイルを作成・・・
14 CONFIDENTIAL - © 2022 CoDMON Inc. 14 データベースのバックアップ •
データベース(Aurora MySQL)のバックアップを保存する必要があった • 現在はAmazon Aurora Export S3を利用 ◦ Apache Parquet形式なので、圧縮される • 以前は mysqldumpのデータをS3にそのまま保存 ◦ .sqlファイル、テキスト形式 ◦ テーブルごとにファイルを作成・・・
15 CONFIDENTIAL - © 2022 CoDMON Inc. 15 それなら •
テキストファイルだったら圧縮すれば、データ量が減って、コストが下が るのでは? ① Glacierから取り出し
16 CONFIDENTIAL - © 2022 CoDMON Inc. 16 それなら •
テキストファイルだったら圧縮すれば、データ量が減って、コストが下が るのでは? ② ダウンロード
17 CONFIDENTIAL - © 2022 CoDMON Inc. 17 それなら •
テキストファイルだったら圧縮すれば、データ量が減って、コストが下が るのでは? ③ 圧縮
18 CONFIDENTIAL - © 2022 CoDMON Inc. 18 それなら •
テキストファイルだったら圧縮すれば、データ量が減って、コストが下が るのでは? ④ Glacierにアップロード
19 CONFIDENTIAL - © 2022 CoDMON Inc. 19 AWS SAに相談
• 割とよくやることらしい ◦ 自動化している事例 https://aws.amazon.com/jp/blogs/news/compressing-and-archiving-logs-to-the-amazon-s3-glacier-storage-classes/
20 CONFIDENTIAL - © 2022 CoDMON Inc. 20 AWS SAにもらったアドバイス
• 事前に圧縮率を検証したほうがいいよ ◦ 圧縮後が80%くらいならGlacierの取り出し料金は1年くらいでペイで きそう • Glacierはオブジェクトごとにメタデータが付与され、その容量も課金対象 なので、アーカイブしてファイル数も減らした方がいいよ • ゲートウェイ型のVPCエンドポイントを使えば S3 <-> EC2間のデータ転 送量はかからないよ • 作業はエラー検知、ハンドリングもした方がいいよ
21 事前検討
22 CONFIDENTIAL - © 2022 CoDMON Inc. 22 圧縮率の調査 •
GZIPでの圧縮 ◦ データサイズ 534GB → 50GB ◦ 圧縮後のデータ量 9% 圧縮後が80%で一次費用1年で元取れるかもってことだっ たので9%ならもっと早く回収できそう ↓ 実施決定
23 CONFIDENTIAL - © 2022 CoDMON Inc. 23 圧縮方式 •
gzipを採用 ◦ 選定理由 ▪ bz2は圧縮率は高いが、時間がかかりすぎ、作業にかかる一時費用にも差が大きそう ▪ 圧縮後の費用差もそんなに高額ではない gzip bz2 圧縮後のデータサイズ 50GB 32GB 圧縮後の割合 9% 6% 圧縮完了までの時間 約2時間 約21時間 534GBのデータでのテスト結果
24 CONFIDENTIAL - © 2022 CoDMON Inc. 24 ファイル数の削減 •
一回のバックアップデータを一ファイルにアーカイブしてファイル数を削減 xxx.sql xxx.sql xxx.sql 2020120101.tar.gz
25 CONFIDENTIAL - © 2022 CoDMON Inc. 25 EC2インスタンス •
インスタンスサイズ ◦ c7g.largeを選定 ▪ maxでCPU使用率60%、メモリ使用率50% ▪ c7g.xlargeにしても完了までの時間に変化はなかった • EBSサイズ ◦ 1.5TB ▪ 一回のバックアップの最大が900GBくらい ▪ 圧縮作業時でも使用量は1.2倍程度なので1.5TBで対応可能と判断
26 CONFIDENTIAL - © 2022 CoDMON Inc. 26 EC2インスタンス •
AMIの用意 ◦ 実行スクリプトを配置 ◦ Cloudwatchエージェントの設定 ▪ CloudWatch Logsに実行経過、エラー、完了を送信 ◦ Session Managerでログインできるようにする
27 構成と費用が発生するポイント
28 CONFIDENTIAL - © 2022 CoDMON Inc. 28 構成
29 CONFIDENTIAL - © 2022 CoDMON Inc. 29 Glacierからの取り出し •
⼤容量復元 ◦ 0.005 USD/GB ◦ 0.025 USD/1,000 リクエスト • 今回の試算 ◦ 0.005USD/GBx1,000,000 GB = 5,000 USD ◦ 0.025USD/1,000リクエストx500,000=12.5 USD
30 CONFIDENTIAL - © 2022 CoDMON Inc. 30 S3 →
EC2へのデータ転送 • ゲートウェイエンドポイントを経由 することで、データ処理料金や時間 単位料金は無料 • GET 料⾦ ◦ 0.00037 USD/1,000 リクエスト ◦ 無視できる範囲
31 CONFIDENTIAL - © 2022 CoDMON Inc. 31 EC2、EBS使用料 EC2、EBSは従量課金
32 CONFIDENTIAL - © 2022 CoDMON Inc. 32 VPCエンドポイント利用料金 Interfaceタイプは有料
Gatewayタイプは無料
33 CONFIDENTIAL - © 2022 CoDMON Inc. 33 EC2 →
S3へのデータ転送 • ゲートウェイエンドポイントを経由 することで、データ処理料金や時間 単位料金は無料 • PUT 料⾦ ◦ 0.065 USD/1,000 リクエスト ◦ アーカイブしてファイル数を減らす ことで無視できる範囲
34 実行
35 CONFIDENTIAL - © 2022 CoDMON Inc. 35 実行 •
2ヶ月分くらいのバックアップをGDAから取り出し • 作成したAMIからEC2を30台くらい起動 • 各インスタンスでスクリプトを実行 • 2日くらいで終了 ◦ 終了したらCloudWatch Logs → Slackで通知
36 結果
37 CONFIDENTIAL - © 2022 CoDMON Inc. 37 GDA 料金がかかっていたS3バケット
• GDA削減額 ◦ 該当バケット約90% 削減 • 一時費用 ◦ 約5ヶ月でペイ
38 まとめ
39 CONFIDENTIAL - © 2022 CoDMON Inc. 39 まとめ •
GDAの費用は知らない間に大きくなってる • テキストデータなら圧縮効果は大きいのでやってみる価値はあり • 計画は大事!
40 コドモン採用ページ 開発ブログ コドモンでは一緒に働きたい仲間を募集しています!
None