Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Glacierだからってコストあきらめてない? / JAWS Meet Glacier Cost
Search
sasaki
July 05, 2025
Technology
1
260
Glacierだからってコストあきらめてない? / JAWS Meet Glacier Cost
sasaki
July 05, 2025
Tweet
Share
More Decks by sasaki
See All by sasaki
FinOpsとタグ付け防止対策 / CCoE Osaka FinOps Tags
taishin
1
80
スケールするプロダクトと膨らむ組織 SREの挑戦と解決策 / Findy Job LT SRE
taishin
0
110
組織の変化とSREの役割進化 責務拡大にどう応えるか / globis_sre
taishin
0
210
Lambdaの運用についてのなにか / lambda_unyo
taishin
0
160
おすすめAWSコスト対策 / AWS Startup Meetup Osaka AWS Cost
taishin
1
400
プラットフォームってつくることより計測することが重要なんじゃないかという話 / Platform Engineering Meetup #8
taishin
1
1.2k
ECS Runtime Monitoring で コンテナランタイムセキュリティに入門 / nakanoshima-dev-ecs-runtime-monitoring
taishin
0
250
JAWS-UG-Osaka-guardrail
taishin
0
330
成長を続けるSaaSのAWSコスト管理において 開発者としてできること / AWS DevDay SaaS Cost
taishin
11
3k
Other Decks in Technology
See All in Technology
Amazon Q と『音楽』-ゲーム音楽もAmazonQで作成してみた感想-
senseofunity129
0
140
Amazon Q Developerを活用したアーキテクチャのリファクタリング
k1nakayama
2
210
相互運用可能な学修歴クレデンシャルに向けた標準技術と国際動向
fujie
0
250
バクラクによるコーポレート業務の自動運転 #BetAIDay
layerx
PRO
1
950
僕たちが「開発しやすさ」を求め 模索し続けたアーキテクチャ #アーキテクチャ勉強会_findy
bengo4com
0
2.4k
Backlog AI アシスタントが切り開く未来
vvatanabe
1
130
Claude CodeでKiroの仕様駆動開発を実現させるには...
gotalab555
3
1k
結局QUICで通信は速くなるの?
kota_yata
5
3.3k
Google Agentspaceを実際に導入した効果と今後の展望
mixi_engineers
PRO
3
700
Oracle Exadata Database Service on Cloud@Customer X11M (ExaDB-C@C) サービス概要
oracle4engineer
PRO
2
6.3k
【新卒研修資料】数理最適化 / Mathematical Optimization
brainpadpr
27
13k
OPENLOGI Company Profile for engineer
hr01
1
38k
Featured
See All Featured
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
139
34k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
34
3.1k
Build The Right Thing And Hit Your Dates
maggiecrowley
37
2.8k
Measuring & Analyzing Core Web Vitals
bluesmoon
8
550
Docker and Python
trallard
45
3.5k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
53
2.9k
Rebuilding a faster, lazier Slack
samanthasiow
83
9.1k
How to Think Like a Performance Engineer
csswizardry
25
1.8k
Reflections from 52 weeks, 52 projects
jeffersonlam
351
21k
Speed Design
sergeychernyshev
32
1.1k
Scaling GitHub
holman
461
140k
Transcript
Glacierだからってコストあきらめてない? 2025年7月5日 株式会社コドモン 佐々木真也
2 • 名前 ◦ 佐々木真也 • 所属 ◦ 株式会社コドモン ▪
SREチーム マネージャー • X ◦ @taishin • 居住地 ◦ 大阪 自己紹介
3 パパママと、子どもとの時間に 1秒でも多くの笑顔と愛情を すべての先生に 子どもと向き合う時間と心のゆとりを 「保育・子育て」と 社会をつなげる 保護者の子育てへの伴走 保育・教育者の環境改善 子育ての社会インフラ作り
子どもを取り巻く環境を テクノロジーの力で よりよいものに ミッション 私たちの使命
すべての先生に 子どもと向き合う 時間と心のゆとりを こんなプロダクトを開発しています メインプロダクトは、こども施設職員の業務を支援するWebアプリケーション。 保護者と施設のやり取りを支えるモバイルアプリケーションや、施設職員向けモバイル版 アプリケーション、外部サービスと連携するAPIなども開発しています。 4
5
6 CONFIDENTIAL - © 2022 CoDMON Inc. 6 S3 ストレージクラス
• S3 Standard • S3 Standard-IA • S3 Glacier Instant Retrieval • S3 Glacier Flexible Retrieval • S3 Glacier Deep Archive 高コスト 低コスト
7 CONFIDENTIAL - © 2022 CoDMON Inc. 7 S3 ストレージクラス
• S3 Standard • S3 Standard-IA • S3 Glacier Instant Retrieval • S3 Glacier Flexible Retrieval • S3 Glacier Deep Archive 高コスト 低コスト
8 CONFIDENTIAL - © 2022 CoDMON Inc. 8 ウチのGlacier Deep
Archive(GDA)の高くない? S3 Standard S3 GDA
9 CONFIDENTIAL - © 2022 CoDMON Inc. 9 GDA 料金がかかっていたS3バケット
• PB!! 1.xxx PB • サイズ ◦ 1.XPB • オブジェクト数 ◦ 5X万
10 CONFIDENTIAL - © 2022 CoDMON Inc. 10 S3 Glacier
Deep Archive 保存料金 • USD 0.002/GB /月 (東京リージョン) • 1PBの場合 ◦ 月 0.002 * 1024 * 1024 * 150 = ¥314,572.8 ◦ 年 314,572.8 * 12 = ¥3,774,873.6
11 CONFIDENTIAL - © 2022 CoDMON Inc. 11 GDA 料金がかかっていたS3バケットのオブジェクト
• .sql ?
12 CONFIDENTIAL - © 2022 CoDMON Inc. 12 GDA 料金がかかっていたS3バケットのオブジェクト
• .sql ? mysqldump? ただのテキストデータなのでは?
13 CONFIDENTIAL - © 2022 CoDMON Inc. 13 データベースのバックアップ •
データベース(Aurora MySQL)のバックアップを保存する必要があった • 現在はAmazon Aurora Export S3を利用 ◦ Apache Parquet形式なので、圧縮される • 以前は mysqldumpのデータをS3にそのまま保存 ◦ .sqlファイル、テキスト形式 ◦ テーブルごとにファイルを作成・・・
14 CONFIDENTIAL - © 2022 CoDMON Inc. 14 データベースのバックアップ •
データベース(Aurora MySQL)のバックアップを保存する必要があった • 現在はAmazon Aurora Export S3を利用 ◦ Apache Parquet形式なので、圧縮される • 以前は mysqldumpのデータをS3にそのまま保存 ◦ .sqlファイル、テキスト形式 ◦ テーブルごとにファイルを作成・・・
15 CONFIDENTIAL - © 2022 CoDMON Inc. 15 それなら •
テキストファイルだったら圧縮すれば、データ量が減って、コストが下が るのでは? ① Glacierから取り出し
16 CONFIDENTIAL - © 2022 CoDMON Inc. 16 それなら •
テキストファイルだったら圧縮すれば、データ量が減って、コストが下が るのでは? ② ダウンロード
17 CONFIDENTIAL - © 2022 CoDMON Inc. 17 それなら •
テキストファイルだったら圧縮すれば、データ量が減って、コストが下が るのでは? ③ 圧縮
18 CONFIDENTIAL - © 2022 CoDMON Inc. 18 それなら •
テキストファイルだったら圧縮すれば、データ量が減って、コストが下が るのでは? ④ Glacierにアップロード
19 CONFIDENTIAL - © 2022 CoDMON Inc. 19 AWS SAに相談
• 割とよくやることらしい ◦ 自動化している事例 https://aws.amazon.com/jp/blogs/news/compressing-and-archiving-logs-to-the-amazon-s3-glacier-storage-classes/
20 CONFIDENTIAL - © 2022 CoDMON Inc. 20 AWS SAにもらったアドバイス
• 事前に圧縮率を検証したほうがいいよ ◦ 圧縮後が80%くらいならGlacierの取り出し料金は1年くらいでペイで きそう • Glacierはオブジェクトごとにメタデータが付与され、その容量も課金対象 なので、アーカイブしてファイル数も減らした方がいいよ • ゲートウェイ型のVPCエンドポイントを使えば S3 <-> EC2間のデータ転 送量はかからないよ • 作業はエラー検知、ハンドリングもした方がいいよ
21 事前検討
22 CONFIDENTIAL - © 2022 CoDMON Inc. 22 圧縮率の調査 •
GZIPでの圧縮 ◦ データサイズ 534GB → 50GB ◦ 圧縮後のデータ量 9% 圧縮後が80%で一次費用1年で元取れるかもってことだっ たので9%ならもっと早く回収できそう ↓ 実施決定
23 CONFIDENTIAL - © 2022 CoDMON Inc. 23 圧縮方式 •
gzipを採用 ◦ 選定理由 ▪ bz2は圧縮率は高いが、時間がかかりすぎ、作業にかかる一時費用にも差が大きそう ▪ 圧縮後の費用差もそんなに高額ではない gzip bz2 圧縮後のデータサイズ 50GB 32GB 圧縮後の割合 9% 6% 圧縮完了までの時間 約2時間 約21時間 534GBのデータでのテスト結果
24 CONFIDENTIAL - © 2022 CoDMON Inc. 24 ファイル数の削減 •
一回のバックアップデータを一ファイルにアーカイブしてファイル数を削減 xxx.sql xxx.sql xxx.sql 2020120101.tar.gz
25 CONFIDENTIAL - © 2022 CoDMON Inc. 25 EC2インスタンス •
インスタンスサイズ ◦ c7g.largeを選定 ▪ maxでCPU使用率60%、メモリ使用率50% ▪ c7g.xlargeにしても完了までの時間に変化はなかった • EBSサイズ ◦ 1.5TB ▪ 一回のバックアップの最大が900GBくらい ▪ 圧縮作業時でも使用量は1.2倍程度なので1.5TBで対応可能と判断
26 CONFIDENTIAL - © 2022 CoDMON Inc. 26 EC2インスタンス •
AMIの用意 ◦ 実行スクリプトを配置 ◦ Cloudwatchエージェントの設定 ▪ CloudWatch Logsに実行経過、エラー、完了を送信 ◦ Session Managerでログインできるようにする
27 構成と費用が発生するポイント
28 CONFIDENTIAL - © 2022 CoDMON Inc. 28 構成
29 CONFIDENTIAL - © 2022 CoDMON Inc. 29 Glacierからの取り出し •
⼤容量復元 ◦ 0.005 USD/GB ◦ 0.025 USD/1,000 リクエスト • 今回の試算 ◦ 0.005USD/GBx1,000,000 GB = 5,000 USD ◦ 0.025USD/1,000リクエストx500,000=12.5 USD
30 CONFIDENTIAL - © 2022 CoDMON Inc. 30 S3 →
EC2へのデータ転送 • ゲートウェイエンドポイントを経由 することで、データ処理料金や時間 単位料金は無料 • GET 料⾦ ◦ 0.00037 USD/1,000 リクエスト ◦ 無視できる範囲
31 CONFIDENTIAL - © 2022 CoDMON Inc. 31 EC2、EBS使用料 EC2、EBSは従量課金
32 CONFIDENTIAL - © 2022 CoDMON Inc. 32 VPCエンドポイント利用料金 Interfaceタイプは有料
Gatewayタイプは無料
33 CONFIDENTIAL - © 2022 CoDMON Inc. 33 EC2 →
S3へのデータ転送 • ゲートウェイエンドポイントを経由 することで、データ処理料金や時間 単位料金は無料 • PUT 料⾦ ◦ 0.065 USD/1,000 リクエスト ◦ アーカイブしてファイル数を減らす ことで無視できる範囲
34 実行
35 CONFIDENTIAL - © 2022 CoDMON Inc. 35 実行 •
2ヶ月分くらいのバックアップをGDAから取り出し • 作成したAMIからEC2を30台くらい起動 • 各インスタンスでスクリプトを実行 • 2日くらいで終了 ◦ 終了したらCloudWatch Logs → Slackで通知
36 結果
37 CONFIDENTIAL - © 2022 CoDMON Inc. 37 GDA 料金がかかっていたS3バケット
• GDA削減額 ◦ 該当バケット約90% 削減 • 一時費用 ◦ 約5ヶ月でペイ
38 まとめ
39 CONFIDENTIAL - © 2022 CoDMON Inc. 39 まとめ •
GDAの費用は知らない間に大きくなってる • テキストデータなら圧縮効果は大きいのでやってみる価値はあり • 計画は大事!
40 コドモン採用ページ 開発ブログ コドモンでは一緒に働きたい仲間を募集しています!
None