Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AWS CLI で気軽にコスト改善やってみた
Search
Kazuki Obata
November 07, 2024
Technology
1
58
AWS CLI で気軽にコスト改善やってみた
JAWS-UG CLI専門支部 #419 シェル基礎1 (入力)
https://jawsug-cli.connpass.com/event/335677/
Kazuki Obata
November 07, 2024
Tweet
Share
More Decks by Kazuki Obata
See All by Kazuki Obata
入門 KRR
donkomura
0
160
Other Decks in Technology
See All in Technology
株式会社島津製作所_研究開発(集団協業と知的生産)の現場を支える、OSS知識基盤システムの導入
akahane92
1
180
障害対応指揮の意思決定と情報共有における価値観 / Waroom Meetup #2
arthur1
3
260
第23回Ques_タイミーにおけるQAチームの在り方 / QA Team in Timee
takeyaqa
0
190
いざ、BSC討伐の旅
nikinusu
2
600
利きプロセススケジューラ
sat
PRO
4
2.6k
Lambdaと地方とコミュニティ
miu_crescent
2
220
RAGのためのビジネス文書解析技術
eida
3
660
データ活用促進のためのデータ分析基盤の進化
takumakouno
2
420
【令和最新版】AWS Direct Connectと愉快なGWたちのおさらい
minorun365
PRO
2
120
Postmanの日本市場におけるDevRel (的) 活動 / Postman's DevRelish activities in Japan
yokawasa
1
120
メールサーバ管理者のみ知る話
hinono
1
100
AWS Lambdaと歩んだ“サーバーレス”と今後 #lambda_10years
yoshidashingo
1
110
Featured
See All Featured
Music & Morning Musume
bryan
46
6.2k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
131
33k
Side Projects
sachag
452
42k
How To Stay Up To Date on Web Technology
chriscoyier
788
250k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
4
360
Keith and Marios Guide to Fast Websites
keithpitt
409
22k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
505
140k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
191
16k
[RailsConf 2023] Rails as a piece of cake
palkan
51
4.9k
How GitHub (no longer) Works
holman
310
140k
The Language of Interfaces
destraynor
154
24k
4 Signs Your Business is Dying
shpigford
180
21k
Transcript
© 2024 Wantedly, Inc. AWS CLI で気軽に コスト改善やってみた JAWS-UG CLI専門支部
#419 Nov. 7 - Kazuki Obata @donkomura
© 2024 Wantedly, Inc. 自己紹介 巨畠 和樹 (Obata Kazuki) @donkomura_
Wantedly, Inc. (2024/09~) インフラエンジニア #AWS歴2年目 #SAA #AWS Organizations #ボルダリング
© 2024 Wantedly, Inc. 解決したい課題 - Amazon S3 の multipart
upload - 大きなS3オブジェクトを分割してアップロードできる機能 - 未完了のもの課金対象になる - アップロードに失敗すると未完了の multipart uploads が残る - ストレージクラスと同じだけ料金がかかる - ムダな費用が発生しているのでは...?? - 未完了の multipart uploads が実はめっちゃ溜まってる...?? → 量を調べて削除したい 未完了の multipart uploads を削除したい
© 2024 Wantedly, Inc. 課題 • マネコンで multipart upload を一覧できない
→ AWS CLI でシュッと一覧したい(データ量も知りたい) どれぐらい multipart upload が溜まっているか知りたい https://docs.aws.amazon.com/ja_jp/AmazonS3/latest/userguide/list-mpu.html
© 2024 Wantedly, Inc. 調査 1. S3 バケットを一覧する ◦ aws
s3api list-buckets --query "Buckets[].Name" 2. バケットで進行中の multipart upload 操作を一覧する ◦ aws s3api list-multipart-uploads --bucket "$bucket" --query "Uploads[*].[Key,UploadId]" ◦ 最大 1,000件/req な点に注意 3. 未完了の multipart upload の詳細を一覧する ◦ aws s3api list-parts --bucket "$bucket" --key "$key" --upload-id "$upload_id" --query "Parts[*].Size" ◦ 最大 1,000件/req な点に注意 AWS CLI を活用してコストを試算する
© 2024 Wantedly, Inc. 試算する • 未完了な multipart upload のデータ量を求める
◦ cat data | cut -f3 -d, | \ awk '{s+=$1} END {print s " bytes"; split("B KB MB GB TB",unit); for(i=0; s>=1000 && i<5; i++) s/=1000; printf "%.2f %s\n", s, unit[i+1]}' • 費用を計算する ◦ ストレージタイプが「S3 標準」ならストレージ料金は 0.025 USD/GB ぐらい ◦ (データ量) x 0.025 = (未完了の multipart upload の費用) USD ◦ 180 GB ぐらいあったので、すべて消すと 700円ぐらい節約できる シェル芸をする
© 2024 Wantedly, Inc. 対処 • 未完了の multipart uploads を削除する
◦ aws s3api abort-multipart-upload \ --bucket $bucket --key $key --upload-id $upload_id • 今回はバケットライフサイクル設定を入れた ◦ AbortIncompleteMultipartUpload アクション ◦ Terraform で設定した ◦ AWS CLI で設定することもできる 未完了の multipart uploads を削除する
© 2024 Wantedly, Inc. まとめ • AWS CLI で時間をかけずにコストを見積もれた ◦
作業に 1h も使っていない • 多少スクリプトとして書く必要がある ◦ list の場合は1回で取得できる数が制限される ◦ 制限されていたら Marker を渡して再度実行する必要がある • AWS CLI で気軽にコスト改善できた 🚀 ◦ わずかだが、コスト改善に寄与 AWS CLI で未完了 multipart uploads の量を調査・コスト改善に寄与した話