Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Storage LensでS3を大掃除しよう
Search
Akira Sato
December 13, 2023
Technology
0
440
Storage LensでS3を大掃除しよう
Akira Sato
December 13, 2023
Tweet
Share
More Decks by Akira Sato
See All by Akira Sato
FinOps入門
a22sato
0
70
AWSのコストについて再考してみる
a22sato
0
58
1度で2度おいしいBedrock入門
a22sato
0
24
データ初心者がAWS Glue DataBrewでPII対策やってみた
a22sato
0
42
Transit GWでNat VPCを作成する
a22sato
1
320
リソースをIaCで管理しよう
a22sato
0
300
20231030_LT登壇資料.pdf
a22sato
0
750
Other Decks in Technology
See All in Technology
La gouvernance territoriale des données grâce à la plateforme Terreze
bluehats
0
170
2つのフロントエンドと状態管理
mixi_engineers
PRO
3
110
これでもう迷わない!Jetpack Composeの書き方実践ガイド
zozotech
PRO
0
490
人工衛星のファームウェアをRustで書く理由
koba789
15
7.9k
dbt開発 with Claude Codeのためのガードレール設計
10xinc
2
1.2k
共有と分離 - Compose Multiplatform "本番導入" の設計指針
error96num
2
490
なぜスクラムはこうなったのか?歴史が教えてくれたこと/Shall we explore the roots of Scrum
sanogemaru
5
1.6k
Practical Agentic AI in Software Engineering
uzyn
0
110
2025年になってもまだMySQLが好き
yoku0825
8
4.7k
DDD集約とサービスコンテキスト境界との関係性
pandayumi
3
280
EncryptedSharedPreferences が deprecated になっちゃった!どうしよう! / Oh no! EncryptedSharedPreferences has been deprecated! What should I do?
yanzm
0
330
「どこから読む?」コードとカルチャーに最速で馴染むための実践ガイド
zozotech
PRO
0
410
Featured
See All Featured
Documentation Writing (for coders)
carmenintech
74
5k
Navigating Team Friction
lara
189
15k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
49
3k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
358
30k
The Straight Up "How To Draw Better" Workshop
denniskardys
236
140k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
112
20k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
229
22k
Thoughts on Productivity
jonyablonski
70
4.8k
Scaling GitHub
holman
463
140k
Mobile First: as difficult as doing things right
swwweet
224
9.9k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
7
840
Transcript
Storage Lensで S3を⼤掃除しよう 2023/12/13 Akira Sato
⾃⼰紹介 • 佐藤 亨(Sato Akira) • @akirarara16 • デロイトトーマツウェブサービス •
JAWS SAPPOROの運営してます • StepFunctions、CloudFormation
アジェンダ ⼤掃除は今⽇始めよう︕ Storage Lensとは︖ 可視化してみる まとめ 今⽇伝えたいこと
アジェンダ ⼤掃除は今⽇始めよう︕ Storage Lensとは︖ 可視化してみる まとめ 今⽇伝えたいこと
今⽇伝えたいこと • Storage Lensを知ってほしい • 最近のアップデート • S3はあらゆるワークロードにおいて利⽤されているので、可視化してあ げることでワークロードの課題が⾒えてくる(はず) •
なのでまずは可視化して⼤掃除の⼀歩⽬を踏み出しませんか︖ 伝えたいこと 話さないこと • 具体的な対応策(これはワークロードに依存してしまうため)
アジェンダ ⼤掃除は今⽇始めよう︕ Storage Lensとは︖ 可視化してみる まとめ 今⽇伝えたいこと
⼤掃除は今⽇始めよう︕ • ⼤掃除のルーツは煤払い • 新年を司る年神様を迎えるための⾏事 →縁起の良い⽇にやる必要あり • 万事に⼤吉とされる⻤宿⽇が選定 →旧暦12⽉13⽇ •
このことから今でも12⽉13⽇に⼤掃除を始めるのが良い︕ ※諸説あります ⼤掃除とは︖
アジェンダ ⼤掃除は今⽇始めよう︕ Storage Lensとは︖ 可視化してみる まとめ 今⽇伝えたいこと
Storage Lensとは︖ • 2020 年 11 ⽉のWhat’s Newにて発表された機能 • S3の利⽤状況を以下の観点でダッシュボードにて可視化出来る
• コスト最適化 • データ保護 • アクセス管理 • アプリケーションのパフォーマンスを向上させる あ 参考︓Amazon S3 Storage Lens metrics use cases • 基本のメトリクスは無料で利⽤可能 • AWS Organizationとの統合が可能 • 注意点︓ダッシュボード作成から表⽰まで48時間ほど必要 機能概要
Storage Lens関連のアップデート • 11⽉15⽇発表の機能、オブジェクトタグ、プレフィックス、サイズ等で フィルターされたメトリックを表⽰できる • 参考︓https://aws.amazon.com/about-aws/whats-new/2023/11/amazon-s3-storage-lens- groups-customized-granular-visibility/ ストレージレンズグループ •
11⽉17⽇発表の機能、プレフィックスレベルでのメトリクス集計が可能 になった • 参考︓https://aws.amazon.com/about-aws/whats-new/2023/11/amazon-s3-storage-lens- aggregates-activity-status-code-metrics-prefix/ プレフィックスごとの集計 こちらの機能を中⼼にご紹介
アジェンダ ⼤掃除は今⽇始めよう︕ Storage Lensとは︖ 可視化してみる まとめ 今⽇伝えたいこと
グループの作成 選択した項⽬をAND/OR条件 で結合したフィルターを作 成可能
グループの作成 • 今回は簡単のために右のよう なシンプルなグループを作成 • 条件︓ オブジェクトサイズ 1MB〜500GB
ダッシュボードの作成 複数のグループを選択 することも可能
今回測定するオブジェクト • S3(storage-jaws-test)に条件に合致するオブジェクトとしないオブジェク トを配置 100MB以上の オブジェクト (20個準備) 1MB未満の オブジェクト
実際のダッシュボード(1/4) レンズグループが有効化され ると利⽤できるようになる (作成から48時間必要) レンズグループをフィルタ として活⽤できる • レンズグループのダッシュボード
実際のダッシュボード(2/4) 準備したS3に対象を絞る グループの条件に合致した S3からさらにフィルタ可能 • レンズグループのダッシュボード
実際のダッシュボード(3/4) 20個のオブジェクトを フィルタできている
実際のダッシュボード(4/4) グループごとの⽐較が可能 ※ 作成から48時間必要 • その他の分析としてグループ間の⽐較等も可能 →1.0MB超のグループと1.0MB未満のグループの⽐較などが可能
注意事項 • ダッシュボード作成後、48時間はデータが表⽰されない • グループ作成後、ダッシュボードにアタッチしてから最⼤で48時間必要
アジェンダ ⼤掃除は今⽇始めよう︕ Storage Lensとは︖ 可視化してみる まとめ 今⽇伝えたいこと
まとめ Storage Lensを活⽤してS3を可視化、⼤掃除しよう︕