Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Storage LensでS3を大掃除しよう
Search
Akira Sato
December 13, 2023
Technology
0
430
Storage LensでS3を大掃除しよう
Akira Sato
December 13, 2023
Tweet
Share
More Decks by Akira Sato
See All by Akira Sato
AWSのコストについて再考してみる
a22sato
0
45
1度で2度おいしいBedrock入門
a22sato
0
23
データ初心者がAWS Glue DataBrewでPII対策やってみた
a22sato
0
16
Transit GWでNat VPCを作成する
a22sato
1
320
リソースをIaCで管理しよう
a22sato
0
300
20231030_LT登壇資料.pdf
a22sato
0
730
Other Decks in Technology
See All in Technology
地図も、未来も、オープンに。 〜OSGeo.JPとFOSS4Gのご紹介〜
wata909
0
110
Wasm元年
askua
0
140
SalesforceArchitectGroupOsaka#20_CNX'25_Report
atomica7sei
0
140
AIの最新技術&テーマをつまんで紹介&フリートークするシリーズ #1 量子機械学習の入門
tkhresk
0
130
_第3回__AIxIoTビジネス共創ラボ紹介資料_20250617.pdf
iotcomjpadmin
0
150
20250623 Findy Lunch LT Brown
3150
0
850
解析の定理証明実践@Lean 4
dec9ue
0
170
Amazon Bedrockで実現する 新たな学習体験
kzkmaeda
1
510
OpenHands🤲にContributeしてみた
kotauchisunsun
1
420
【TiDB GAME DAY 2025】Shadowverse: Worlds Beyond にみる TiDB 活用術
cygames
0
1k
AWS CDK 実践的アプローチ N選 / aws-cdk-practical-approaches
gotok365
6
700
Model Mondays S2E02: Model Context Protocol
nitya
0
220
Featured
See All Featured
GraphQLの誤解/rethinking-graphql
sonatard
71
11k
Why You Should Never Use an ORM
jnunemaker
PRO
56
9.4k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.7k
KATA
mclloyd
29
14k
Building a Modern Day E-commerce SEO Strategy
aleyda
41
7.3k
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
How STYLIGHT went responsive
nonsquared
100
5.6k
Six Lessons from altMBA
skipperchong
28
3.8k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
33
5.9k
Imperfection Machines: The Place of Print at Facebook
scottboms
267
13k
Building Better People: How to give real-time feedback that sticks.
wjessup
367
19k
Transcript
Storage Lensで S3を⼤掃除しよう 2023/12/13 Akira Sato
⾃⼰紹介 • 佐藤 亨(Sato Akira) • @akirarara16 • デロイトトーマツウェブサービス •
JAWS SAPPOROの運営してます • StepFunctions、CloudFormation
アジェンダ ⼤掃除は今⽇始めよう︕ Storage Lensとは︖ 可視化してみる まとめ 今⽇伝えたいこと
アジェンダ ⼤掃除は今⽇始めよう︕ Storage Lensとは︖ 可視化してみる まとめ 今⽇伝えたいこと
今⽇伝えたいこと • Storage Lensを知ってほしい • 最近のアップデート • S3はあらゆるワークロードにおいて利⽤されているので、可視化してあ げることでワークロードの課題が⾒えてくる(はず) •
なのでまずは可視化して⼤掃除の⼀歩⽬を踏み出しませんか︖ 伝えたいこと 話さないこと • 具体的な対応策(これはワークロードに依存してしまうため)
アジェンダ ⼤掃除は今⽇始めよう︕ Storage Lensとは︖ 可視化してみる まとめ 今⽇伝えたいこと
⼤掃除は今⽇始めよう︕ • ⼤掃除のルーツは煤払い • 新年を司る年神様を迎えるための⾏事 →縁起の良い⽇にやる必要あり • 万事に⼤吉とされる⻤宿⽇が選定 →旧暦12⽉13⽇ •
このことから今でも12⽉13⽇に⼤掃除を始めるのが良い︕ ※諸説あります ⼤掃除とは︖
アジェンダ ⼤掃除は今⽇始めよう︕ Storage Lensとは︖ 可視化してみる まとめ 今⽇伝えたいこと
Storage Lensとは︖ • 2020 年 11 ⽉のWhat’s Newにて発表された機能 • S3の利⽤状況を以下の観点でダッシュボードにて可視化出来る
• コスト最適化 • データ保護 • アクセス管理 • アプリケーションのパフォーマンスを向上させる あ 参考︓Amazon S3 Storage Lens metrics use cases • 基本のメトリクスは無料で利⽤可能 • AWS Organizationとの統合が可能 • 注意点︓ダッシュボード作成から表⽰まで48時間ほど必要 機能概要
Storage Lens関連のアップデート • 11⽉15⽇発表の機能、オブジェクトタグ、プレフィックス、サイズ等で フィルターされたメトリックを表⽰できる • 参考︓https://aws.amazon.com/about-aws/whats-new/2023/11/amazon-s3-storage-lens- groups-customized-granular-visibility/ ストレージレンズグループ •
11⽉17⽇発表の機能、プレフィックスレベルでのメトリクス集計が可能 になった • 参考︓https://aws.amazon.com/about-aws/whats-new/2023/11/amazon-s3-storage-lens- aggregates-activity-status-code-metrics-prefix/ プレフィックスごとの集計 こちらの機能を中⼼にご紹介
アジェンダ ⼤掃除は今⽇始めよう︕ Storage Lensとは︖ 可視化してみる まとめ 今⽇伝えたいこと
グループの作成 選択した項⽬をAND/OR条件 で結合したフィルターを作 成可能
グループの作成 • 今回は簡単のために右のよう なシンプルなグループを作成 • 条件︓ オブジェクトサイズ 1MB〜500GB
ダッシュボードの作成 複数のグループを選択 することも可能
今回測定するオブジェクト • S3(storage-jaws-test)に条件に合致するオブジェクトとしないオブジェク トを配置 100MB以上の オブジェクト (20個準備) 1MB未満の オブジェクト
実際のダッシュボード(1/4) レンズグループが有効化され ると利⽤できるようになる (作成から48時間必要) レンズグループをフィルタ として活⽤できる • レンズグループのダッシュボード
実際のダッシュボード(2/4) 準備したS3に対象を絞る グループの条件に合致した S3からさらにフィルタ可能 • レンズグループのダッシュボード
実際のダッシュボード(3/4) 20個のオブジェクトを フィルタできている
実際のダッシュボード(4/4) グループごとの⽐較が可能 ※ 作成から48時間必要 • その他の分析としてグループ間の⽐較等も可能 →1.0MB超のグループと1.0MB未満のグループの⽐較などが可能
注意事項 • ダッシュボード作成後、48時間はデータが表⽰されない • グループ作成後、ダッシュボードにアタッチしてから最⼤で48時間必要
アジェンダ ⼤掃除は今⽇始めよう︕ Storage Lensとは︖ 可視化してみる まとめ 今⽇伝えたいこと
まとめ Storage Lensを活⽤してS3を可視化、⼤掃除しよう︕