Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Storage LensでS3を大掃除しよう
Search
Akira Sato
December 13, 2023
Technology
0
430
Storage LensでS3を大掃除しよう
Akira Sato
December 13, 2023
Tweet
Share
More Decks by Akira Sato
See All by Akira Sato
AWSのコストについて再考してみる
a22sato
0
45
1度で2度おいしいBedrock入門
a22sato
0
23
データ初心者がAWS Glue DataBrewでPII対策やってみた
a22sato
0
15
Transit GWでNat VPCを作成する
a22sato
1
310
リソースをIaCで管理しよう
a22sato
0
300
20231030_LT登壇資料.pdf
a22sato
0
720
Other Decks in Technology
See All in Technology
New Cache Hierarchy for Container Images and OCI Artifacts in Kubernetes Clusters using Containerd / KubeCon + CloudNativeCon Japan
pfn
PRO
0
150
Long journey of Continuous Delivery at Mercari
hisaharu
1
210
2025/6/21 日本学術会議公開シンポジウム発表資料
keisuke198619
0
190
技術職じゃない私がVibe Codingで感じた、AGIが身近になる未来
blueb
0
120
Contract One Engineering Unit 紹介資料
sansan33
PRO
0
6.4k
Whats_new_in_Podman_and_CRI-O_2025-06
orimanabu
3
170
Sansan Engineering Unit 紹介資料
sansan33
PRO
1
2.1k
活きてなかったデータを活かしてみた話 / Shirokane Kougyou vol 19
sansan_randd
1
260
OpenTelemetry Collector internals
ymotongpoo
5
530
In Praise of "Normal" Engineers (LDX3)
charity
2
820
Workflows から Agents へ ~ 生成 AI アプリの成長過程とアプローチ~
belongadmin
3
150
Devin(Deep) Wiki/Searchの活用で変わる開発の世界観/devin-wiki-search-impact
tomoki10
0
310
Featured
See All Featured
Git: the NoSQL Database
bkeepers
PRO
430
65k
Testing 201, or: Great Expectations
jmmastey
42
7.5k
The Art of Programming - Codeland 2020
erikaheidi
54
13k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
48
5.4k
Art, The Web, and Tiny UX
lynnandtonic
299
21k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
8
650
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
30
2.1k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.3k
What’s in a name? Adding method to the madness
productmarketing
PRO
22
3.5k
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
For a Future-Friendly Web
brad_frost
179
9.8k
Rebuilding a faster, lazier Slack
samanthasiow
81
9k
Transcript
Storage Lensで S3を⼤掃除しよう 2023/12/13 Akira Sato
⾃⼰紹介 • 佐藤 亨(Sato Akira) • @akirarara16 • デロイトトーマツウェブサービス •
JAWS SAPPOROの運営してます • StepFunctions、CloudFormation
アジェンダ ⼤掃除は今⽇始めよう︕ Storage Lensとは︖ 可視化してみる まとめ 今⽇伝えたいこと
アジェンダ ⼤掃除は今⽇始めよう︕ Storage Lensとは︖ 可視化してみる まとめ 今⽇伝えたいこと
今⽇伝えたいこと • Storage Lensを知ってほしい • 最近のアップデート • S3はあらゆるワークロードにおいて利⽤されているので、可視化してあ げることでワークロードの課題が⾒えてくる(はず) •
なのでまずは可視化して⼤掃除の⼀歩⽬を踏み出しませんか︖ 伝えたいこと 話さないこと • 具体的な対応策(これはワークロードに依存してしまうため)
アジェンダ ⼤掃除は今⽇始めよう︕ Storage Lensとは︖ 可視化してみる まとめ 今⽇伝えたいこと
⼤掃除は今⽇始めよう︕ • ⼤掃除のルーツは煤払い • 新年を司る年神様を迎えるための⾏事 →縁起の良い⽇にやる必要あり • 万事に⼤吉とされる⻤宿⽇が選定 →旧暦12⽉13⽇ •
このことから今でも12⽉13⽇に⼤掃除を始めるのが良い︕ ※諸説あります ⼤掃除とは︖
アジェンダ ⼤掃除は今⽇始めよう︕ Storage Lensとは︖ 可視化してみる まとめ 今⽇伝えたいこと
Storage Lensとは︖ • 2020 年 11 ⽉のWhat’s Newにて発表された機能 • S3の利⽤状況を以下の観点でダッシュボードにて可視化出来る
• コスト最適化 • データ保護 • アクセス管理 • アプリケーションのパフォーマンスを向上させる あ 参考︓Amazon S3 Storage Lens metrics use cases • 基本のメトリクスは無料で利⽤可能 • AWS Organizationとの統合が可能 • 注意点︓ダッシュボード作成から表⽰まで48時間ほど必要 機能概要
Storage Lens関連のアップデート • 11⽉15⽇発表の機能、オブジェクトタグ、プレフィックス、サイズ等で フィルターされたメトリックを表⽰できる • 参考︓https://aws.amazon.com/about-aws/whats-new/2023/11/amazon-s3-storage-lens- groups-customized-granular-visibility/ ストレージレンズグループ •
11⽉17⽇発表の機能、プレフィックスレベルでのメトリクス集計が可能 になった • 参考︓https://aws.amazon.com/about-aws/whats-new/2023/11/amazon-s3-storage-lens- aggregates-activity-status-code-metrics-prefix/ プレフィックスごとの集計 こちらの機能を中⼼にご紹介
アジェンダ ⼤掃除は今⽇始めよう︕ Storage Lensとは︖ 可視化してみる まとめ 今⽇伝えたいこと
グループの作成 選択した項⽬をAND/OR条件 で結合したフィルターを作 成可能
グループの作成 • 今回は簡単のために右のよう なシンプルなグループを作成 • 条件︓ オブジェクトサイズ 1MB〜500GB
ダッシュボードの作成 複数のグループを選択 することも可能
今回測定するオブジェクト • S3(storage-jaws-test)に条件に合致するオブジェクトとしないオブジェク トを配置 100MB以上の オブジェクト (20個準備) 1MB未満の オブジェクト
実際のダッシュボード(1/4) レンズグループが有効化され ると利⽤できるようになる (作成から48時間必要) レンズグループをフィルタ として活⽤できる • レンズグループのダッシュボード
実際のダッシュボード(2/4) 準備したS3に対象を絞る グループの条件に合致した S3からさらにフィルタ可能 • レンズグループのダッシュボード
実際のダッシュボード(3/4) 20個のオブジェクトを フィルタできている
実際のダッシュボード(4/4) グループごとの⽐較が可能 ※ 作成から48時間必要 • その他の分析としてグループ間の⽐較等も可能 →1.0MB超のグループと1.0MB未満のグループの⽐較などが可能
注意事項 • ダッシュボード作成後、48時間はデータが表⽰されない • グループ作成後、ダッシュボードにアタッチしてから最⼤で48時間必要
アジェンダ ⼤掃除は今⽇始めよう︕ Storage Lensとは︖ 可視化してみる まとめ 今⽇伝えたいこと
まとめ Storage Lensを活⽤してS3を可視化、⼤掃除しよう︕