Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Storage LensでS3を大掃除しよう
Search
Akira Sato
December 13, 2023
Technology
0
330
Storage LensでS3を大掃除しよう
Akira Sato
December 13, 2023
Tweet
Share
More Decks by Akira Sato
See All by Akira Sato
Transit GWでNat VPCを作成する
a22sato
1
250
リソースをIaCで管理しよう
a22sato
0
250
20231030_LT登壇資料.pdf
a22sato
0
630
Other Decks in Technology
See All in Technology
Efficient zero-copy networking using io_uring
ennael
PRO
0
370
トークナイザー入門
payanotty
2
980
受託開発でもアジャイル開発できました / Agile in Contract Development
takaking22
9
4.4k
入社半年(合計1年)でGoogle Cloud 認定を全冠した秘訣🤫
risatube
1
220
テストコードの品質を客観的な数値で担保しよう〜Mutation Testのすすめ〜
ysknsid25
12
3.2k
コード✕AIーソフトウェア開発者のための生成AI実践入門~
yuhattor
3
830
リスクから学ぶKubernetesコンテナセキュリティ/k8s-risk-and-security
mochizuki875
1
330
DenoでもViteしたい!インポートパスのエイリアスを指定してラクラクアプリ開発
bengo4com
2
2k
Vespaを利用したテクいベクトル検索
szdr
2
170
Semantic Kernel の Agent 機能試してみた!
okazuki
1
150
スタサプ ForSCHOOLアプリのシンプルな設計
recruitengineers
PRO
3
610
普通の Web エンジニアのための様相論理入門 #yapcjapan / YAPC Hakodate 2024
ytaka23
5
1.5k
Featured
See All Featured
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
167
49k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
364
22k
4 Signs Your Business is Dying
shpigford
180
21k
Agile that works and the tools we love
rasmusluckow
327
21k
VelocityConf: Rendering Performance Case Studies
addyosmani
325
23k
A Modern Web Designer's Workflow
chriscoyier
692
190k
The Invisible Customer
myddelton
119
13k
Build The Right Thing And Hit Your Dates
maggiecrowley
31
2.3k
Adopting Sorbet at Scale
ufuk
73
9k
Optimising Largest Contentful Paint
csswizardry
31
2.8k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
228
52k
Six Lessons from altMBA
skipperchong
26
3.4k
Transcript
Storage Lensで S3を⼤掃除しよう 2023/12/13 Akira Sato
⾃⼰紹介 • 佐藤 亨(Sato Akira) • @akirarara16 • デロイトトーマツウェブサービス •
JAWS SAPPOROの運営してます • StepFunctions、CloudFormation
アジェンダ ⼤掃除は今⽇始めよう︕ Storage Lensとは︖ 可視化してみる まとめ 今⽇伝えたいこと
アジェンダ ⼤掃除は今⽇始めよう︕ Storage Lensとは︖ 可視化してみる まとめ 今⽇伝えたいこと
今⽇伝えたいこと • Storage Lensを知ってほしい • 最近のアップデート • S3はあらゆるワークロードにおいて利⽤されているので、可視化してあ げることでワークロードの課題が⾒えてくる(はず) •
なのでまずは可視化して⼤掃除の⼀歩⽬を踏み出しませんか︖ 伝えたいこと 話さないこと • 具体的な対応策(これはワークロードに依存してしまうため)
アジェンダ ⼤掃除は今⽇始めよう︕ Storage Lensとは︖ 可視化してみる まとめ 今⽇伝えたいこと
⼤掃除は今⽇始めよう︕ • ⼤掃除のルーツは煤払い • 新年を司る年神様を迎えるための⾏事 →縁起の良い⽇にやる必要あり • 万事に⼤吉とされる⻤宿⽇が選定 →旧暦12⽉13⽇ •
このことから今でも12⽉13⽇に⼤掃除を始めるのが良い︕ ※諸説あります ⼤掃除とは︖
アジェンダ ⼤掃除は今⽇始めよう︕ Storage Lensとは︖ 可視化してみる まとめ 今⽇伝えたいこと
Storage Lensとは︖ • 2020 年 11 ⽉のWhat’s Newにて発表された機能 • S3の利⽤状況を以下の観点でダッシュボードにて可視化出来る
• コスト最適化 • データ保護 • アクセス管理 • アプリケーションのパフォーマンスを向上させる あ 参考︓Amazon S3 Storage Lens metrics use cases • 基本のメトリクスは無料で利⽤可能 • AWS Organizationとの統合が可能 • 注意点︓ダッシュボード作成から表⽰まで48時間ほど必要 機能概要
Storage Lens関連のアップデート • 11⽉15⽇発表の機能、オブジェクトタグ、プレフィックス、サイズ等で フィルターされたメトリックを表⽰できる • 参考︓https://aws.amazon.com/about-aws/whats-new/2023/11/amazon-s3-storage-lens- groups-customized-granular-visibility/ ストレージレンズグループ •
11⽉17⽇発表の機能、プレフィックスレベルでのメトリクス集計が可能 になった • 参考︓https://aws.amazon.com/about-aws/whats-new/2023/11/amazon-s3-storage-lens- aggregates-activity-status-code-metrics-prefix/ プレフィックスごとの集計 こちらの機能を中⼼にご紹介
アジェンダ ⼤掃除は今⽇始めよう︕ Storage Lensとは︖ 可視化してみる まとめ 今⽇伝えたいこと
グループの作成 選択した項⽬をAND/OR条件 で結合したフィルターを作 成可能
グループの作成 • 今回は簡単のために右のよう なシンプルなグループを作成 • 条件︓ オブジェクトサイズ 1MB〜500GB
ダッシュボードの作成 複数のグループを選択 することも可能
今回測定するオブジェクト • S3(storage-jaws-test)に条件に合致するオブジェクトとしないオブジェク トを配置 100MB以上の オブジェクト (20個準備) 1MB未満の オブジェクト
実際のダッシュボード(1/4) レンズグループが有効化され ると利⽤できるようになる (作成から48時間必要) レンズグループをフィルタ として活⽤できる • レンズグループのダッシュボード
実際のダッシュボード(2/4) 準備したS3に対象を絞る グループの条件に合致した S3からさらにフィルタ可能 • レンズグループのダッシュボード
実際のダッシュボード(3/4) 20個のオブジェクトを フィルタできている
実際のダッシュボード(4/4) グループごとの⽐較が可能 ※ 作成から48時間必要 • その他の分析としてグループ間の⽐較等も可能 →1.0MB超のグループと1.0MB未満のグループの⽐較などが可能
注意事項 • ダッシュボード作成後、48時間はデータが表⽰されない • グループ作成後、ダッシュボードにアタッチしてから最⼤で48時間必要
アジェンダ ⼤掃除は今⽇始めよう︕ Storage Lensとは︖ 可視化してみる まとめ 今⽇伝えたいこと
まとめ Storage Lensを活⽤してS3を可視化、⼤掃除しよう︕