Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
S3 metadata/S3 tablesからAthenaで データ取得してみた。
Search
nk
December 22, 2024
0
120
S3 metadata/S3 tablesからAthenaで データ取得してみた。
aws reinvent 2024で発表されたS3からメタデータをicebergを出力する新機能S3 metadataを試してみたので手順をLTしました。
nk
December 22, 2024
Tweet
Share
More Decks by nk
See All by nk
Guide to creating an AWS Lambda function in Python with DuckDB
nkforwork
0
190
Duckdb-Wasmでローカルダッシュボードを作ってみた
nkforwork
0
840
Featured
See All Featured
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
358
30k
Designing for Performance
lara
610
69k
Rails Girls Zürich Keynote
gr2m
95
14k
Building a Modern Day E-commerce SEO Strategy
aleyda
43
7.4k
Done Done
chrislema
185
16k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
The Language of Interfaces
destraynor
158
25k
Site-Speed That Sticks
csswizardry
10
770
Building Better People: How to give real-time feedback that sticks.
wjessup
367
19k
The Power of CSS Pseudo Elements
geoffreycrofte
77
5.9k
Why You Should Never Use an ORM
jnunemaker
PRO
58
9.5k
Raft: Consensus for Rubyists
vanstee
140
7.1k
Transcript
S3 metadata/S3 tablesからAthenaで データ取得してみた。 nk(えぬけー)
S3 metadata(tables)とは 従来S3のメタデータを得る際にはGlueでS3をクロールしてData catalogを作る 方法をとっていた。 しかし2024のreinventでS3 metadataが発表された。 S3 MetadataはS3のメタデータをほぼリアルタイムで更新し、Iceberg tableに 保存するというもの...らしいのでとりあえず触ってみた
最終的にはS3からメタデータを取得できた…が途中で権限周りでエラー 情報共有とより良い解決策を探るためにLTすることにしました。 ただし権限周りであまりよくない設定の仕方をしているのでもし誰か別の解決 法を知っている方がいらっしゃれば教えていただけるとありがたいです。🙏
Administorator access → S3tables 作成時エラー AWSLakeFormationDataAdmin glue:PassConnection lakeformation:RegisterResource も...?
エラーを無視してS3 tables を作成
更に普通のS3バケットを作成後、設定作成
S3のメタデータの送り先をS3tablesにする
作成完了後Athenaに移動するというボタンが出る
Athena内を見ると...
ひとまず別リージョンで再度作成 AWSLakeFormationDataAdmin glue:PassConnection lakeformation:RegisterResource も...? AWSLakeFormationDataAdmin glue:PassConnection lakeformation:RegisterResource も...? 先ほどは不明というエ
ラーだった
統合を有効にするボタンを押すと...権限不足
IAMユーザーにすべての権限を設定(非推奨) AWSLakeFormationDataAdmin glue:PassConnection lakeformation:RegisterResource も...? S3 tables Glue S3 Athena
lakeformation も同様に
統合ステータスが不明から有効に
+ Lakeformationで追加設定
Lakeformationの権限設定 Catalog permission: Superuser
再度Athenaを覗くと...
None
残った疑問... ①IAM ユーザーの権限をもう少し絞れるはずだが未検証... ②メタデータを取得できたがその有用性について
参考記事他 [自記事] https://zenn.dev/amana/articles/1c9821693691ca [参考記事] S3tables周りやLakeformationの設定についても詳しく書いてありました。 ↓ https://dev.classmethod.jp/articles/amazon-s3-bucket-metadata-preview/