Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
S3 metadata/S3 tablesからAthenaで データ取得してみた。
Search
nk
December 22, 2024
0
80
S3 metadata/S3 tablesからAthenaで データ取得してみた。
aws reinvent 2024で発表されたS3からメタデータをicebergを出力する新機能S3 metadataを試してみたので手順をLTしました。
nk
December 22, 2024
Tweet
Share
More Decks by nk
See All by nk
Guide to creating an AWS Lambda function in Python with DuckDB
nkforwork
0
89
Duckdb-Wasmでローカルダッシュボードを作ってみた
nkforwork
0
580
Featured
See All Featured
For a Future-Friendly Web
brad_frost
176
9.6k
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
28
9.3k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
280
13k
The Cost Of JavaScript in 2023
addyosmani
48
7.6k
4 Signs Your Business is Dying
shpigford
183
22k
What’s in a name? Adding method to the madness
productmarketing
PRO
22
3.4k
Thoughts on Productivity
jonyablonski
69
4.5k
Scaling GitHub
holman
459
140k
Building Better People: How to give real-time feedback that sticks.
wjessup
367
19k
Visualization
eitanlees
146
15k
Fireside Chat
paigeccino
37
3.3k
Transcript
S3 metadata/S3 tablesからAthenaで データ取得してみた。 nk(えぬけー)
S3 metadata(tables)とは 従来S3のメタデータを得る際にはGlueでS3をクロールしてData catalogを作る 方法をとっていた。 しかし2024のreinventでS3 metadataが発表された。 S3 MetadataはS3のメタデータをほぼリアルタイムで更新し、Iceberg tableに 保存するというもの...らしいのでとりあえず触ってみた
最終的にはS3からメタデータを取得できた…が途中で権限周りでエラー 情報共有とより良い解決策を探るためにLTすることにしました。 ただし権限周りであまりよくない設定の仕方をしているのでもし誰か別の解決 法を知っている方がいらっしゃれば教えていただけるとありがたいです。🙏
Administorator access → S3tables 作成時エラー AWSLakeFormationDataAdmin glue:PassConnection lakeformation:RegisterResource も...?
エラーを無視してS3 tables を作成
更に普通のS3バケットを作成後、設定作成
S3のメタデータの送り先をS3tablesにする
作成完了後Athenaに移動するというボタンが出る
Athena内を見ると...
ひとまず別リージョンで再度作成 AWSLakeFormationDataAdmin glue:PassConnection lakeformation:RegisterResource も...? AWSLakeFormationDataAdmin glue:PassConnection lakeformation:RegisterResource も...? 先ほどは不明というエ
ラーだった
統合を有効にするボタンを押すと...権限不足
IAMユーザーにすべての権限を設定(非推奨) AWSLakeFormationDataAdmin glue:PassConnection lakeformation:RegisterResource も...? S3 tables Glue S3 Athena
lakeformation も同様に
統合ステータスが不明から有効に
+ Lakeformationで追加設定
Lakeformationの権限設定 Catalog permission: Superuser
再度Athenaを覗くと...
None
残った疑問... ①IAM ユーザーの権限をもう少し絞れるはずだが未検証... ②メタデータを取得できたがその有用性について
参考記事他 [自記事] https://zenn.dev/amana/articles/1c9821693691ca [参考記事] S3tables周りやLakeformationの設定についても詳しく書いてありました。 ↓ https://dev.classmethod.jp/articles/amazon-s3-bucket-metadata-preview/