Tweet
Tweet

Slide 1

Slide 1 text

S3 metadata/S3 tablesからAthenaで データ取得してみた。 nk(えぬけー)

Slide 2

Slide 2 text

S3　metadata(tables)とは 従来S3のメタデータを得る際にはGlueでS3をクロールしてData catalogを作る 方法をとっていた。 しかし2024のreinventでS3 metadataが発表された。 S3 MetadataはS3のメタデータをほぼリアルタイムで更新し、Iceberg tableに 保存するというもの...らしいのでとりあえず触ってみた

Slide 3

Slide 3 text

最終的にはS3からメタデータを取得できた…が途中で権限周りでエラー 情報共有とより良い解決策を探るためにLTすることにしました。 ただし権限周りであまりよくない設定の仕方をしているのでもし誰か別の解決 法を知っている方がいらっしゃれば教えていただけるとありがたいです。🙏

Slide 4

Slide 4 text

Administorator access → S3tables 作成時エラー AWSLakeFormationDataAdmin
 glue:PassConnection
 lakeformation:RegisterResource
 も...?


Slide 5

Slide 5 text

エラーを無視してS3 tables を作成

Slide 6

Slide 6 text

更に普通のS3バケットを作成後、設定作成

Slide 7

Slide 7 text

S3のメタデータの送り先をS3tablesにする

Slide 8

Slide 8 text

作成完了後Athenaに移動するというボタンが出る

Slide 9

Slide 9 text

Athena内を見ると...

Slide 10

Slide 10 text

ひとまず別リージョンで再度作成 AWSLakeFormationDataAdmin
 glue:PassConnection
 lakeformation:RegisterResource
 も...?
 AWSLakeFormationDataAdmin
 glue:PassConnection
 lakeformation:RegisterResource
 も...?
 先ほどは不明というエ ラーだった


Slide 11

Slide 11 text

統合を有効にするボタンを押すと...権限不足

Slide 12

Slide 12 text

IAMユーザーにすべての権限を設定(非推奨) AWSLakeFormationDataAdmin
 glue:PassConnection
 lakeformation:RegisterResource
 も...?
 S3 tables
 Glue
 S3
 Athena
 lakeformation も同様に


Slide 13

Slide 13 text

統合ステータスが不明から有効に

Slide 14

Slide 14 text

+ Lakeformationで追加設定

Slide 15

Slide 15 text

Lakeformationの権限設定 Catalog permission: Superuser

Slide 16

Slide 16 text

再度Athenaを覗くと...

Slide 17

Slide 17 text

No content

Slide 18

Slide 18 text

残った疑問... ①IAM ユーザーの権限をもう少し絞れるはずだが未検証... ②メタデータを取得できたがその有用性について

Slide 19

Slide 19 text

参考記事他 [自記事] https://zenn.dev/amana/articles/1c9821693691ca [参考記事] S3tables周りやLakeformationの設定についても詳しく書いてありました。 ↓ https://dev.classmethod.jp/articles/amazon-s3-bucket-metadata-preview/