Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Amazon S3 TablesとAmazon S3 Metadataを触ってみた / 202...
Search
kasacchiful
February 01, 2025
Programming
0
380
Amazon S3 TablesとAmazon S3 Metadataを触ってみた / 20250201-jawsug-tochigi-s3tables-s3metadata
2025/02/01 (土) JAWS-UG栃木支部#0 にて発表した資料。
勉強会サイト
https://jawsug-tochigi.connpass.com/event/342140/
kasacchiful
February 01, 2025
Tweet
Share
More Decks by kasacchiful
See All by kasacchiful
地域コミュニティへの「感謝」と「恩返し」 / 20250726jawsug-tochigi
kasacchiful
0
120
Amazon Q Developer for CLI を使って PHP Conference 新潟 2025 参加者向けにグルメサイトを構築した話 / 20250620niigata-5min-tech
kasacchiful
1
83
ワイがおすすめする新潟の食 / 20250530phpconf-niigata-eve
kasacchiful
0
330
生成AIでメタデータを生成してみた / 20250525generate-metadata-using-generative-ai
kasacchiful
0
61
Strands Agents SDK で AIエージェント作成 を試してみた / 20250525strands-agents
kasacchiful
0
220
いろんな世界を見てみよう / 20250508ninno_tech_fest
kasacchiful
0
39
Amazon Q Developer for CLIのある生活 / 20250427ai_craft_hacks_niigata1
kasacchiful
1
90
AWSのコンテナサービス / jawsug-akita-aws-container-services
kasacchiful
0
80
データ基盤でのコンテナ活用事例 / jawsug-akita-data-platform-with-container
kasacchiful
0
83
Other Decks in Programming
See All in Programming
画像コンペでのベースラインモデルの育て方
tattaka
3
1.3k
あまり知られていない MCP 仕様たち / MCP specifications that aren’t widely known
ktr_0731
0
230
GUI操作LLMの最新動向: UI-TARSと関連論文紹介
kfujikawa
0
570
実践!App Intents対応
yuukiw00w
1
210
コーディングは技術者(エンジニア)の嗜みでして / Learning the System Development Mindset from Rock Lady
mackey0225
2
220
No Install CMS戦略 〜 5年先を見据えたフロントエンド開発を考える / no_install_cms
rdlabo
0
460
自作OSでDOOMを動かしてみた
zakki0925224
1
970
What's new in Adaptive Android development
fornewid
0
140
構文解析器入門
ydah
7
2k
「リーダーは意思決定する人」って本当?~ 学びを現場で活かす、リーダー4ヶ月目の試行錯誤 ~
marina1017
0
140
DatadogのArchived LogsをSnowflakeで高速に検索する方法(Archive Searchでオワコンにならないことを祈って) / How to search Datadog Archived Logs quickly with Snowflake (hoping Datadog Archive Search doesn’t make this obsolete)
civitaspo
0
110
11年かかって やっとVibe Codingに 時代が追いつきましたね
yimajo
1
240
Featured
See All Featured
The Language of Interfaces
destraynor
158
25k
VelocityConf: Rendering Performance Case Studies
addyosmani
332
24k
Navigating Team Friction
lara
188
15k
Making Projects Easy
brettharned
117
6.3k
YesSQL, Process and Tooling at Scale
rocio
173
14k
GraphQLの誤解/rethinking-graphql
sonatard
71
11k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
50k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
21
1.4k
Connecting the Dots Between Site Speed, User Experience & Your Business [WebExpo 2025]
tammyeverts
8
430
A Tale of Four Properties
chriscoyier
160
23k
Thoughts on Productivity
jonyablonski
69
4.8k
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
Transcript
Amazon S 3 TablesとAmazon S 3 Metadataを触ってみた 2 0 2
5 / 0 2 / 0 1 JAWS-UG栃 木 #0 笠原 宏
自己 紹介 2 • 好きなAWSサービス ◯ S 3 , Lambda,
Step Functions • コミュニティ運営 ◦ JAWS-UG新潟 / Python機械学習勉強会 in 新潟 ◦ Cloudflare Meetup Niigata ◦ JaSST新潟 / ASTER正会員 / SWANII / etc. • AWS Community Builder ◦ Serverless (since 2 0 2 2 ) ◦ 笠原 宏 (@kasacchiful) ◦ クラスメソッド株式会社データ事業本部 ◦ JAWS-UG新潟 支 部 ◦ 新潟県新潟市在住 2
JAWS-UG 新潟 開催形式 3 本編勉強会 • 不定期開催 / 2〜3時間程度 /
オフライン • 事前にテーマ決めて開催 プチキャッチアップ会 • 毎週 木 曜夜21時 / 1時間程度 / オンライン • その場で気になる記事 見 たり、お悩み相談受けたり
Amazon S 3 Tables を触ってみた 4
Amazon S 3 Tables 5 AWS re:Invent 2 0 2
4 で公開 • Apache Iceberg形式に最適化され たオブジェクトストア • Athena, EMR, Spark等からクエリ 可能 • 汎 用 ストレージと 比 べて最 大 3倍の クエリ性能 ・ 10倍のトランザク ション処理 IUUQTEFWDMBTTNFUIPEKQBSUJDMFTSFJOWFOUBNB[POTUBCMFT
東京リージョンでも使える 6 IUUQTEFWDMBTTNFUIPEKQBSUJDMFTBNB[POTUBCMFTUPLZPSFHJPOHB
Amazon S 3 Tables の使 用 例 7 ログデータをData Firehoseを使って、S
3 Tablesに保管し、Athenaで分析
実際に触ってみる 8 分析サービスとの統合を有効化すると、テーブルバケットが作成できる
実際に触ってみる 9 テーブル作成は、Spark Shellから spark.sql() を実 行 (今回はCloudShell上で) spark-shell \
--packages org.apache.iceberg:iceberg-spark-runtime- 3.5_2.12:1.6.1,software.amazon.s3tables:s3-tables-catalog-for-iceberg- runtime:0.1.3,software.amazon.awssdk:s3tables:2.29.26,software.amazon.awssdk:s3:2.29.26,so ftware.amazon.awssdk:sts:2.29.26,software.amazon.awssdk:kms:2.29.26,software.amazon.awssdk :dynamodb:2.29.26,software.amazon.awssdk:kms:2.29.26,software.amazon.awssdk:glue:2.29.26 \ --conf spark.sql.catalog.s3tablesbucket=org.apache.iceberg.spark.SparkCatalog \ --conf spark.sql.catalog.s3tablesbucket.catalog- impl=software.amazon.s3tables.iceberg.S3TablesCatalog \ --conf spark.sql.catalog.s3tablesbucket.warehouse=<Table bucketのARN> \ --conf spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions \ --conf spark.driver.extraJavaOptions="-Djava.security.manager=allow"
実際に触ってみる 10 テーブル作成は、Spark Shellから spark.sql() を実 行 (今回はCloudShell上で) spark.sql(" CREATE
NAMESPACE IF NOT EXISTS s3tablesbucket.sample_namespace ") spark.sql(" SHOW NAMESPACES IN s3tablesbucket ").show() spark.sql(" CREATE TABLE IF NOT EXISTS s3tablesbucket.sample_namespace.sales ( product string, amount int, timestamp timestamp ) using iceberg ") spark.sql(" INSERT INTO s3tablesbucket.sample_namespace.sales ( product, amount, timestamp ) VALUES ( 'Laptop', 1200, '2023-12-01 10:30:00' ) “) ... spark.sql(" SELECT * FROM s3tablesbucket.sample_namespace.sales ").show()
実際に触ってみる 11 テーブル作成は、Spark Shellから spark.sql() を実 行 (今回はCloudShell上で)
実際に触ってみる 12 Lake Formationで権限付与すれば、AthenaからSelectクエリ実 行 できる
補 足 : Spark導 入 が 面 倒なら、AWS CLIとAthenaで遊べます 13
テーブル作成までCLI、データ操作からAthena IUUQTEFWDMBTTNFUIPEKQBSUJDMFTTDIFNBEF fi OJUJPOTUBCMFTDSFBUFUBCMFXJUIBXTDMJ
Amazon S 3 Metadata を触ってみた 14
Amazon S 3 Metadata 15 AWS re:Invent 2 0 2
4 で公開 • S 3 オブジェクトのメタデータを 自 動的に Apache Icebergテーブルに保存 • S 3 オブジェクトのメタデータを効率的に クエリ可能 • メタデータ: オブジェクトキー ・ 作成/変更 時間、ストレージクラス、暗号化状態など • ユーザ定義メタデータも設定 ・ クエリ可能 • バックエンドでS 3 Tablesを利 用 IUUQTEFWDMBTTNFUIPEKQBSUJDMFTBNB[POTCVDLFUNFUBEBUBQSFWJFX
GAになりました 16 東京リージョンではまだ IUUQTEFWDMBTTNFUIPEKQBSUJDMFTHBBNB[POTNFUBEBUB
Amazon S 3 Metadata の使 用 例 17 画像ファイルのメタデータ情報を機械学習で読み取り、S 3
Metadataで保存
実際に触ってみる 18 先にテーブルバケットを作成しておく
実際に触ってみる 19 汎 用 バケット作成後、メタデータ設定を作成する
実際に触ってみる 20 テーブルバケットとテーブル名を指定。テーブルは事前に作成不要。
実際に触ってみる 21 Lake Formationで権限付与後、Athenaからメタデータテーブルが参照できる。
実際に触ってみる 22 汎 用 バケットの画像ファイルを配置して数分後、メタデータが確認できる
実際に触ってみる 23 アップロードやコピーの際に、ユーザ定義メタデータを編集できる
実際に触ってみる 24 ユーザ定義メタデータの値を取得することも可能
まとめ 25
まとめ 26 S 3 Tables と S 3 Metadata を
触ってみた • Amazon S 3 Tables ◦ Apache Iceberg形式に最適化されたオブジェクトストア • Amazon S 3 Metadata ◦ S 3 オブジェクトのメタデータを 自 動的にApache Icebergテーブル (S 3 Tables) に保存 • 分析 用 途に利 用 する際の選択肢の1つ ◦ Lake Formationを有効化する必要があるため、まずは別AWSアカウント上で検証を推奨
宣伝 27
JAWS-UG 新潟 #21 28 初 心 者向けコンテナハンズオン • 2025年3 月
15 日 ( 土 ) 13:00開始 ◦ 会場: Prototype Cafe (新潟市中央区)
JAWS-UG 新潟 #22 & JAWS-UG 北陸新幹線 #3 29 4 月
12 日 ( 土 ) に 上越で初開催 • 2025年4 月 12 日 ( 土 ) 13:00 開始 (予定) • 会場: ミュゼ雪 小 町 (上越市 高田 ) ◦ 北陸新幹線「上越妙 高 駅」乗り換え、えちごトキメキ鉄道「 高田 駅」から徒歩5分 ◦ 当 日 は「第100回 高田 城址公園 観桜会」開催期間中のため、例年通りならば新潟駅発の 臨時快速が出るはず (2025年1 月 現在は未定)
おしまい 30