Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AWS Glueで始めるETLパイプライン
Search
Shota Totsuka
March 04, 2025
0
8
AWS Glueで始めるETLパイプライン
Shota Totsuka
March 04, 2025
Tweet
Share
More Decks by Shota Totsuka
See All by Shota Totsuka
Amazon CodeGuruをGitHubと統合して アプリケーションの品質管理を楽にする
totsukash
0
10
Bedrockでガードレールのフィルターを理解する
totsukash
1
45
Amazon Novaを使用した蒸留
totsukash
2
78
SageMaker AIワークフローのあれこれ紹介
totsukash
1
56
Vertex AIで画像分類タスクのデータセットを準備する
totsukash
0
40
Text-to-SQLで自然言語から構造化データを取得する
totsukash
2
95
トークナイザーの仕組みを少しだけ深ぼって理解する
totsukash
0
49
Bedrockエージェントから見るAI Agentとその挙動
totsukash
1
50
SageMaker Ground Truthでトレーニングデータセットを構築する
totsukash
0
16
Featured
See All Featured
StorybookのUI Testing Handbookを読んだ
zakiyama
28
5.5k
Producing Creativity
orderedlist
PRO
344
40k
Gamification - CAS2011
davidbonilla
80
5.2k
How GitHub (no longer) Works
holman
314
140k
Side Projects
sachag
452
42k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
27
1.9k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
45
9.4k
Rails Girls Zürich Keynote
gr2m
94
13k
Bash Introduction
62gerente
611
210k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
33
2.1k
What's in a price? How to price your products and services
michaelherold
244
12k
A Tale of Four Properties
chriscoyier
158
23k
Transcript
AWS Glueで始めるETLパイプライン AWS活用 AI/ML/LLM #5 機械学習/大規模言語モデル データエンジニアリング 株式会社BLUEISH Software Engineer
戸塚 翔太 @totsumaru_dot
自己紹介 株式会社BLUEISH AI Lead Engineer @totsumaru_dot 戸塚 翔太 e 普段はLLMアプリケーションの開発をしていま
e 現在は法人向けAIエージェントプラットフォーム「BLUEISH Agents」 の開発を担当していま e 静岡県(浜松)に住んでいますが、今年中に東京へ引っ越したい...
AWS認定(今年1月から開始)
イベントを多数開催しています!
01 ETLとは? 02 AWS Glueとは? 03 GlueでETLパイプラインを組む 04 まとめ アジェンダ
01 ETLとは? 02 AWS Glueとは? 03 GlueでETLパイプラインを組む 04 まとめ アジェンダ
ETLとは? ETL(Extract・Transform・Load)
ETLとは? ETLツールを使うメリット Y データ処理にかかるコストを下げH Y データ処理におけるヒューマンエラーを防Q Y 点在するデータを統合して活用可能にすH Y データの品質向上に貢献する
01 ETLとは? 02 AWS Glueとは? 03 GlueでETLパイプラインを組む 04 まとめ アジェンダ
AWS Glueとは?
AWS Glueとは?
AWS Glueとは?
AWS Glueとは?
AWS Glueとは?
01 ETLとは? 02 AWS Glueとは? 03 GlueでETLパイプラインを組む 04 まとめ アジェンダ
GlueでETLパイプラインを組む S3 (users.csv) Glue S3
GlueでETLパイプラインを組む S3 (users.csv) 社員一覧のダミーデータをS3に用意
GlueでETLパイプラインを組む Glue クローラーの作成
GlueでETLパイプラインを組む Glue クローラー名を定義
GlueでETLパイプラインを組む Glue S3のデータソース(csv)を選択
GlueでETLパイプラインを組む Glue IAMロールの新規作成
GlueでETLパイプラインを組む Glue Database(Data Catalog)を作成
GlueでETLパイプラインを組む Glue クローラーの作成が完了 → Run
GlueでETLパイプラインを組む Glue テーブルでスキーマが表示される
GlueでETLパイプラインを組む Glue ジョブを作成 → Visual ETL
GlueでETLパイプラインを組む Glue 1つ目: データソースの選択/設定
GlueでETLパイプラインを組む Glue 2つ目: スキーマ変換
GlueでETLパイプラインを組む Glue メールアドレスを削除してみます
GlueでETLパイプラインを組む Glue 3つ目: 出力先/フォーマットの指定 → Run
GlueでETLパイプラインを組む Glue 失敗したのでポリシーを修正...
GlueでETLパイプラインを組む Glue 度重なる失敗を経て成功
GlueでETLパイプラインを組む S3 (users.csv) 最初はメールアドレスがありましたが...
GlueでETLパイプラインを組む S3 (output.csv) メールアドレスが無くなりました
01 ETLとは? 02 AWS Glueとは? 03 GlueでETLパイプラインを組む 04 まとめ アジェンダ
まとめ E Visual Editorを使うことでノーコードでの変換が可 E ただし、コードで書いてしまった方が早い場合もあ E 形式変換(parquetなど)はETLパイプラインを組む方が楽になりそう
Thank you!