Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AWS Glueで始めるETLパイプライン
Search
Shota Totsuka
March 04, 2025
0
28
AWS Glueで始めるETLパイプライン
Shota Totsuka
March 04, 2025
Tweet
Share
More Decks by Shota Totsuka
See All by Shota Totsuka
Mastra活用|Text-to-SQLの実装と応用
totsukash
0
140
Bedrockでのプロンプト管理戦略
totsukash
3
140
Amazon SageMaker AIでモデル開発からデプロイまで試す
totsukash
2
47
Amazon CodeGuruをGitHubと統合して アプリケーションの品質管理を楽にする
totsukash
0
16
Bedrockでガードレールのフィルターを理解する
totsukash
1
68
Amazon Novaを使用した蒸留
totsukash
2
88
SageMaker AIワークフローのあれこれ紹介
totsukash
1
72
Vertex AIで画像分類タスクのデータセットを準備する
totsukash
0
52
Text-to-SQLで自然言語から構造化データを取得する
totsukash
2
120
Featured
See All Featured
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
26
3k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
50
5.5k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
44
2.4k
Practical Orchestrator
shlominoach
190
11k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
60k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
26k
For a Future-Friendly Web
brad_frost
179
9.9k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
357
30k
Six Lessons from altMBA
skipperchong
28
3.9k
Producing Creativity
orderedlist
PRO
346
40k
The Language of Interfaces
destraynor
158
25k
Music & Morning Musume
bryan
46
6.7k
Transcript
AWS Glueで始めるETLパイプライン AWS活用 AI/ML/LLM #5 機械学習/大規模言語モデル データエンジニアリング 株式会社BLUEISH Software Engineer
戸塚 翔太 @totsumaru_dot
自己紹介 株式会社BLUEISH AI Lead Engineer @totsumaru_dot 戸塚 翔太 e 普段はLLMアプリケーションの開発をしていま
e 現在は法人向けAIエージェントプラットフォーム「BLUEISH Agents」 の開発を担当していま e 静岡県(浜松)に住んでいますが、今年中に東京へ引っ越したい...
AWS認定(今年1月から開始)
イベントを多数開催しています!
01 ETLとは? 02 AWS Glueとは? 03 GlueでETLパイプラインを組む 04 まとめ アジェンダ
01 ETLとは? 02 AWS Glueとは? 03 GlueでETLパイプラインを組む 04 まとめ アジェンダ
ETLとは? ETL(Extract・Transform・Load)
ETLとは? ETLツールを使うメリット Y データ処理にかかるコストを下げH Y データ処理におけるヒューマンエラーを防Q Y 点在するデータを統合して活用可能にすH Y データの品質向上に貢献する
01 ETLとは? 02 AWS Glueとは? 03 GlueでETLパイプラインを組む 04 まとめ アジェンダ
AWS Glueとは?
AWS Glueとは?
AWS Glueとは?
AWS Glueとは?
AWS Glueとは?
01 ETLとは? 02 AWS Glueとは? 03 GlueでETLパイプラインを組む 04 まとめ アジェンダ
GlueでETLパイプラインを組む S3 (users.csv) Glue S3
GlueでETLパイプラインを組む S3 (users.csv) 社員一覧のダミーデータをS3に用意
GlueでETLパイプラインを組む Glue クローラーの作成
GlueでETLパイプラインを組む Glue クローラー名を定義
GlueでETLパイプラインを組む Glue S3のデータソース(csv)を選択
GlueでETLパイプラインを組む Glue IAMロールの新規作成
GlueでETLパイプラインを組む Glue Database(Data Catalog)を作成
GlueでETLパイプラインを組む Glue クローラーの作成が完了 → Run
GlueでETLパイプラインを組む Glue テーブルでスキーマが表示される
GlueでETLパイプラインを組む Glue ジョブを作成 → Visual ETL
GlueでETLパイプラインを組む Glue 1つ目: データソースの選択/設定
GlueでETLパイプラインを組む Glue 2つ目: スキーマ変換
GlueでETLパイプラインを組む Glue メールアドレスを削除してみます
GlueでETLパイプラインを組む Glue 3つ目: 出力先/フォーマットの指定 → Run
GlueでETLパイプラインを組む Glue 失敗したのでポリシーを修正...
GlueでETLパイプラインを組む Glue 度重なる失敗を経て成功
GlueでETLパイプラインを組む S3 (users.csv) 最初はメールアドレスがありましたが...
GlueでETLパイプラインを組む S3 (output.csv) メールアドレスが無くなりました
01 ETLとは? 02 AWS Glueとは? 03 GlueでETLパイプラインを組む 04 まとめ アジェンダ
まとめ E Visual Editorを使うことでノーコードでの変換が可 E ただし、コードで書いてしまった方が早い場合もあ E 形式変換(parquetなど)はETLパイプラインを組む方が楽になりそう
Thank you!