Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AWS Glueで始めるETLパイプライン
Search
Shota Totsuka
March 04, 2025
0
28
AWS Glueで始めるETLパイプライン
Shota Totsuka
March 04, 2025
Tweet
Share
More Decks by Shota Totsuka
See All by Shota Totsuka
Claude Codeの知らない知識に立ち向かう
totsukash
1
160
Claude Codeの知らない知識、ADK, A2Aを用いた プロダクト開発をClaude Codeで行う
totsukash
0
170
Claude Code で Vibe Coding
totsukash
1
5
MCP, A2Aをプロダクトに組み込んで 開発している話
totsukash
1
2
Mastra活用|Text-to-SQLの実装と応用
totsukash
1
150
Bedrockでのプロンプト管理戦略
totsukash
3
140
Amazon SageMaker AIでモデル開発からデプロイまで試す
totsukash
2
48
Amazon CodeGuruをGitHubと統合して アプリケーションの品質管理を楽にする
totsukash
0
16
Bedrockでガードレールのフィルターを理解する
totsukash
1
70
Featured
See All Featured
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
18
1.1k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
8
890
How to Ace a Technical Interview
jacobian
279
23k
Facilitating Awesome Meetings
lara
55
6.5k
Bash Introduction
62gerente
614
210k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
53
2.9k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
16k
Documentation Writing (for coders)
carmenintech
73
5k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
667
120k
The Language of Interfaces
destraynor
160
25k
How to train your dragon (web standard)
notwaldorf
96
6.2k
Typedesign – Prime Four
hannesfritz
42
2.8k
Transcript
AWS Glueで始めるETLパイプライン AWS活用 AI/ML/LLM #5 機械学習/大規模言語モデル データエンジニアリング 株式会社BLUEISH Software Engineer
戸塚 翔太 @totsumaru_dot
自己紹介 株式会社BLUEISH AI Lead Engineer @totsumaru_dot 戸塚 翔太 e 普段はLLMアプリケーションの開発をしていま
e 現在は法人向けAIエージェントプラットフォーム「BLUEISH Agents」 の開発を担当していま e 静岡県(浜松)に住んでいますが、今年中に東京へ引っ越したい...
AWS認定(今年1月から開始)
イベントを多数開催しています!
01 ETLとは? 02 AWS Glueとは? 03 GlueでETLパイプラインを組む 04 まとめ アジェンダ
01 ETLとは? 02 AWS Glueとは? 03 GlueでETLパイプラインを組む 04 まとめ アジェンダ
ETLとは? ETL(Extract・Transform・Load)
ETLとは? ETLツールを使うメリット Y データ処理にかかるコストを下げH Y データ処理におけるヒューマンエラーを防Q Y 点在するデータを統合して活用可能にすH Y データの品質向上に貢献する
01 ETLとは? 02 AWS Glueとは? 03 GlueでETLパイプラインを組む 04 まとめ アジェンダ
AWS Glueとは?
AWS Glueとは?
AWS Glueとは?
AWS Glueとは?
AWS Glueとは?
01 ETLとは? 02 AWS Glueとは? 03 GlueでETLパイプラインを組む 04 まとめ アジェンダ
GlueでETLパイプラインを組む S3 (users.csv) Glue S3
GlueでETLパイプラインを組む S3 (users.csv) 社員一覧のダミーデータをS3に用意
GlueでETLパイプラインを組む Glue クローラーの作成
GlueでETLパイプラインを組む Glue クローラー名を定義
GlueでETLパイプラインを組む Glue S3のデータソース(csv)を選択
GlueでETLパイプラインを組む Glue IAMロールの新規作成
GlueでETLパイプラインを組む Glue Database(Data Catalog)を作成
GlueでETLパイプラインを組む Glue クローラーの作成が完了 → Run
GlueでETLパイプラインを組む Glue テーブルでスキーマが表示される
GlueでETLパイプラインを組む Glue ジョブを作成 → Visual ETL
GlueでETLパイプラインを組む Glue 1つ目: データソースの選択/設定
GlueでETLパイプラインを組む Glue 2つ目: スキーマ変換
GlueでETLパイプラインを組む Glue メールアドレスを削除してみます
GlueでETLパイプラインを組む Glue 3つ目: 出力先/フォーマットの指定 → Run
GlueでETLパイプラインを組む Glue 失敗したのでポリシーを修正...
GlueでETLパイプラインを組む Glue 度重なる失敗を経て成功
GlueでETLパイプラインを組む S3 (users.csv) 最初はメールアドレスがありましたが...
GlueでETLパイプラインを組む S3 (output.csv) メールアドレスが無くなりました
01 ETLとは? 02 AWS Glueとは? 03 GlueでETLパイプラインを組む 04 まとめ アジェンダ
まとめ E Visual Editorを使うことでノーコードでの変換が可 E ただし、コードで書いてしまった方が早い場合もあ E 形式変換(parquetなど)はETLパイプラインを組む方が楽になりそう
Thank you!