Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AWS Glueで始めるETLパイプライン
Search
Shota Totsuka
March 04, 2025
0
8
AWS Glueで始めるETLパイプライン
Shota Totsuka
March 04, 2025
Tweet
Share
More Decks by Shota Totsuka
See All by Shota Totsuka
Amazon CodeGuruをGitHubと統合して アプリケーションの品質管理を楽にする
totsukash
0
10
Bedrockでガードレールのフィルターを理解する
totsukash
1
45
Amazon Novaを使用した蒸留
totsukash
2
78
SageMaker AIワークフローのあれこれ紹介
totsukash
1
56
Vertex AIで画像分類タスクのデータセットを準備する
totsukash
0
40
Text-to-SQLで自然言語から構造化データを取得する
totsukash
2
95
トークナイザーの仕組みを少しだけ深ぼって理解する
totsukash
0
49
Bedrockエージェントから見るAI Agentとその挙動
totsukash
1
50
SageMaker Ground Truthでトレーニングデータセットを構築する
totsukash
0
16
Featured
See All Featured
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
33
2.1k
The Cult of Friendly URLs
andyhume
78
6.2k
Become a Pro
speakerdeck
PRO
26
5.2k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
30
4.6k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
233
17k
Being A Developer After 40
akosma
89
590k
Music & Morning Musume
bryan
46
6.4k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
21
2.5k
What’s in a name? Adding method to the madness
productmarketing
PRO
22
3.3k
Building a Modern Day E-commerce SEO Strategy
aleyda
38
7.1k
The Pragmatic Product Professional
lauravandoore
32
6.4k
Art, The Web, and Tiny UX
lynnandtonic
298
20k
Transcript
AWS Glueで始めるETLパイプライン AWS活用 AI/ML/LLM #5 機械学習/大規模言語モデル データエンジニアリング 株式会社BLUEISH Software Engineer
戸塚 翔太 @totsumaru_dot
自己紹介 株式会社BLUEISH AI Lead Engineer @totsumaru_dot 戸塚 翔太 e 普段はLLMアプリケーションの開発をしていま
e 現在は法人向けAIエージェントプラットフォーム「BLUEISH Agents」 の開発を担当していま e 静岡県(浜松)に住んでいますが、今年中に東京へ引っ越したい...
AWS認定(今年1月から開始)
イベントを多数開催しています!
01 ETLとは? 02 AWS Glueとは? 03 GlueでETLパイプラインを組む 04 まとめ アジェンダ
01 ETLとは? 02 AWS Glueとは? 03 GlueでETLパイプラインを組む 04 まとめ アジェンダ
ETLとは? ETL(Extract・Transform・Load)
ETLとは? ETLツールを使うメリット Y データ処理にかかるコストを下げH Y データ処理におけるヒューマンエラーを防Q Y 点在するデータを統合して活用可能にすH Y データの品質向上に貢献する
01 ETLとは? 02 AWS Glueとは? 03 GlueでETLパイプラインを組む 04 まとめ アジェンダ
AWS Glueとは?
AWS Glueとは?
AWS Glueとは?
AWS Glueとは?
AWS Glueとは?
01 ETLとは? 02 AWS Glueとは? 03 GlueでETLパイプラインを組む 04 まとめ アジェンダ
GlueでETLパイプラインを組む S3 (users.csv) Glue S3
GlueでETLパイプラインを組む S3 (users.csv) 社員一覧のダミーデータをS3に用意
GlueでETLパイプラインを組む Glue クローラーの作成
GlueでETLパイプラインを組む Glue クローラー名を定義
GlueでETLパイプラインを組む Glue S3のデータソース(csv)を選択
GlueでETLパイプラインを組む Glue IAMロールの新規作成
GlueでETLパイプラインを組む Glue Database(Data Catalog)を作成
GlueでETLパイプラインを組む Glue クローラーの作成が完了 → Run
GlueでETLパイプラインを組む Glue テーブルでスキーマが表示される
GlueでETLパイプラインを組む Glue ジョブを作成 → Visual ETL
GlueでETLパイプラインを組む Glue 1つ目: データソースの選択/設定
GlueでETLパイプラインを組む Glue 2つ目: スキーマ変換
GlueでETLパイプラインを組む Glue メールアドレスを削除してみます
GlueでETLパイプラインを組む Glue 3つ目: 出力先/フォーマットの指定 → Run
GlueでETLパイプラインを組む Glue 失敗したのでポリシーを修正...
GlueでETLパイプラインを組む Glue 度重なる失敗を経て成功
GlueでETLパイプラインを組む S3 (users.csv) 最初はメールアドレスがありましたが...
GlueでETLパイプラインを組む S3 (output.csv) メールアドレスが無くなりました
01 ETLとは? 02 AWS Glueとは? 03 GlueでETLパイプラインを組む 04 まとめ アジェンダ
まとめ E Visual Editorを使うことでノーコードでの変換が可 E ただし、コードで書いてしまった方が早い場合もあ E 形式変換(parquetなど)はETLパイプラインを組む方が楽になりそう
Thank you!