バッチ処理で悩むバックエンドエンジニアに捧げるAWS Glue入門

"バッチ処理で悩むバックエンドエンジニアに捧げるAWS Glue入門"

DevelopersIO 2025 Osaka で発表した内容です

https://classmethod.connpass.com/event/361520/

Transcript

1. バッチ処理で悩む バックエンドエンジニアに 捧げるAWS Glue⼊⾨ morimorikochan リテールアプリ共創部 マッハチーム
2. ⾃⼰紹介
3. ⾃⼰紹介 3 morimorikochan • 所属：リテールアプリ共創部 マッハチーム 🚀 • 趣味：マリオカート ワールド‧⾃作⿇婆⾖腐 • X ：@marooon88
4. 今⽇お伝えしたいこと
5. 今⽇お伝えしたいこと 5 • AWS Glueはサーバーレスな分散処理エンジン • スクリプトが⾃動で分散処理されるので ◦ AWS Lambda‧ECSより楽に安定した⼤規模データの バッチ処理が実装できる • 複雑なJOINや⼩規模なデータの場合は不向き AWS Glueを使って安定したバッチ処理を実装しよう
6. こんな経験ありませんか？
7. 数⼗万~数百万件の⼤量のデータを システムにインポート / システムからエクスポート するバッチ処理 • 😨Lambdaの15分制限にひっかかる • 😱並列実⾏管理が⼤変 • 🤬DynamoDBのレートリミットでエラーが頻発 こんな経験ありませんか？ 7
8. 300万件のCSVファイル（30万件 x 10ファイル） ↓ [ フィルタリング‧データ加⼯ ] ↓ DynamoDBのテーブル こんな経験ありませんか？ 8 僕の経験
9. 300万件のCSVファイル（30万件 x 10ファイル） ↓ [ フィルタリング‧データ加⼯ ] ↓ DynamoDBのテーブル こんな経験ありませんか？ 9 僕の経験 Lambda + StepFunctionで 何とかなるか...!? 🧐
10. こんな経験ありませんか？ 10 完成できたものの、⾊々⾟かった
11. • 😨Lambdaの15分制限にひっかかる • 😱並列実⾏管理が⼤変 • 🤬DynamoDBのレートリミットでエラーが頻発 データ量‧件数に依存した不安定なバッチ処理󰷺 こんな経験ありませんか？ 11 完成できたものの、⾊々⾟かった
12. AWS Glue
13. AWS Glue 13 AWS Glueとは？ https://pages.awscloud.com/rs/112-TZM-766/images/AWS-Black-Belt_2023_AWS-Glue_0331_v1.pdf
14. • “サーバーレスなETL分散処理エンジン” • Apache Sparkベースの並列処理 • インフラ管理不要 • ⾃動スケーリング • 従量課⾦ これ以降、AWS Glue for Spark の前提 AWS Glue 14 AWS Glue for Sparkとは？
15. AWS Glue 15 使い⽅（Sparkジョブ） ← ①スクリプトを書く ②実⾏する↓
16. デモ
17. • ⼊⼒: S3に保存された10件のCSVファイル↓ ◦ 合計レコード件数: 約1215万件 ◦ 出展: Pure IDs (5-Core) - Amazon Reviews'23 • 加⼯: ◦ 2020年のものだけフィルタ ◦ ratingとtimestampを数値に変換 • 出⼒: DynamoDB デモ 17 Amazonの2020年のレビューデータをDynamoDBに投⼊
18. # S3バケットから CSVファイルを読み取る dynamicFrame_source = glueContext.create_dynamic_frame.from_options( connection_type = "s3", connection_options = {"paths":["s3://glue-demo-20250830/"]}, format = "csv", format_options = { "withHeader": True, } ) デモ 18 ジョブのスクリプト（ETLでいう”E”）
19. デモ 19 ジョブのスクリプト（ETLでいう”T”） # 型変換（ratingをdouble、timestampをlongに） dynamicFrame = ApplyMapping.apply( frame=dynamicFrame_source, mappings=[ ("user_id", "string", "user_id", "string"), ("parent_asin", "string", "parent_asin", "string"), ("rating", "string", "rating", "double"), ("timestamp", "string", "timestamp", "long") ] )
20. デモ 20 ジョブのスクリプト（ETLでいう”T”） # フィルタリング dynamicFrame = Filter.apply( frame=dynamicFrame, # timestampを2023年でフィルタ f=lambda x: x["timestamp"] > 1577804400000 and x["timestamp"] < 1609426800000 )
21. # DynamoDBに書き込み glueContext.write_dynamic_frame_from_options( frame=dynamicFrame, connection_type="dynamodb", connection_options={ "dynamodb.output.tableName": "reviews-20250830", # DynamoDBテーブルのプロビジョンド WCUを見て # 消費WCUを自動調整 💡 "dynamodb.throughput.write.percent": "1.0" } ) デモ 21 ジョブのスクリプト（ETLでいう”L”）
22. AWS Glue 22 動作イメージ 引用: Apache Spark の主要なトピック -アーキテクチャ
23. • 😨Lambdaの15分制限にひっかかる ◦ 時間制限はない • 😱並列実⾏管理が⼤変 ◦ 結果は⾃動で集約される • 🤬DynamoDBのレートリミットでエラーが頻発 ◦ RCU/WCUをみて⾃動制御が可能 データ量‧件数に依存しない安定したバッチ処理💪 AWS Glue 23 つらみが解決...!
24. AWS Glue 24 DynamoDBはRCU/WCUをみて⾃動制御が可能 ①プロビジョンドWCUが⾼い↓ （WCUの消費多‧時間短） ②プロビジョンドWCUが⼩さい↓ （WCUの消費少‧時間⻑）
25. • Amazon Redshift • Amazon RDS • Amazon S3 • Google BigQuery • Kafka • Snowflake • JDBC • Amazon Aurora • Amazon DynamoDB • Salesforce • Microsoft Dynamics 365 CRM • OpenSearch Service • その他にもまだまだあります AWS Glue 25 データの読み込み先/書き込み先は豊富に⽤意 引用: Available connections - AWS Glue
26. AWS Glue 26 GUIでジョブを作成可能
27. AWS Glueが向いてない場⾯
28. • 複雑なJOIN ◦ Sparkのシャッフルコストが⾼い ◦ RDSの⽅が効率的な場合も • ⼩規模なデータ（<1GB） ◦ Glueは起動時間: 1-2分 ◦ コスト的にもAWS Lambdaの⽅が効率的 • 迅速なPDCAが求められる ◦ AWS Lambdaに⽐べると検証サイクルに時間がかかる AWS Glueが向いてない場⾯ 28 銀の弾丸ではない...!
29. まとめ
30. • AWS Glueはサーバーレスな分散処理エンジン • スクリプトが⾃動で分散処理されるので、 ◦ AWS Lambda‧ECSより楽に安定したバッチ処理が実 装できる • 複雑なJOINや⼩規模なデータの場合は不向き まとめ 30 AWS Glueを使って安定したバッチ処理を実装しよう