Slide 10
Slide 10 text
要件:マスター全件 15,163,073 件を一括で反映する
重い取り込みは Fargate へ、軽い取り込みは Lambda へ
重い | マスター全件。最初の移行は 15,163,073 件
Amazon S3
全件データ
→
EventBridge
保存を検知
→
ECS Fargate
COPY と MERGE
→
Amazon Aurora
一括で反映
軽い | 小さなファイルの取り込み
Amazon S3
CSV を保存
→
Amazon SQS
標準キュー
→
AWS Lambda
同時実行 1
→
Amazon Aurora
業務データへ反映
Lambda には 15 分とメモリの上限がある。大量のデータ処理は苦手だと論文も指摘する。
だから重い処理は分けた。
10
©Fusic Co., Ltd.