Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AWSのマネージドサービスをつかったバッチ処理の実装 / Develop Batch proc...
Search
Ryohei Sogo
May 14, 2022
Programming
0
320
AWSのマネージドサービスをつかったバッチ処理の実装 / Develop Batch processing by using AWS managed services
NCDC Dev Meetpup
AWSなんでもLT#5で発表した内容です。
AWSの各種マネージドサービス、サーバレスのサービスを組み合わせてバッチ処理を実装しました。
Ryohei Sogo
May 14, 2022
Tweet
Share
More Decks by Ryohei Sogo
See All by Ryohei Sogo
フルリモートワークでのエンジニアマネージャーの悩み
rsogo
0
60
振り返りで続ける勉強会
rsogo
0
1.6k
Other Decks in Programming
See All in Programming
PHP 8.4の新機能「プロパティフック」から学ぶオブジェクト指向設計とリスコフの置換原則
kentaroutakeda
2
540
関数型まつり2025登壇資料「関数プログラミングと再帰」
taisontsukada
2
850
Code as Context 〜 1にコードで 2にリンタ 34がなくて 5にルール? 〜
yodakeisuke
0
100
Gleamという選択肢
comamoca
6
760
DroidKnights 2025 - 다양한 스크롤 뷰에서의 영상 재생
gaeun5744
3
320
地方に住むエンジニアの残酷な現実とキャリア論
ichimichi
5
1.3k
Rubyでやりたい駆動開発 / Ruby driven development
chobishiba
1
410
プロダクト志向ってなんなんだろうね
righttouch
PRO
0
160
関数型まつりレポート for JuliaTokai #22
antimon2
0
150
GitHub Copilot and GitHub Codespaces Hands-on
ymd65536
1
120
Railsアプリケーションと パフォーマンスチューニング ー 秒間5万リクエストの モバイルオーダーシステムを支える事例 ー Rubyセミナー 大阪
falcon8823
4
950
High-Level Programming Languages in AI Era -Human Thought and Mind-
hayat01sh1da
PRO
0
290
Featured
See All Featured
Side Projects
sachag
455
42k
Site-Speed That Sticks
csswizardry
10
660
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.3k
Building Flexible Design Systems
yeseniaperezcruz
328
39k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
32
2.3k
Optimizing for Happiness
mojombo
379
70k
The Cost Of JavaScript in 2023
addyosmani
51
8.4k
VelocityConf: Rendering Performance Case Studies
addyosmani
330
24k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
16k
Documentation Writing (for coders)
carmenintech
72
4.9k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
29
9.5k
Docker and Python
trallard
44
3.4k
Transcript
マネージド・サービスと サーバレスでバッチ処理を実装した話 NCDC Dev Meetup AWSなんでもLT会#5 2022年5月13日 十川 亮平
自己紹介 NCDC株式会社 十川 亮平 (そごう りょうへい) IoTプラットフォーム製品の プロダクトマネージャー。 AWS関連のアーキテクチャの 設計や、バックエンドを 担当しています。
やりたかったこと 別システム FTPでファイル受 信 重たい データ変換処理 変換後のデータを WebアプリのDBに 入れる EC
サイトで別システムから 各種マスタファイルが来るので、変換 処理を行い、 Web アプリケーションから 使用する DB に投入する
極力インフラ運用やりたくない! サーバー障害とかAWSさんに任せたい スケール勝手にして欲しい
こういう構成で実現しました 別システム AWS Transfer family for SFTP S3 受信ファイル 置き場
EventBridge ファイルが 置かれたことを 契機に起動 StepFunctions 処理フロー 制御 1. 前処理 2.データ変換 変換用Aurora Serverless DynamoDB Webアプリケーショ ンから利用 3.データ登録
他システムからのファイルの受信 ファイルはS3に送って欲しいけ ど他システムはSFTP、 FTPS、FTPしか対応できな いって言ってる・・・
そんなときはAWS Transfer Family 別システム AWS Transfer family for SFTP S3
受信ファイル 置き場 FTPサーバー 管理しなくて良 くて楽〜 SFTP, FTPS, FTPでファイルを受け付け、 AWS S3、EFSにファイルを配置してくれるサービス
処理フロー制御と実行基盤:StepFunctions + Lambda バッチ処理の実行基盤の候補は沢山ありますが、 StepFunctions + Lambdaで行いました。 S3 受信ファイル 置き場
EventBridge ファイルが 置かれたことを 契機に起動 StepFunctions 処理フロー 制御 1. 前処理 2. データ変換 3. データ登録
StepFunctions + Lambdaを選択した理由① • このバッチ処理はファイルが来たら動くので、常にインス タンスが存在する必要はない S3 受信ファイル 置き場 EventBridge
ファイルが 置かれたことを 契機に起動 StepFunctions 処理フロー 制御 1. 前処理 2. データ変換 3. データ登録 • マネージド・サービスと サーバレスの組み合わ せでメンテナンスがかな り楽 • 変換処理に使用する データベースもAurora Serverlessにし、コスト を抑えることができた
StepFunctions + Lambdaを選択した理由② • 複数の処理を順番に実施したり、 一部は並列処理するのでフロー制御はやりたかった • StepFunctionsの実行結果とLambdaのログをCloudWatchにて監視 StepFunctions の
処理失敗を CloudWatch から監視 SNS topic 経由でメール通知 CloudWatch
StepFunctions + Lambdaを選択した理由③ 実行基盤はLambdaを利用しました • Lambdaの実行時間の制約である15分以内に1ステップ分の処理が 完了できる見込みがあったので、コンテナでやる必要がなかった • 変換処理のロジックはスクラッチで書きたかった (データ変換用のツール、フレームワークを使うほどでもなかった)
EventBridge まとめ AWSの各種マネージドサービス、サーバレスなサービスを組み合わせた バッチ処理は開発時も、運用時も非常に楽ができました。 アプリケーションの実行基盤はAWS Lambdaを使いましたが、 ここは用途に合わせていんな組み合わせがありそうだなと思います。 Transfer family S3
StepFunctions Lambda Aurora Serverless
ありがとうございました