Step Functions Distributed Map を使ってみた

2022/12/23 JAWS-UG 名古屋 2022年 "re:Invent"の復習~忘年会~ での LT 登壇資料「Step Functions Distributed Map を使ってみた！」です。

Transcript

1. Step Functions Kazuno Fukuda Distributed Map を使ってみた! 2022.12.23 JAWS-UG 名古屋 2022 年 "re:Invent" の復習~ 忘年会~
2. 株式会社コラボスタイル 開発部 サービスチーム チームマネージャー 業務では使ってません @codemountains 好きな言語は Rust です。 かるく自己紹介 Kazuno Fukuda
3. 開催地・コラボベース枠... あるらしいよ？ 社外のLT... 初挑戦です。 頑張ります や、やります...！！
4. Step Functions Distributed Map で 大規模な並列処理ができるようになったらしい。 最大 40 が 10,000 ってマジ？
5. Tutorial: Copying large-scale CSV data using Distributed Map https://docs.aws.amazon.com/step-functions/latest/dg/tutorial- get-started-distributed-map.html
6. 全体の流れ Workflow を作成する Map の必須項目を設定する 追加オプションの設定する Lambda 関数を作成する Lambda Invoke に関数を設定する States Language の定義を確認する ステートマシンの実行
7. Workflow を作成する
8. Workflow を作成する CSV ファイルの項目ごとに 一連のステップを実行してみる！！
9. Map の必須項目を設定する 分散モードを選択
10. 追加オプションを設定する ▼ samples.csv
11. 追加オプションを設定する 1000 を設定
12. Lambda 関数の作成・Lambda Invoke に関数を設定する
13. States Language の定義を確認する ▼ Workflow Studio ▼ 定義のグラフビュー
14. 実行の開始！
15. 同時実行数: 1000 同時実行数: 1
16. Map Distributed Map 最大同時実行数 40 10,000 インプット 前のステートから渡された JSON の配列のみ S3 オブジェクトのリスト JSON の配列またはファイル CSV ファイル S3 イベントリ ペイロード 256KB ファイルへの参照や単一レコードを受け取る Step Functions 側での制限なし （Lambda のストレージやメモリの上限がある） 実行履歴 ステートマシン全体で25,000 イベント 子プロセス毎にそれぞれ 25,000 イベント Express モードで実行する場合は制限なし Map と Distributed Map の比較 引用: https://dev.classmethod.jp/articles/new-feature-step-functions-distributed-map-reinvent2022/ Lambda のデフォルトの同時実行数は 1,000
17. Step Functions と Lambda で大量のデータを 並列処理できるのは、非常に便利そう！ まとめ 処理に 30 秒かかるログファイルが 1,000 個あったとして、 順次処理した場合、8 時間以上かかる。 でも、並列に実行すれば 30 秒で終わってしまう。 できるエンジニアは並列処理やで。 知らんけど。