DurableExecutionを実装検証から理解する.pdf

Transcript

1. Durable Execution を実装検証から理解する JAWS-UG名古屋 2026年1月31日（土） Lambda durable functions
2. 自己紹介 加藤 寛士（かとう ひろし） NECソリューションイノベータ株式会社 • クラウドエンジニア • JAWS-UG 名古屋運営 @Hircha12
3. 長時間実行 Lambda上で最大1年間のワークフローを実行できる 回復力 処理が中断されても実行結果を保持し、後続処理を継続できる コスト効率 待機中のコンピューティング料金は発生しない • エラーが発生したら、自動でリトライ復旧してくれる！？ • Lambdaの15分制限が、1年間に延長した！？ よくある疑問 実際の動きを確認し、理解を深める Lambda Durable Functions とは
4. ポイントは replay と 処理状態の管理 15分以内 1年 開始 Lambda run replay Lambda run replay Lambda run replay Lambda run 15分以内 15分以内 15分以内 Durable Executionは、Durable Operationの実行履歴として保存された状態を参照しながら、 Lambda関数をreplayすることで処理を継続する実行モデルである ※ replayはエラー時だけでなく、様々な条件によっても発生する Lambda Durable Functions の仕組み
5. Durable Execution replay Durable Operation Durable Operation 終了 • Durable Executionが中断され、再開条件が満たされた場合、Executionはreplayにより再開される • Durable Operationの状態履歴の保持期間は、最大90日まで設定可能 実行 通常処理 再実行 Durable Operation Durable Operation 通常処理 • Durable Operationを定義、制御するためのSDKが提供されている DurableOperationは 完了していたら実行しない Replay と Durable Operation の実行モデル • 結果がExecutionの履歴 として保持される処理 • Executionを中断・再開 する処理
6. Durable Execution replay Durable Operation Durable Operation 終了 • Durable Executionが中断され、再開条件が満たされた場合、Executionはreplayにより再開される • Durable Operationの状態履歴の保持期間は、最大90日まで設定可能 実行 通常処理 再実行 Durable Operation Durable Operation 通常処理 • Durable Operationを定義、制御するためのSDKが提供されている DurableOperationは 完了していたら実行しない Replay と Durable Operation の実行モデル • 結果がExecutionの履歴 として保持される処理 • Executionを中断・再開 する処理 ② 10秒待機 (Executionを中断) ③ 10秒後に再実行 ⑤ replayでは 実行されない ④ replayでも 実行される ⑥ replayでは 実行されない ① Executionに 結果を残す処理
7. Durable Execution のポイント • Durable Executionは、Lambda関数のreplayによる再実行を前提とした 実行モデルである • replayはエラーハンドリングではなく、Durable Executionを継続させるために 実行モデルに組み込まれた制御機構である
8. https://github.com/aws/aws-durable-execution-sdk-python • サポートされているランタイム(2026/1/31時点) • SDK https://github.com/aws/aws-durable-execution-sdk-js Node.js nodejs22.x、nodejs24.x Python python3.13、python3.14 SDKとランタイム
9. SDKが提供しているコアとなる操作 操作 分類 説明 Steps 実行結果を保存する操作 実行結果をExecutionの履歴として保持し、Replay時に再実行されない境界となる Parallel / Map 複数のDurable Operationの実行結果をまとめて履歴として保持する Child contexts 操作をグループ化し、内部のDurable Operationの履歴管理を整理する Wait 再開条件を持つ操作 Executionを中断し、待機時間経過により再開される Callback Executionを中断し、外部からの応答により再開される Invoke 他のExecutionを呼び出し、その完了結果により再開される Logger Durableのためのログ出力 replayによるログ重複を自動排除する 基本的な操作
10. AWSマネージメントコンソールからの作成 永続実行の有効化にチェック ※後から変更できないため注意 永続実行のタブが表示される 基本的な実装 (python)
11. サンプル実装されているコード サンプルコードを動かすことで、基本的な考え方が理解できる 基本的な実装 (python)
12. サンプル実装されているコード @durable_execution • handlerの実行モデルとcontextを差し替える デコレータ • contextはDurableContextになる • DurableContextのLoggerについては後述 サンプルコードを動かすことで、基本的な考え方が理解できる 基本的な実装 (python)
13. サンプル実装されているコード @durable_step • 関数をStepとして定義するデコレータ • contextはStepContextになる • StepContextのLoggerについては後述 サンプルコードを動かすことで、基本的な考え方が理解できる 基本的な実装 (python)
14. 終了 実行 Durable Operation Durable Operation 通常処理 検証コード：検証を深めるために、サンプルコードにログ、異常系処理等を追加 具体的に動きを見てみよう ①正常系
15. 検証コード：検証を深めるために、サンプルコードにログ、異常系処理等を追加 終了 実行 Durable Operation Durable Operation 通常処理 ② DurableContextLogger出力 ① print出力 ③ step関数実行 ⑦ wait関数実行 ④ StepContextLogger出力 ⑥ DurableContextLogger出力 ⑤ print出力 ⑨ DurableContextLogger出力 ⑧ print出力 終了 実行 検証コードのイメージ 具体的に動きを見てみよう ①正常系
16. 検証コードを正常に動かした場合のCloudwatchlog 具体的に動きを見てみよう ①正常系
17. 検証コードを正常に動かした場合のCloudwatchlog ② DurableContextLogger出力 ① print出力 ③ step関数実行 ⑦ wait関数実行 ④ StepContextLogger出力 ⑥ DurableContextLogger出力 ⑤ print出力 • ログ出力、step関数、wait関数の実行までの動きが読み取れる 具体的に動きを見てみよう ①正常系
18. 検証コードを正常に動かした場合のCloudwatchlog ① print出力 ⑤ print出力 ⑧ print出力 ⑨ DurableContextLogger出力 • replayしても、step関数、wait関数が実行されていない動きが読み取れる • replay時に、DurableContextLogger出力の重複が抑制されているのが分かる • 重複していない出力も抑制されている 具体的に動きを見てみよう ①正常系
19. ② DurableContextLogger出力 ① print出力 ③ step関数実行 ⑦ wait関数実行 ④ StepContextLogger出力 ⑥ DurableContextLogger出力 ⑤ print出力 ⑨ DurableContextLogger出力 ⑧ print出力 終了 実行 具体的に動きを見てみよう ①正常系
20. ② DurableContextLogger出力 ① print出力 ③ step関数実行 ⑦ wait関数実行 ④ StepContextLogger出力 ⑥ DurableContextLogger出力 ⑤ print出力 ⑨ DurableContextLogger出力 ⑧ print出力 終了 実行 ② DurableContextLogger出力 ① print出力 ③ step関数実行 ⑦ wait関数実行 ④ StepContextLogger出力 ⑥ DurableContextLogger出力 ⑤ print出力 実行 ② DurableContextLogger出力 ① print出力 ③ step関数実行 ⑦ wait関数実行 ④ StepContextLogger出力 ⑥ DurableContextLogger出力 ⑤ print出力 ⑨ DurableContextLogger出力 ⑧ print出力 終了 再実行 具体的に動きを見てみよう ①正常系
21. 出力 実装 { "timestamp": "2026-01-28T06:16:45Z", "level": "INFO", "message": "LOGGER: start execution", "logger": "root", "requestId": "0c657120-8529-44a2-acc2-f80b1d059215", “executionArn”: “arn:aws:lambda:us-east…(省略)", "mode": "success" } context.logger.info("LOGGER: start execution", extra={"mode": mode}) • Lambda実行単位で設定されるID • replayごとに異なる 具体的に動きを見てみよう ①正常系 ログトレースの際は、requestId／operationIdに着目する • DurableContextLogger
22. 出力 実装 ログトレースの際は、requestId／operationIdに着目する { "timestamp": "2026-01-28T06:16:45Z", "level": "INFO", "message": "STEP: work() started", "logger": "root", "requestId": "0c657120-8529-44a2-acc2-f80b1d059215", “executionArn”: “arn:aws:lambda:us-east…(省略)", "operationName": "work-step", "attempt": 1, “operationId”: “1ced8f5be2db23a6…(省略)", "mode": "success" } step_ctx.logger.info("STEP: work() started", extra={"mode": mode}) • StepContextLogger • Lambda実行単位で設定されるID • replayごとに異なる • step単位で設定されるID • replayしても同じ • stepが実行された回数 具体的に動きを見てみよう ①正常系
23. Tips 永続実行のタブから、オペレーション、イベント履歴をトレースすることができる
24. Tips バグの作り込み等により、実行が終わらない場合に、この画面から停止することができる
25. ② DurableContextLogger出力 ① print出力 ③ step関数実行 ⑦ wait関数実行 ④ StepContextLogger出力 ⑥ DurableContextLogger出力 ⑤ print出力 ⑨ DurableContextLogger出力 ⑧ print出力 終了 実行 Runtime Errorを 発生させる 具体的に動きを見てみよう ②異常系
26. 検証コードでRuntime Errorを発生させた場合のCloudwatchlog 具体的に動きを見てみよう ②異常系
27. 検証コードでRuntime Errorを発生させた場合のCloudwatchlog ② DurableContextLogger出力 ① print出力 ③ step関数実行 ④ StepContextLogger出力 ③ step関数実行 ④ StepContextLogger出力 ① print出力 具体的に動きを見てみよう ②異常系 • replayされ、step関数が再実行されているのが読み取れる
28. 検証コードでRuntime Errorを発生させた場合のCloudwatchlog 具体的に動きを見てみよう ②異常系 • replayされ、attemptがカウントアップしていることが分かる • replayしても、operationIdが変わらないことが分かる • replayしたことで、requestIdが変更しているのが分かる
29. ② DurableContextLogger出力 ① print出力 ③ step関数実行 ⑦ wait関数実行 ④ StepContextLogger出力 ⑥ DurableContextLogger出力 ⑤ print出力 ⑨ DurableContextLogger出力 ⑧ print出力 終了 実行 具体的に動きを見てみよう ②異常系 Runtime Error 発生
30. ② DurableContextLogger出力 ① print出力 ③ step関数実行 ⑦ wait関数実行 ④ StepContextLogger出力 ⑥ DurableContextLogger出力 ⑤ print出力 ⑨ DurableContextLogger出力 ⑧ print出力 終了 実行 ② DurableContextLogger出力 ① print出力 ③ step関数実行 ④ StepContextLogger出力 実行 終了 具体的に動きを見てみよう ②異常系 Runtime Error 発生 ② DurableContextLogger出力 ① print出力 ③ step関数実行 ④ StepContextLogger出力 実行 ② DurableContextLogger出力 ① print出力 ③ step関数実行 ④ StepContextLogger出力 実行 どうなって終わった？
31. 具体的に動きを見てみよう ②異常系 5回のリトライで終了している (初回＋リトライで全6回) 指数バックオフの動きに見える 永続実行のタブから、オペレーションを確認してみる デフォルトのretryアルゴリズムはSDK実装依存であり、明示的に設定することが推奨される
32. 具体的に動きを見てみよう ③リトライ制御 Retry strategies(リトライ戦略) • stepのリトライ動作を構成する(StepConfig による制御) https://github.com/aws/aws-durable-execution-sdk-python/blob/main/docs/advanced/error-handling.md#retry-strategies github上のサンプル 名前 説明 max_attempts 最大試行回数（初回試行を含む） initial_delay_seconds 最初の再試行までの初期遅延 max_delay_seconds 再試行間の最大遅延時間 backoff_rate 指数バックオフの乗数 jitter_strategy 遅延にランダム性を加えるジッター戦略 retryable_errors 再試行するエラーメッセージパターンのリスト retryable_error_types 再試行する例外の種類のリスト
33. 具体的に動きを見てみよう ③リトライ制御 • max_attempts(最大試行回数)：3 • backoff_rate(指数バックオフの乗数)：2 Retry strategies(リトライ戦略)を変更して実行 2回のリトライで終了している (初回＋リトライで全3回) 指数バックオフの間隔が変化 SDKのバージョンや実装差分により、一部のパラメータが利用できない場合がある max_attempts=3の設定
34. まとめ：Durable Executionを正しく使うために • Durable Executionは、replayを前提とした実行モデルである • replayはエラーハンドリングではなく実行モデルの一部である • Lambdaの15分制限は変わらない → Executionを分割・再構築して継続する • Durable operationの状態は、Executionの履歴として永続化される • 外部への影響を伴う処理は、replay時に再実行されない境界である stepに閉じ込める • 理解の近道は、ログとイベント履歴を読み解くこと