実務で体感したAWS Lambdaの制約の話

Transcript

1. ©Fusic Co., Ltd. 0 CONFIDENTIAL CONFIDENTIAL 実務で体感したAWS Lambdaの制約の話 株式会社Fusic ⽵⼝広武 @takeguchi_dev
2. ©Fusic Co., Ltd. 1 CONFIDENTIAL ⾃⼰紹介 はじめに ⽵⼝ 広武 H I R O M U TA K E G U C H I 株式会社Fusic 25卒新卒エンジニア 興味のある技術 • AWS • 機械学習 • MLOps
3. ©Fusic Co., Ltd. 2 CONFIDENTIAL AWS Lambda ⼀度は⾒たことあるこのアイコン
4. ©Fusic Co., Ltd. 3 CONFIDENTIAL Lambdaの実⾏時間の制限は15分はよく知られている話 → 実際に体験する機会は少ない Q なぜ15分？ - Lambda の設計思想がそもそも⼩規模向け - ⻑期実⾏によるAWSリソースのコストを抑えるため Q 超えるとどうなる？ - “Task timed out” などでタイムアウトで強制終了されてしまう Lambda
5. ©Fusic Co., Ltd. 4 CONFIDENTIAL 単⼀のLambdaコードで⼤量のデータ読み込みをしようととした結果 → 15分を超え実際にタイムアウトしてしまった。。 Lambdaの実⾏時間制限 20万件を超える⼤量データを DynamoDB OpenSearch Lambda １つのハンドラで読み込み込もうとした
6. ©Fusic Co., Ltd. 5 CONFIDENTIAL Lambdaのタイムアウトの処⽅箋 - (そもそもそんな⼤規模・⾼負荷な処理をLambdaでするべきではないという設計思想みたいなものは置いておいて) よく考えると、20万件を超えるレコードはそれぞれ独⽴した実⾏が可能、順序依存なし → 分ければいける！ SQS標準キューを検討 - 独⽴が可能、順序依存がないので標準キューも活躍 - でも、１件単位で独⽴させるのは冗⻑・SQSに20万件のメッセージが⼤量送信させるのは避けたい - バッチにしてSQSに送信されることを検討(例えば、5万件 x 4メッセージでSQSに送信) Lambdaの実⾏時間制限
7. ©Fusic Co., Ltd. 6 CONFIDENTIAL Lambdaの実⾏時間制限 Before After Lambda データソース Lambda データソース 15分を超えて タイムアウト SQS 分割⽤ Lambda 分割されるのでタイムアウトしない
8. ©Fusic Co., Ltd. 7 CONFIDENTIAL SQSへの送信メッセージ数を少なく・よりシンプルにするため、メッセージを可能な限り沢⼭まとめたい！ - 5万件 x 4メッセージの5万件の部分を可能な限り多く取りたい。 - SQSのメッセージサイズ制約を調べることに。 1MiB に可能な限りの件数をバッチとしてまとめることで、SQSへの送信メッセージ数が抑えられた SQSの制約も体験 最⼤メッセージサイズ • 500 KiB（過去） • 1MiB （2025年8⽉5⽇のアップデート） SQS
9. ©Fusic Co., Ltd. 8 CONFIDENTIAL Lambdaの実⾏時間制限 Before After Lambda データソース Lambda データソース 15分を超えて Timeout SQS 分割⽤ Lambda 分割されるのでTimeoutしない
10. ©Fusic Co., Ltd. 9 CONFIDENTIAL まとめ Lambdaの最⼤実⾏時間の壁を知ることができた その対処法を知ることができた SQSの最⼤メッセージ制約も知ることができた Point.01 Point.02 Point.03
11. ©Fusic Co., Ltd. 10 CONFIDENTIAL Thank You We are Hiring! https://recruit.fusic.co.jp/ ご清聴いただきありがとうございました