Pythonで学ぶLambda パフォーマンスチューニング

Serverless LT初心者向け LT大会 #57 での発表資料
https://serverlesslt.connpass.com/event/364007/

Transcript

1. Pythonで学ぶLambdaパフォーマンスチューニング 1
2. 自己紹介 氏名:　寺田 泰晃 職種:　バックエンドエンジニア 得意領域:　サーバーレスアーキテクチャ 好きなAWSサービス:　AWS Lambda、AWS X-Ray Qiita:　@yasuaki9973 2
3. 今日のゴール AWS Lambdaのパフォーマンスチューニングの実践的な知見を共有 コールドスタートの仕組みと最適化手法 メモリサイズがパフォーマンスに与える影響 実測データに基づくチューニング指針 明日から使える最適化フローチャート 3
4. AWS Lambdaとは？ AWSが提供するサーバーレスコンピューティングサービス サーバー管理不要でコードを実行 従量課金（実行時間 × メモリ使用量） 多言語対応（Python、Node.js、Java、Go等） 主な用途 REST API処理、バッチ処理、イベント処理 4
5. コールドスタートとは？ 5
6. 典型的なコード例 (Python on Lambda) # handler外の処理(コールドスタート時のみ実行される) import boto3 s3_client = boto3.client( 's3') def lambda_handler( event, context): # handler内の処理(常に実行される) return {} 6
7. Lambdaのチューニング要素 メモリサイズがLambdaの主要なチューニング要素です。 一般的に知られていること メモリサイズ ↑ → CPUスペック ↑ 疑問点 メモリサイズを大きくすることで、逆に時間がかかる部分はあるのか？ トレードオフは存在するのか？ 7
8. Lambdaのライフサイクルを3つのフェーズに分割 「AWS管理フェーズ」 、 「Initフェーズ」 、 「Invokeフェーズ」の 3つのフェーズに分割して、それぞれのDurationを測定することを考えてみます。 8
9. 各フェーズにおけるDurationの測定方法 参考: AWS X-Ray を使用した Lambda 関数呼び出しの視覚化 9
10. 検証の前提条件 言語：Python3.12 Lambdaの形式：zip形式 VPC内/VPC外：VPC外 CPUアーキテクチャ：arm64 メモリサイズ：512MB 実行するプログラム： 【補足資料】検証で利用するプログラムを参照 ※ 傾向を見ることが目的の為、それぞれの条件で計測は1回のみ行っています。 ※ 統計的信頼性の観点から言うと、複数回測定の平均値を取る方が好ましいです。 10
11. AWS管理フェーズのDuration 下のグラフから分かるように、AWS管理フェーズでは メモリサイズによってDurationは特に変化しません。 11
12. InitフェーズのDuration Initフェーズでは、メモリサイズによらずDurationは一定です。これはBoost Host CPUというLambdaの仕様で、Initフェーズの間はメモリサイズに連動するスペックの CPUではなく、Boost Host CPUが割り当てられるのでこのような結果になります。 12
13. InvokeフェーズのDuration Invokeフェーズは、メモリサイズの増加によってDurationが小さくなりました。グラ フをよく見ると、メモリサイズが1700MB付近で性能が頭打ちになっていることが分 かります。※1vCPU相当のメモリ(1769MB)がシングルスレッド処理での性能限界 13
14. ライブラリのimport時間による影響 ライブラリのimportがCPUバウンドな処理だと仮定して、handler内/外の両方で定義 した千万回のループ処理の実行時間を比較してみます。結果としては、1vCPU相当の メモリ(1769MB)付近でBoost Host CPUと同等の処理性能になりました。 14
15. 主要ライブラリのimport時間と対策 ライブラリ名 バージョン import時間(ms) pandas 2.2.3 2209 Requests 2.32.3 328 boto3 1.35.66 603 実践的な対策 重いライブラリ: 軽量な代替手段を検討 urllib.request: Requestsの代替で50ms程度に短縮 バッチ処理: 重い処理の切り出し 15
16. Lambda最適化のフローチャート X-Ray測定 (現状把握) フェーズ判定 ボトルネック特定 → Initフェーズ問題 → • 不要ライブラリ削除 • 軽量ライブラリに置き換える Invokeフェーズ問題 (CPU依存) → • メモリサイズを256MB〜 1769MBの範囲で調整 Invokeフェーズ問題(IO 依存) → • WebSocketの利用など、別の対 策が必要 16
17. 参考資料 参考: AWS Lambdaのコールドスタートを短くする為に、ユーザーに出来ること 参考: コンテナ形式のLambdaはPythonライブラリのimportが早いか検証してみる 17
18. 【補足資料】検証で利用するプログラム import time from aws_lambda_powertools import Tracer tracer = Tracer() def execute_loop(): start_time = time.time() for i in range( 10000000): pass elapsed_time = time.time() - start_time print( f'elapsed_time: {elapsed_time} ') execute_loop() @tracer.capture_lambda_handler def lambda_handler( event, context): execute_loop() return {} 18
19. 【補足資料】Boost Host CPUについて 現象の観測事実 Initフェーズでメモリサイズに関係なく一定の高いCPU性能が観測される この現象はコミュニティで「Boost Host CPU」と呼ばれている AWS公式の説明 AWS公式ドキュメントでは明確な言及なし 参考: 詳解 AWS Lambdaコールドスタート 19