Lambdaの監視、できてますか？Datadogを用いてLambdaを見守ろう

Lambdaの監視、できてますか？ Datadogを用いてLambdaを見守ろう株式会社ニーリープラットフォーム開発部 SREチーム大木建人 2025/03/06 Japan Datadog User
Group Meetup#8@ 札幌

2 自己紹介氏名所属経歴大木建人／ Kento Ogi
株式会社ニーリープロダクト統括本部プラットフォーム開発G SREチーム趣味夏はボルダリング🧗 冬はスノーボード🏂 2018-2020 　大学で強化学習の研究 & インターンでAWSにハマる 2020-2023 　新卒で合同会社DMM.comへ　AWSにハマってたらSRE部メンバーに 2023- 　株式会社ニーリーへ入社　SREとして信頼性やリリースエンジニアリングに取り組む @2357gi @2357gi

3 プロダクト紹介

ニーリーがわかるコンテンツ 4 Recruit | 採用関連資料

1. 現状の問題と目指した世界線 2. ミッションクリティカルなLambdaとは 3. 具体的な監視ポイントと条件 4. 実装方法について 5. 実際の運用
5 本日のお品書き

7 Lambda関数がどのように発火し、エラー時にどうするのか/通知されるのかが設定されていなかったミッションクリティカルなLambdaも存在 (このLambdaが失敗するとサービスとしてヤバイ) 通知は個別で設定されていたが、網羅的にカバーできていたわけではなかった現状の問題と目指した世界線

8 エラーに気づかない、原因を追いきれないリスクが存在 → サービスの信頼性が脅かされている現状の問題と目指した世界線

9 今回の対応のゴール・ミッションクリティカルなLambdaを定義・洗い出す・そのLambdaに問題が起きたら即座に検知できる仕組みを作る・対応が必要かどうかを判断しやすくする現状の問題と目指した世界線

11 アプリケーションコードを確認呼び出されている関数をリストアップし整理定義：「正常に機能しない場合、契約率に影響しうる」と判断したLambda関数ミッションクリティカルなLambdaとは

12 アプリケーションコードを確認呼び出されている関数をリストアップし整理クリティカルな関数の例：契約申し込み時にiPhone用画像拡張子(heic)でアップロードされた画像をjpegに直すLambda関数クリティカルでは無い関数の例：検証用DBを夜間停止するLambda関数定義：「正常に機能しない場合、契約率に影響しうる」と判断したLambda関数
ミッションクリティカルなLambdaとは

14 Lambdaの監視と通知は2パターン存在・アプリケーション側のエラーや異常終了具体的な監視ポイントと条件

15 Lambdaの監視と通知は2パターン存在・アプリケーション側のエラーや異常終了・Lambda関数のリソース上の問題　・タイムアウト間際な関数やメモリ上限に近い関数具体的な監視ポイントと条件

16 Lambdaの監視と通知は2パターン存在・アプリケーション側のエラーや異常終了・Lambda関数のリソース上の問題　・タイムアウト間際な関数やメモリ上限に近い関数前者はもちろん、後者も潜在的なリスクなので問題が発生する前に検知・通知したい具体的な監視ポイントと条件

17 Lambdaの監視と通知は2パターン存在・アプリケーション側のエラーや異常終了・Lambda関数のリソース上の問題　・タイムアウト間際な関数やメモリ上限に近い関数前者はもちろん、後者も潜在的なリスクなので問題が発生する前に検知・通知したい Datadog Monitorsを用いてslackへの通知を実装 🎉
具体的な監視ポイントと条件

19 (ほぼ)全てのLambdaは一つのリポジトリでSAMにより管理 Datadog Extension LayerをLambdaに追加実装方法について

20 ミッションクリティカルかどうかを判断するために全てのLambdaにリソースタグを追加実装方法について

21 該当タグの設定漏れを検知するために CDにバリデーションを追加実装方法について

23 ・ミッションクリティカルなLambda 前述した条件での監視設定を追加問題があるとマズいLambdaに異常があると SREチームが気付けるように 🎉 実際の運用

24 ・ミッションクリティカルではないLambda ダッシュボードを新規作成するのではなく datadogのserverless画面にフィルターを適用このコンソールが十分優秀🥳 memory不足や実行時間ピンチもいい感じにわかる週次で見守り、問題があった時に検知ができるように 🎉 実際の運用

25 Datadogを使えば網羅的にLambdaの監視ができます🥳 ミッションクリティカルなLambdaに対するアラーティングはもちろん、そうでないLambdaに対しても質の良い監視ができるのでオススメ Layerを追加すればいいだけなので楽々✨ 余談：明日のRoad to SRE NEXT@札幌でも登壇予定です
SREのタスク優先度について話します 💪 まとめ

Lambdaの監視、できてますか？Datadogを用いてLambdaを見守ろう

Lambdaの監視、できてますか？Datadogを用いてLambdaを見守ろう

Nealle

More Decks by Nealle

Other Decks in Programming

Featured

Transcript