【PHPカンファレンス小田原2025】New RelicのAPMを活用したECサービスにおけるメール遅延解消の舞台裏

by Futoshi Endo

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

© 2012-2025 BASE, Inc. 31 ● DBに1000件以上レコードが作らていたが1分間に200件程度しか送信ができてない ● アプリケーション側でN+1問題がおきてないかを調べたか問題なかった ● AWS SES でレートリミットの制限も特にかかってない ● DBで取得する件数を上げても変わらない ● 詳細な監視体制も整ってなく、原因がわからない... 遅延を解消するまでのステップについて

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

© 2012-2025 BASE, Inc. 34 Rule 1. プログラムが何処で処理時間を費やすのかは分からない。ボトルネックは驚くべき場所で起こる。だからその箇所がボトルネックであるという証明をするまで、当てずっぽうで高速化のためのハックを入れようとしてはならない。 Rule 2. 計測せよ。計測するまで最適化をするな。そしてたとえ計測したとしても、ある部分のコードが圧倒的に残りの部分より重い場合でなければ、最適化をしてはならない。遅延を解消するまでのステップについて引用元: https://www.catb.org/esr/writings/taoup/html/ch01s06.html

Slide 35

Slide 35 text

© 2012-2025 BASE, Inc. 35 ● ボトルネック調査を十分におこなわず、先に手を動かしてしまった ○ 先にやるべき事は計測を行う為の基盤づくりを行い、次に具体的なアクションを設定すべきだった ● PJメンバーとも相談をして、まずは以下の3つの指標を設定したうえで、計測できる環境を用意し、遅延を解消することにしました。 ○ ユーザーにとって重要な体験（Critical User Journey) ○ サービスレベル指標（SLI:Service Level Indicators） ○ サービスレベル目標（SLO:Service Level Objectives) ※直近でSLI/SLO勉強会をやっていた事もきっかけに今回のプロジェクトでも導入する事にした経緯があります遅延を解消するまでのステップについて

Slide 36

Slide 36 text

Slide 37

Slide 37 text

© 2012-2025 BASE, Inc. 37 ● CUJ（Critical user journey）とは ○ 多くの目標を達成するために共通するタスクや、非常に重要な目標を達成するために行う一連の流れを指します。 ● 全体のユーザー体験(フードデリバリーアプリのCUJ) ○ アプリを起動する ○ レストランを検索／選択する ○ メニューから商品を選ぶ ○ 注文を確定する ○ 支払いを行う ○ 配達状況を確認する ○ 料理を受け取る ● 特に重要なユーザー体験 ○ ユーザーが注文をして料理を受け取る CUJ/SLI/SLOについて

Slide 38

Slide 38 text

© 2012-2025 BASE, Inc. 38 ● SLI（サービスレベル指標）とは ○ SLI（Service Level Indicator）は、サービスの品質を測定するための具体的な指標。SLIは、サービスのパフォーマンスを定量的に測定するために使用されます。モニタリングできるものが基。 ○ 例えば、Webサービスの応答時間やシステムの稼働率などがSLIの例 ■ リクエスト成功率（99.9%） ■ システム稼働時間（99.95%） CUJ/SLI/SLOについて

Slide 39

Slide 39 text

© 2012-2025 BASE, Inc. 39 ● SLO（サービスレベル目標）とは ○ SLO（Service Level Objective）は、SLIに基づいて設定された具体的な目標値です。 SLOは、サービスのパフォーマンスを評価するための基準となります。 ■ 「APIのレスポンスタイムは、95%のリクエストで500ms以内」 ■ 月間のエラーレートは0.1%未満」 CUJ/SLI/SLOについて

Slide 40

Slide 40 text

Slide 41

Slide 41 text

Slide 42

Slide 42 text

Slide 43

Slide 43 text

Slide 44

Slide 44 text

Slide 45

Slide 45 text

Slide 46

Slide 46 text

Slide 47

Slide 47 text

© 2012-2025 BASE, Inc. 47 New RelicのAPMを活用した計測方法の紹介 ● NewRelicで提供されているAPM (Application Performance Monitoring)。 ● アプリケーションが想定通りのパフォーマンスを発揮しているかどうかを監視し、その改善に向けた原因の特定や、改修の迅速化を実現するためのプロセス、あるいはそのためのツールを指します。 ● APMを導入することで、アプリケーションのパフォーマンス低下やエラーを検知し、その原因を素早く特定して対処することができる

Slide 48

Slide 48 text

Slide 49

Slide 49 text

© 2012-2025 BASE, Inc. 49 New RelicのAPMを活用した計測方法の紹介 ● New Relic APMの「トランザクショントレース（Transaction trace）」画面でメールの送信処理を見たところ、1回のメール送信処理の処理全体の所要時間で最大8分21秒程かかっていた ● SMTP（CakeSocket, SmtpTransport）が逐次的に行われていて、トータルで時間かかってる ○ なぜSMTPが使われているか? ■ 歴史的経緯で当時、AWS API経由だとsjisで送れない。ガラケーユーザーの購入者さんが困る為、SMTPを使っていた。

Slide 50

Slide 50 text

© 2012-2025 BASE, Inc. 50 New RelicのAPMを活用した計測方法の紹介 SMTP（1通あたり） ● 接続: 500〜800ms（遅いと1〜2秒) ● 送信処理: 300〜700ms → 合計：1通あたり1〜2秒以上になることも SES API（1通あたり） ● API POST：200〜400ms（場合によってはもっと速い) ● 非同期で並列送信可能 → 並列処理で1秒あたり数十通以上も可能 SMTP と SES APIを使った送信方法の違いについて

Slide 51

Slide 51 text

Slide 52

Slide 52 text

Slide 53

Slide 53 text

Slide 54

Slide 54 text

Slide 55

Slide 55 text

Slide 56

Slide 56 text

Slide 57

Slide 57 text

Slide 58

Slide 58 text

© 2012-2025 BASE, Inc. まとめ 58 ● メール改善に限らず、パフォーマンスチューニングする際は「推測するな。計測せよ」の心構えが大事。 ● 計測するにあたって、事前にCUJ/SLI/SLOを定義する事で効果的にボトルネックの調査と、改善方法が定まるのでおすすめです。 ○ SLI/SLOと聞くとSRE文脈に聞こえるかもしれないですが、領域関係なく活用できる概念なので知っておいて良い思いました! ● 効果測定にあたっては、New Relic APMを活用する事で詳細に調査ができるので使っていきましょう!

Slide 59

Slide 59 text

Slide 60

Slide 60 text