CDNのログでLPの可観測性を高めた話

CDNのログでLPの可観測性を高めた話株式会社BuySell Technologies 福本隆弘 2024.09.11 1

自己紹介名前　福本隆弘所属　株式会社BuySell Technologies テクノロジー戦略本部　開発1部　SREグループ（おそらく）初めての社外 LTなので緊張
Twitter (X) 　@tak_0x00 2

3 事業紹介買取・販売の循環を実現する総合リユースビジネスを展開しています。お客様のニーズに合わせた各種買取・販売チャネルで、自宅に眠るさまざまな不要なものを、誰かの必要なものへと変えています。

4 プロダクト群「バイセルリユースプラットフォーム Cosmos」の開発が進行中リユースに必要なすべての機能を提供する「リユースプラットフォーム Cosmos」の開発が進行中です。 Cosmosを活用して、バイセルグループ全体での業務効率改善やデータドリブン経営の深化を目指しています。リユースプラットフォーム Cosmos 自社開発のリユース特化業務基幹システムでありサービス群の集合体買取申込
買取・査定在庫管理販売多様なチャネルで収益最大化 CRM -顧客対応 - 買取種別に応じた最適なシステム構築 Visit -訪問買取 - Store -店舗買取 - Promas -商材マスタ - Appraisal -専門査定 - Stock -在庫管理 - EXS -販売管理 - Core -会員管理 - Portal -データ利用 - Pocket -データ基盤 - 買取専門チームによる真贋・査定と連携査定申込効率的な顧客対応在庫在庫管理の最適・効率化販売データ各事業プロセスにあるデータを一元管理：基幹システム

今回はLPの話お客さまが弊社にたどり着くための大事な経路のひとつ 5

LPの構成について・CDNはLPごとに　ディストリビューションを確保・ページの運用管理もCDNごしに　操作を行っている・DBはコスト面から共通のクラスタを　利用している Wordpressを用いたLPでサイトごとにEC2上に構築している 6

可観測性に対する課題 01 監視している項目が少ない EC2/RDSのCPUやメモリ状況のみの監視と最低限 CloudFront上からのメトリクス起点のものは無い 02 専用ダッシュボードが無いアラート時にEC2/RDSのインスタンス情報からみれるダッシュボードのみでみていたため、確認に至るまでの動線が長く
得られる情報も少ない（かつ、拡張メトリクスは無効...） 7

専用ダッシュボード全体・各URLごとでのPVや貫通率、40xの出ているページの検出、特定IPやUserAgentからのアクセス量も確認可能ログ転送においてはコスト低減の観点から必要なフィールドのみに絞る形で実装した CloudFrontからのリアルタイムログを New Relicへ転送することで詳細な状況確認が可能に
8

CDN Hit Ratioの可視化 LP本体とアセット類を同じoriginから配信しているためこれらを分けて表示できるようにヒット率のNRQLを調整したまた、ヒット率とPVを併記することにより、 PV変動によるヒット率の悪化が発生していないかの検出を可能とした 9

パス別ヒット率表示 10 キャッシュ設定の見直しのためにオリジン側の送出設定やCDN側の設定ミスによりキャッシュできてないファイルが発生する事が多いため、PVの多い順に各パスのキャッシュヒット状況を表示している (´・ω・)o0O( なんで静的ファイルのヒット率がこんなに悪いのか... )

パス別ヒット率表示オリジン側の送出設定やCDN側の設定ミスによりキャッシュできてないファイルが発生する事が多いため、PVの多い順に各パスのキャッシュヒット状況を表示している (´・ω・)o0O( なんで静的ファイルのヒット率がこんなに悪いのか... ) 11 キャッシュ設定の見直しのために

Bot・DoS確認の容易化 WAFのManagedRuleを有効化したいが現状は一部のUAを明示拒否しているのみに留まっているそこでBotやDoSなどを確認できるよう ClientIP・UA別でのアクセス状況を Barと折れ線で合わせて表示している 12

Bot・DoS確認の容易化 WAFのManagedRuleを有効化したいところだが、現状は一部のUAを明示拒否しているのみに留まっているそこでBotやDoSなどを確認できるよう、 ClientIP・UA別でのアクセス状況を Barと折れ線で合わせて表示している 13

突然の貫通率悪化、原因は？ CDNからの貫通が急激に増え、 EC2やRDSが高負荷となったこのときのダッシュボードを見る 14

突然の貫通率悪化、原因は？ CDNからの貫通が急激に増え、 EC2やRDSが高負荷となったこのときのダッシュボードを見る 15 PVがあるのにHitRatioが0%になっている

突然の貫通率悪化、原因は？ CDNからの貫通が急激に増え、 EC2やRDSが高負荷となったこのときのダッシュボードを見る 16 pageへのアクセスが急増している

突然の貫通率悪化、原因は？ CDNからの貫通が急激に増え、 EC2やRDSが高負荷となったこのときのダッシュボードを見る 17

突然の貫通率悪化、原因は？ CDNからの貫通が急激に増え、 EC2やRDSが高負荷となったこのときのダッシュボードを見る 18 特定のIPアドレス・UAからのアクセスが多い

突然の貫通率悪化、原因は？ CDNからの貫通が急激に増え、 EC2やRDSが高負荷となったこのときのダッシュボードを見る 19 特定のIPアドレスからのアクセスがページリクエストに偏っている

突然の貫通率悪化、原因は？ CDNからの貫通が急激に増え、 EC2やRDSが高負荷となったこのときのダッシュボードを見る 20 様々なページへのアクセスをしている

まとめ CloudFrontのログをNew Relicに流すことでダッシュボードを作成した 01 PV、ヒット率の可視化全体でのPVやヒット率のみにならず、ファイル単位での可視化を行ったこれによりCDNの設定ミスや不適切なファイル設置の検出が容易となった
02 ページ単位での PV可視化高負荷・攻撃時などにおいて、どのページが根源となっているのかを可視化した 21

THANK YOU 22

補足資料 23

CDN Hit Ratioの可視化 WITH capture(`cs-uri-stem`, r'.+/(?P<uriStemFilename>[^?/]+)(/)?(\?.+)?') as (`uri-stem-filename`), –- QueryStringの除去、ディレクトリの場合の／有無を正規化したもの
if(position(`uri-stem-filename`, '.') is null, 'page', 'asset') as `page-or-asset`, -- 正規化されたファイルパートを元に、拡張子有無でアセット類かどうかを判別 if(`x-edge-response-result-type` in ('Hit', 'RefreshHit'), 'hit', 'miss') as `hit-or-miss` -- CloudFrontでのキャッシュ状況 SELECT filter(count(*), WHERE `hit-or-miss` = 'hit') / count(*) * 100 as 'overall', filter(count(*), WHERE `hit-or-miss` = 'hit' AND `page-or-asset` = 'page') / filter(count(*), WHERE `page-or-asset` = 'page') * 100 as 'page', filter(count(*), WHERE `hit-or-miss` = 'hit' AND `page-or-asset` = 'asset') / filter(count(*), WHERE `page-or-asset` = 'asset') * 100 as 'asset' FROM Log WHERE `client-ip` IS NOT NULL AND `cs-host` = {{hostname}} SINCE 30 minutes ago TIMESERIES 24 NRQLの紹介

転送対象としたフィールドリアルタイムログの転送においては63 個のフィールドから最大40個を選択できるが、コストを勘案し11個を選択した 25 timestamp エッジサーバーがリクエストへの応答を終了した日時 c-ip リクエスト元のビューワーの
IP アドレス sc-status サーバーのレスポンスの HTTP ステータスコード cs-method ビューワーから受信した HTTP リクエストメソッド cs-host ビューワーが、このリクエストの Host ヘッダーに追加した値。 (代替ドメイン名 ) cs-uri-stem クエリ文字列 (存在する場合 ) を含むが、ドメイン名を含まないリクエスト URL 全体 x-host-header CloudFront ディストリビューションのドメイン名 (d111111abcdef8.cloudfront.net など) time-taken サーバーが、ビューワーのリクエストを受信してからレスポンスの最後のバイトを出力キューに書き込むまでの秒数 cs-user-agent リクエスト内の User-Agent ヘッダーの値 cs-referer リクエスト内の Referer ヘッダーの値 x-edge-response-result-type ビューワーにレスポンスを返す直前にサーバーがレスポンスを分類した方法引用元 : https://docs.aws.amazon.com/ja_jp/AmazonCloudFront/latest/DeveloperGuide/real-time-logs.html

CDNのログでLPの可観測性を高めた話

CDNのログでLPの可観測性を高めた話

tak0x00

More Decks by tak0x00

Featured

Transcript