New Relic 1 年生の振り返りと Cloud Cost Intelligence について #NRUG

2025/12/17 に開催された「New Relic User Group Vol.16 2025年総決算LT」で発表した内容です。
https://nrug.connpass.com/event/372944/

Transcript

1. New Relic 1 年⽣の振り返りと Cloud Cost Intelligence について New Relic User Group Vol.16 2025.12.17 (Wed)
2. 登壇者紹介 株式会社 PLAY PLAY CLOUD 本部 技術推進室 マネージャー 兼 テックリード 丸⼭ 健⼀ 2016 年、エンジニアとして新卒⼊社。 動画配信プラットフォーム の開発を担当 する中で、アカウント認証基盤や視聴動向データの分析基 盤、チャット機能やカード決済機能などの多くのシステム や機能の設計から実装までを⼿がける。 2022 年に技術ブログ「PLAY DEVELOPERS BLOG」を ⽴ち上げ。現在は会社の技術推進役として、複数の開発チ ームやグループ会社に対する技術⽀援を⾏う。 @maruyamaworks
3. 会社紹介
5. サービス概要 昨年11⽉より を利⽤
6. New Relic 導⼊の背景
7. システムの複雑性を増すさまざまな要素 外部サービスとの連携 AI 機能強化 ⾮同期処理 動画変換 / 画像変換 多様化するインフラ基盤 イベント駆動型アーキテクチャ 複雑なドメイン知識 ⼤規模データの処理 セキュリティ対策 ライブラリの脆弱性管理
8. PLAY CLOUD の開発と運⽤における課題感 調査時間の増加 トラブル対応の属⼈化 インフラコストの増加 システムが多機能化し 複雑性が増すにつれて 課題が顕在化 ➡ ⼿遅れになる前に対策を考えなければ！
9. https://x.com/NewRelicJapan/status/1803634966284345715 AWS Summit Japan 2024
10. • 2024 年 6 ⽉ New Relic 導⼊までの流れ AWS Summit Japan 2024 で New Relic の⽅と接触 翌⽇、New Relic の無料アカウントを発⾏して触ってみる • 2024 年 10 ⽉ 期間限定トライアル開始（無制限で New Relic を使⽤可能） 本番環境に計装を⾏いデータ送信量を⾒積もり、社内稟議へ • 2024 年 11 ⽉ New Relic 正式利⽤開始！ • 2025 年 4 ⽉ 技術推進室発⾜、組織としてオブザーバビリティをさらに加速
11. 1 年間の振り返り
12. • Browser Monitoring ◦ User ID 連携 ◦ Source map 連携 ◦ デプロイ時刻の連携 ◦ Errors Inbox の Slack 通知 • APM • Distributed Tracing ◦ SQS, DynamoDB をまたいだトレーシング対応 やったこと（計装⾯）
13. • New Relic の基本的な使い⽅について社内勉強会を実施 • サービスレビューの実施 ◦ 週次でチームごとに New Relic ダッシュボードを確認 ◦ 確認する内容 ▪ 「コスト」「エラーレート」「パフォーマンス」の観点 ▪ 前週と⽐べて想定外の変化がないかを確認 ▪ その他気になるエラー等あれば共有、深掘り ➡ エンジニアに o11y への関⼼を持ってもらう やったこと（組織⾯）
14. サービスレビュー コスト エラーレート パフォーマンス
15. 苦労したこと その１ Node.js エージェントが⼊らない
16. 検証環境で Node.js エージェントを導⼊したところ メモリ不⾜で アプリがクラッシュ してしまう... エージェントのためにサーバースペックを上げたくはない... Node.js エージェントが⼊らない
17. パフォーマンス改善をする ために New Relic を⼊れる はずが... New Relic を⼊れる ために パフォーマンス改善をする ことに...
18. 0x プロファイラを使って 分析を⾏ったところ 関数の再帰呼び出し が ⼤きな負荷になっている ことを特定
19. 問題箇所を修正したら API の応答時間が半減！ 2.5 s → 1.3 s 深いコールスタックも消えた！
20. New Relic エージェントを⼊れても アプリが安定動作するようになりました 🎉
21. newrelic.js でエージェント機能の取捨選択をしよう exports.config = { transaction_tracer: { record_sql: 'off', !// SQL の記録を OFF }, slow_sql: { enabled: false, !// スロークエリの収集を OFF }, span_events: { enabled: true, max_samples_stored: 50, !// 分散トレーシングの収集量を制限 }, application_logging: { enabled: false, !// アプリケーションログの収集を OFF }, };
22. 苦労したこと その２ 分散トレーシングをつなぐカスタム計装
23. ⾮同期処理を可視化するためにカスタム計装を⾏って Trace Context が引き継がれるように実装しています Lambda SQS Lambda SendMessage Invoke Message Attributes insertDistributedTraceHeaders() acceptDistributedTraceHeaders()
24. とにかく数が多いので根気のいる作業 😨
25. 最近 DynamoDB Streams を経由する場合 でも 分散トレーシングがつながるようになりました Lambda DynamoDB Lambda WriteItem Invoke Attributes insertDistributedTraceHeaders() acceptDistributedTraceHeaders() via DDB Streams DynamoDB テーブルのレコードに Trace Context を格納して受け渡す！
26. 本⽇、弊社テックブログで 解説記事を公開しました！ https://developers.play.jp
27. 苦労したこと その３ セッションリプレイのデータ送信量が⼤きすぎる していること
28. サービスの性質上、ユーザーの管理画⾯における滞在時間が⻑いため、 セッションリプレイが 2 時間を超える ことも珍しくない（データ容量を⾷う...）
30. エラーの発⽣前後だけ セッションリプレイが⾒れれば⼗分なのですが 現状だといい⽅法がない模様。New Relic 側の今後のアップデートに期待します！
31. 苦労したこと その４ ブラウザ拡張機能に起因するエラー していること
32. ユーザーのブラウザにインストールされている 拡張機能に起因するエラー が Browser Monitoring の Errors Inbox に結構な頻度で⼊ってくる 😭
33. Browser Agent の setErrorHandler() で除外しようとしているのですが どうもうまく機能しておらず... いい⽅法を知っている⽅がいたら教えてください 🙇 function handleError(err) { if (err.stack!?.includes("chrome-extension:!//")) { !// true を返せば New Relic にエラーは送信されないはず... return true; } return false; }); window.newrelic.setErrorHandler(handleError);
34. Cloud Cost Intelligence について
35. New Relic で AWS のコストを可視化する⽅法について調べると 多くの記事ではこのような形のグラフが出てきます 予期せぬコストが発⽣していても グラフの傾きが増えるだけなので ⾒落としやすい 😭
36. AWS Cost Explorer みたいなこんな感じの グラフにしたい...
37. NRQL を試⾏錯誤するもうまくいかず... 😭
38. 弊社では “Budget Falcon” という⾃社開発の OSS で 毎⽇ Slack にグラフ画像を 投稿しています github.com/playjp/budget-falcon プロモーションを含みます
39. Budget Falcon みたいなグラフを New Relic ダッシュボードにも置きたい...
41. いい感じにコストを可視化することができました！
42. FROM CloudCost SELECT SUM(line_item_unblended_cost) WHERE line_item_line_item_type IN ('Usage', 'DiscountedUsage') AND line_item_usage_account_id IN ('123456789012') !-- AccountID FACET line_item_product_code SINCE 7 days ago TIMESERIES 1 day NRQL でデータを引けるので Dashboard にも配置することが可能です！
43. • プレビュー期間中なので、まずは機能の有効化が必要 • AWS 側で Cost & Usage Report を 1 時間ごとに S3 に出⼒する設定を⾏う ◦ 命名規則とか結構厳しいので、docs をよく読んで設定しましょう！ • S3 に対してアクセス可能な IAM ロールを発⾏する • IAM ロールを New Relic 側に渡して、S3 へのアクセス権限を NR に付与 Cloud Cost Intelligence の設定⽅法
44. 今後の展望
45. 今後の展望 計装率 100% PLAY CLOUD 全体に New Relic を導⼊する サービス全体の可視化 完全なサービスマップを構築し 全体の品質を確認できるように 各チームが⾃⾛して改善する仕組みづくり 例えば、ある指標に対してどのチームが最も改善 できたか、お互いが競い合うような⽂化をつくるなど 導⼊だけで終わりではなく、組織に改善の⽂化を根付かせることが重要
46. 「⾒たい」と「⾒せたい」がつながる世界を作る