Laravel Nightwatchの裏側 - Laravel公式Observabilityツールを支える設計と実装

PHPerKaigi 2026で発表したスライドです。実際のトークではプロダクトのデモや実際のコードを交えて話したので、このスライドだけだと伝わらない部分も多くあると思います。

Laravel Nightwatchは、Laravelアプリケーションに特化した公式のObservabilityツールです。
https://nightwatch.laravel.com

このセッションでは、その「裏側」で実際に動いている仕組みを、アーキテクチャからコードレベルまで紹介します。

Nightwatchは、ユーザーのLaravelアプリケーションにインストールするパッケージ、ローカルエージェント、クラウド上のデータパイプラインといった複数のコンポーネントの連携によって成り立っています。

OSSの laravel/nightwatch パッケージが各種イベントをフックしてメトリクスを収集し、レスポンス後にローカルエージェントへTCPで送信、エージェントから Ingest API → Kafka → ClickHouse とデータが流れ、最終的にダッシュボードで可視化されます。

リリース初日から世界中から大量のアプリケーションがメトリクスを送り続ける前提で、数十億レコード規模のデータを、マルチリージョン構成で、かつPHP中心のスタックで処理し続ける必要がありました。

このセッションでは、

- Laravel内部のライフサイクルをどうフックしてメトリクス情報を取得しているのか
- どうやってアプリ本体のパフォーマンスを落とさずにデータを収集しているのか
- ReactPHPを使ったイベントドリブンな常駐プロセス
- エージェント〜Ingest〜Kafka〜ClickHouseまでのデータフロー設計
- 大量データ・高トラフィックを前提にしたボトルネックとその対策

といったトピックを、実際のOSSコードやアーキテクチャ図とともにお話しします。

Transcript

1. Laravel Nightwatchの裏側 Laravel公式Observabilityツールを支える設計と実装 Ryuta Hamasaki PHPerKaigi 2026
2. Ryuta Hamasaki Senior Software Engineer at Laravel @avosalmon
3. nightwatch.laravel.com
6. 335,838,779,310
7. queries テーブル (USリージョン) • 39,844,341,114 レコード • 21.04TB (非圧縮) • 838.56GB (圧縮)
8. このデータは どうやって集まっている？
9. Laravel App Nightwatch Agent Ingest API Kafka ClickHouse Dashboard → → ← → Nightwatch Package Your App Nightwatch TCP ClickPipes → Write Read HTTP
10. 各レイヤーを深掘りしていきます DEEP DIVE Nightwatch パッケージ：データ収集 Nightwatch エージェント：収集したデータを送信 データパイプライン：大規模データを高速に処理・保存 01 02 03 Dashboard：大規模データを集計して可視化 04
11. Nightwatch Agent Ingest API Kafka ClickHouse Dashboard → → ← → Your App Nightwatch TCP ClickPipes → Write Read HTTP Laravel App Nightwatch Package
12. laravel / nightwatch
13. データ収集〜Agentに送信 01 - Nigtwatch パッケージ Boot → ϝτϦΫεऩू Ϩεϙϯε Agentʹૹ৴ → → → ϦΫΤετ
14. データ収集〜Agentに送信 01 - Nigtwatch パッケージ Boot → ϝτϦΫεऩू Ϩεϙϯε Agentʹૹ৴ → → → ϦΫΤετ Eventリスナー・Middlewareを登録
15. データ収集〜Agentに送信 01 - Nigtwatch パッケージ Boot → ϝτϦΫεऩू Ϩεϙϯε Agentʹૹ৴ → → → ϦΫΤετ 各イベントでメトリクスを収集し、メモリ上にバッファ
17. enum ExecutionStage: string { case Bootstrap = 'bootstrap'; case BeforeMiddleware = 'before_middleware'; case Action = 'action'; case Render = 'render'; case AfterMiddleware = 'after_middleware'; case Sending = 'sending'; case Terminating = 'terminating'; case End = 'end'; }
18. データ収集〜Agentに送信 01 - Nigtwatch パッケージ Boot → ϝτϦΫεऩू Ϩεϙϯε Agentʹૹ৴ → → → ϦΫΤετ
19. データ収集〜Agentに送信 01 - Nigtwatch パッケージ Boot → ϝτϦΫεऩू Ϩεϙϯε Agentʹૹ৴ → → → ϦΫΤετ
20. リクエスト〜ジョブのトレース 01 - Nigtwatch パッケージ LaravelのContext機能でリクエストのtrace idをジョブと共有 use Illuminate\Support\Facades\Context; // Request Context::addHidden('nightwatch_trace_id', $trace); // Job Context::getHidden('nightwatch_trace_id');
21. パフォーマンスに影響はないのか 01 - Nigtwatch パッケージ • ユーザーのアプリケーションを遅くしないことが最優先 • レスポンスを返した後、まとめてAgentに送信 • Agentとの通信はローカルネットワーク内の TCP通信なので高速
22. Laravel App Nightwatch Agent Ingest API Kafka ClickHouse Dashboard → → ← → Nightwatch Package Your App Nightwatch TCP ClickPipes → Write Read HTTP
23. なぜエージェントが必要なのか 02 - Nightwatch Agent • アプリケーション全体のスループットが下がる可能性 • ローカルネットワーク内のTCP通信は高速 • 複数リクエストのデータをバッファし、まとめてバッチ 送信
24. ストレステストの結果 02 - Nightwatch Agent
26. React PHP 02 - Nightwatch Agent • PHPでイベントドリブンな非同期処理を実現 • TCPサーバー・タイマーなどのストリーム処理が可能 • PHPの枠を超えた常駐プロセスを構築できる
27. use React\EventLoop\Loop; use React\Socket\ConnectionInterface; use React\Socket\TcpServer; $server = new TcpServer('127.0.0.1:2407'); $server->on('connection', function (ConnectionInterface $connection) { $payload = new Payload; $connection->on('data', function (string $chunk) use ($payload) { $payload->append($chunk); }); $connection->on('close', function () use ($payload) { $this->ingest->write($payload); }); }); Loop::run()
28. Laravel App Nightwatch Agent Ingest API Kafka ClickHouse Dashboard → → ← → Nightwatch Package Your App Nightwatch TCP ClickPipes → Write Read HTTP
29. Overview 03 - σʔλύΠϓϥΠϯ • マルチリージョン構成：US / EU / AU • リリース初日から世界中のLaravelアプリがデータを送信 • 数十億レコード規模のデータを継続的に処理 • データロスがあってはならない
30. Ingest API 03 - σʔλύΠϓϥΠϯ • 世界中のエージェントからのデータの受け口 • 認証・バリデーション・利用量の上限チェック • 受け取ったデータを即座にKafkaへ送信 • レスポンスは高速に返す：データベースへの保存処理は 後段に任せる
31. Kafka ( MSK ) 03 - σʔλύΠϓϥΠϯ • 高スループット：数十万〜数百万メッセージ/秒を処理 • 高い耐久性：データロスを防ぐ • Ingest APIとDBの間のバッファとして機能 Ingest API Kafka ClickHouse Dashboard → ← → ClickPipes → Write Read
34. Row-based vs Column-based
37. KafkaからClickHouseに どうやって保存している？
38. Ingest API Kafka ClickHouse Dashboard → → ← → ↓ Your App Nightwatch TCP HTTP ClickPipes → Write Read Laravel App Nightwatch Package Nightwatch Agent
40. Laravel App Nightwatch Agent Ingest API Kafka ClickHouse Dashboard → → ← → Nightwatch Package Your App Nightwatch TCP ClickPipes → Write Read HTTP
42. Tech Stack 04 - Dashboard Laravel Inertia.js React TypeScript shadcn/ui Tailwind CSS
43. Laravel & ClickHouse 04 - Dashboard glushkovds / phpclickhouse-laravel smi2 / phpclickhouse
44. timestamp path method status duration (ms) 2026 - 03 - 19 14 : 32 : 01.483 /users GET 200 142.5 2026 - 03 - 19 14 : 32 : 01.891 /dashboard GET 200 38.2 2026 - 03 - 19 14 : 32 : 02.104 /orders POST 201 512.8 2026 - 03 - 19 14 : 32 : 02.337 /users/{id} GET 200 95.1 2026 - 03 - 19 14 : 32 : 03.002 /reports GET 200 1284.3 requests テーブル
45. SELECT toStartOfMinute(timestamp) AS minute, count() AS count, countIf(status >= 500) AS errors, avg(duration) AS avg, quantile(0.95)(duration) AS p95, FROM requests WHERE timestamp >= now() - INTERVAL 1 HOUR GROUP BY minute ORDER BY minute
46. minute count errors avg p95 2026 - 03 - 19 14 : 28 : 00 1,204 3 84.2 245.2 2026 - 03 - 19 14 : 29 : 00 1,387 12 97.5 312.8 2026 - 03 - 19 14 : 30 : 00 1,156 1 72.1 198.4 2026 - 03 - 19 14 : 31 : 00 1,293 5 88.9 267.1 2026 - 03 - 19 14 : 32 : 00 1,342 8 91.3 289.5 数十億行のテーブルでも１秒以内に集計
47. まとめ PACKAGE Laravelのイベントをフックし、 パフォーマンスへの影響を最小化して収集 AGENT ReactPHPによるEvent-Drivenな 常駐プロセス（TCPサーバー） PIPELINE Ingest API + Kafka + ClickPipesで 大規模データを処理 DASHBOARD ClickHouseによる高速なデータ集計
48. ANNOUNCEMENT 日本初のLaravel公式カンファレンス laravellive.jp
49. ೥݄೔
50. TACHIKAWA STAGE GARDEN
57. Laravel だけじゃないよ！ Laravel Live Japan 2026 Laravel PHP AI Testing Database UI / UX Community Career JavaScript Native App
58. શηογϣϯ
    ϥΠϒ຋༁͋Γ🌏
59. &BSMZ
    #JSE
    νέοτ laravellive.jp ݄೔·Ͱ
60. Thank You