日本最大級のマッチングアプリ「タップル」で実現する Datadog を活用したセキュリティとパフォーマンスの統合オブザーバビリティ

Datadog Live Tokyo 2024 Reprise で発表した資料です
イベントページ：https://www.datadoghq.com/ja/event/datadoglive-tokyo202412/

1. 2024.12.18 Datadog Live Tokyo 2024 Reprise 日本最大級のマッチングアプリ「タップル」で 実現するDatadogを活用したセキュリティと パフォーマンスの統合オブザーバビリティ
2. ┃所属 株式会社タップル 　 ┃経歴 ・2013年 Cyberagent 新卒入社 ・2013年~19年 メディア事業部 ・2019~ タップル #1児の父 #🍺 #⛺ #🚙 #🌮 赤野 裕喜 あかの ゆうき
3. システム構成概要
4. 使用しているDatadogの機能
5. 今回紹介するタップルでのDatadogの活用事例
7. 背景 組織規模とシステム規模 成長を支える持続的な開発生産性 実現 を目的にマイクロサービス化を決断
8. 課題 マイクロサービスアーキテクチャへ移行している最中、 マイクロサービスアーキテクチャ側でレイテンシ SLOが悪化
9. 背景と課題 通信 ホップ数が増えるためレイテンシが悪化すること自体 想定内 SLO違反が増加している 、移行済み APIがまだ少ない && 重いAPIが多いから だと思っていた
10. 背景と課題 大部分を移行後もSLO違反が解消されなかった
11. ボトルネックの特定 Datadog APM Trace Queries を使って ボトルネックを特定 画像関連 CPU処理がボトルネックになっていた ※ Node.js シングルスレッドな で、 CPU処理がボトルネッ クになりやすい
12. APM Trace Queries について Span間 関係に基づいて Trace 検索、集計ができる機能 Service A から直接呼び出されている Service B また Service C Spanを含むトレースを検索するクエリ 例
13. ボトルネック特定までの流れ １. BFF レイテンシに対して処理時間 割合が大きいマイクロサービス APIを可視化 処理時間 割合が大きい API = パフォーマンス改善する価値が大きい API 価値が大きい APIから優先的に調査・改善することで効率良くレイテンシ改善できることに期待 ２. API毎にAPM Traceを確認して怪しい Spanがないか探す ３. Continuous Profiler でボトルネックになっている関数を特定
14. 処理時間の割合が大きいマイクロサービスのAPIを可視化 ※ Trace Query イメージ BFFから直接呼び出された各マイクロサービス Span Duration 合計を エンドポイント毎に集計することで可視化
15. 処理時間の割合が大きいマイクロサービスのAPIを可視化 ※ 可視化 例 処理時間が大きいエンドポイントから順番に APM Traceを確認して分析した
16. API毎にAPM Traceを確認して怪しいSpanがないか探す すぐにいくつか APIで何かしら CPU処理が怪しいと気づく
17. Continuous Profiler を使って関数を特定する Cryptoモジュール sign という署名を作成する関数がボトルネックになっていた z ※ タップルで Staging環境で み Profiler を有効にしている
18. ボトルネックの解消 署名処理を APIサーバーからサブシステムに切り出したことで解消 ✅ Trace Query 分析起因で他にも 4つほどパフォーマンス改善を実施できたことで レイテンシ SLOもグリーンに ✅
20. 導入の背景・理由 世 中的にセキュリティ脅威が増加しており、 何もしないと相対的にセキュリティリスクが大きくなると判断し導入を検討した Datadog セキュリティ製品を選んだ理由 1. すでにDatadogを活用していれ 導入が簡単 ⏱ 2. APMなど他 機能と シナジーがある 📈
21. 導入したセキュリティ製品
22. アプリケーションに dd-trace がセットアップ済みであれ 環境変数を追加するだけ 導入がすごく簡単 ※ Node.jsアプリケーション 例 インテグレーションがセットアップ済みであれ コンソールから有効にするだけ すでにLogsを利用しているなら、そこに監査ログを流してコンソールから有効にするだけ
23. IAST(Interactive Application Security Testing) が簡単に有効にできる 他の機能とのシナジー ※ サンプル画面 APMを使っていれ 環境変数を追加するだけで有効にできる Datadog IAST OWASPベンチマークで 100% 精度を記録している
24. アプリケーション脆弱性へ オートトリアージ 他の機能とのシナジー ※ サンプル画面 APMを使っていれ ランタイムコンテキストを考慮して Severity を決定 してくれる • 🚀 In Production：本番環境である • 💣 Exploit Available：攻撃手法が公開されている • ⚠ Exposed to Attacks：攻撃リクエストを受けている
25. 運用について • Severity Medium 以上 Vulnerability • Severity Low 以上 ‘Exposed to Attacks’ Vulnerability • Severity Low 以上 Signal を 0 にすることを目標とし、 上記 条件に当て まる Vulnerability, Signal が検出されたら Slackに通知される Notificationを設定して運用している Vulnerability ：脆弱性👾 Signal ：脅威 あるイベント 🧨
26. 今後の展望 • セキュリティリスク対処 シフトレフト Datadog IDEプラグイン 活用や SAST + Quality Gates 導入を検討して 開発段階でセキュリティリスクに対処できるように • SIEM 利用範囲 拡大 内製 管理画面などクラウドインフラ以外 監査ログも取り込むことで、 リスク ある操作を検知・予防できるように