なにもしてないのにNew Relicのデータ転送量が増えていたときに確認したこと

Slide 1

Slide 1 text

primeNumber Inc. © なにもしてないのにNew Relicのデータ転送量が増えていたときに確認したこと 2024.09 primeNumber Inc. / Hiroki Takatsuka (@tk3fftk)

Slide 2

Slide 2 text

目次 © primeNumber Inc. 2 ● 自己紹介とTROCCO®の紹介 ● 今日話すことサマリ ● 見るべきポイント、検討すべきポイント ● どんな発生ケースがあったか ● まとめ

Slide 3

Slide 3 text

目次 © primeNumber Inc. 3 ● 自己紹介とTROCCO®の紹介 ● 今日話すことサマリ ● 見るべきポイント、検討すべきポイント ● どんな発生ケースがあったか ● まとめ

Slide 4

Slide 4 text

© primeNumber Inc. 4 髙塚広貴 (@tk3fftk) 株式会社primeNumber Head of SRE ● ヤフー株式会社 (2016 ~ 2022) ○ CI/CDプラットフォーム Screwdriver.cd のSREチームのスクラムマスターやEM ● 株式会社primeNumber (2022 ~ ) ○ TROCCO®のSRE ○ New Relic歴は2年くらい ● 猫 ○ アルくん (アビシニアン ♂ 4歳)

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

目次 © primeNumber Inc. 10 ● 自己紹介とTROCCO®の紹介 ● 今日話すことサマリ ● 見るべきポイント、検討すべきポイント ● どんな発生ケースがあったか ● まとめ

Slide 11

Slide 11 text

© primeNumber Inc. 11 今日話すこと「なにもしてないのにNew Relicのデータ転送量が増えていたときに確認したこと」 ● 基本的には Understand and manage data ingest に書いてあること ○ 雑にまとめると「いらんデータを特定して消せ！」という話が書いてある ● どこを見て、どう特定し、何を減らせばいいか ● 実際に起こった事象に対して何をやったか ● “なにもしてないのに” == “心当たりがないのに” くらいで捉えてもらえると🙏

Slide 12

Slide 12 text

目次 © primeNumber Inc. 12 ● 自己紹介とTROCCO®の紹介 ● 今日話すことサマリ ● 見るべきポイント、検討すべきポイント ● どんな発生ケースがあったか ● まとめ

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

© primeNumber Inc. 17 何が、いつから、が分かればリリース/更新内容を確認する 1. New Relic Agentまわりの設定が変わってないか？ 2. アプリケーション、インフラともにagent versionを上げたタイミングではないか？ 3. アプリケーションに何か大きめのアップデートはないか？ 4. 他に何かデータ送信側に怪しげな兆候はないか？ 5. 全部当てはまらないときまずはここから

Slide 18

Slide 18 text

Slide 19

Slide 19 text

© primeNumber Inc. 19 2. Agent versionを上げたタイミングではないか？ ● 有効化フラグのデフォルト値が変わっている ● 新しいメトリクスを送るようになっているなど… ● 公式ドキュメントのリリースノートが充実しているので見てアタリをつけましょう ○ Release notes | New Relic Documentation ● Major versionを上げている場合はmigration guideも ○ 例: Ruby agent 8.x to 9.x migration guide | New Relic Documentation ■ 上げる前に読んでるだろうけど、見落としとか… アップグレードの際に意図しない設定が入ってる可能性を疑う👀

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

© primeNumber Inc. 22 5. 全部当てはまらないとき ● おめでとうございます 🎉 ● それでもデータ転送減らしたいのであれば、ひたすらケチってみる ○ リアルタイム性や細かいメトリクスがいらないのであればintervalを下げる ■ 単純に量が多いならここが効く ● interval倍にしたら単純計算で半分になる ○ 普段見てない「とりあえず」で送っているメトリクスの棚卸し ○ Drop dataしてみる (やったことはないですが…) ■ Drop data using NerdGraph | New Relic Documentation ● > Dropped data does not count towards your data ingest and so is not billable. プロダクトが順調に伸びているか、New Relicの活用が進んでいます (たぶん)

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

© primeNumber Inc. 25 ① k8sのCompletedなJobが残り続けていた ● “Infrastructure integrations” が倍増 ○ ≒ TROCCOのジョブ実行基盤のk8sのメトリクスが増え続けていた ■ CompletedなJobが残り続けていたため ● 3つのうち最も特定難しかったケース ● 詳しくは👇 緊急SOS！KubernetesのCompletedな10万Jobぜんぶ消す

Slide 26

Slide 26 text

© primeNumber Inc. 26 ② “Infrastructure processes” が有効になっていた ● k8s agent管理を古来より受け継いだYAMLからHelmに移行した際に発生 ● defaultがtrueになった値(enableProcessMetrics)の見逃し ○ Infrastructure agent configuration settings | New Relic Documentation ■ > Requires infrastructure agent version 1.12.0 or higher. Accounts created before July 20, 2020 and/or infrastructure agents installed using the new Guided Install have this variable enabled by default.

Slide 27

Slide 27 text

© primeNumber Inc. 27 ③ 設定の移行漏れ ● わかりにくいが②と同タイミングに発生していた (薄紫が②のやつ) ○ ②を潰して安心していたが、実は“Infrastructure integrations”が倍くらい ● infra agentのintervalの設定の移行漏れ ○ 細かくチューニングするのではなく lowDataMode を有効にした ■ nri-kubernetes/charts/newrelic-infrastructure/README.md ● > The lowDataMode toggle is the simplest way to reduce data send to Newrelic.

Slide 28

Slide 28 text

Slide 29

Slide 29 text

© primeNumber Inc. 29 まとめなにもしてないのに(心当たりがないのに)データ転送量が増えたときは… ● 「どのデータソース」が「いつから」増えているか確認する ● その周辺の自分たちのリリース/更新内容を確認する ○ New Relic Agentまわりの設定が変わってないか？ ○ アプリケーション、インフラともにagent versionを上げたタイミングではないか？ ○ アプリケーションに何か大きめのアップデートはないか？ ○ 他に何かデータ送信側に怪しげな兆候はないか？ ● 当てはまらなかったプロダクトが順調に伸びているか、New Relicの活用が進んでいます (たぶん) ○ それでもデータ転送減らしたいのであれば、ひたすらケチってみる

Slide 30

Slide 30 text