成長を続ける広告配信プラットフォームのモニタリングを改善してきた話

by larufa

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC 2016年の監視アッ！ ※ 実際にはサーバは爆発していません低レイテンシと安定性を生むアーキテクチャ - SSPの現場に学ぶ、高可用性のつくり方: https://employment.en-japan.com/engineerhub/entry/2019/07/12/103000

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC 2 1 ※RTB と呼ばれる仕組み Bid Request 低レイテンシと安定性を生むアーキテクチャ - SSPの現場に学ぶ、高可用性のつくり方: https://employment.en-japan.com/engineerhub/entry/2019/07/12/103000

Slide 22

Slide 22 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC 2 3 1 ※RTB と呼ばれる仕組み Bid Request 低レイテンシと安定性を生むアーキテクチャ - SSPの現場に学ぶ、高可用性のつくり方: https://employment.en-japan.com/engineerhub/entry/2019/07/12/103000

Slide 23

Slide 23 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC 2 3 1 4 ※RTB と呼ばれる仕組み Bid Request 低レイテンシと安定性を生むアーキテクチャ - SSPの現場に学ぶ、高可用性のつくり方: https://employment.en-japan.com/engineerhub/entry/2019/07/12/103000

Slide 24

Slide 24 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC 2 3 1 4 ※RTB と呼ばれる仕組み Bid Request 月間 300億インプレッション 4 低レイテンシと安定性を生むアーキテクチャ - SSPの現場に学ぶ、高可用性のつくり方: https://employment.en-japan.com/engineerhub/entry/2019/07/12/103000

Slide 25

Slide 25 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC 複数のメディアのPVと同じ数のリクエストを受けているようなもの月間 300億インプレッション 2 3 1 4 4 1 ※RTB と呼ばれる仕組み Bid Request 低レイテンシと安定性を生むアーキテクチャ - SSPの現場に学ぶ、高可用性のつくり方: https://employment.en-japan.com/engineerhub/entry/2019/07/12/103000

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC アラート通知が... - Alert -> OK -> Alert -> OK ... を繰り返す - 閾値を見直しましょう - 毎日同じタイミングに Alert が来て、その後 OK になる - 定期的なのは問題あり - これは大丈夫なやつなのでといってスルーされる - 大丈夫ならアラートじゃないよね！（整理しましょう）

Slide 37

Slide 37 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC ちなみに fluct では（通知先） - Slack にはいくつかチャンネルがある - #fluct_alert - 直ちに対応すべきもののみ通知 - #fluct_alert_ops - インフラ向けの通知 - #fluct_syslog - 動作の記録的な感じ（チャンネル名の通り）

Slide 38

Slide 38 text

Slide 39

Slide 39 text

Slide 40

Slide 40 text

Slide 41

Slide 41 text

Slide 42

Slide 42 text

Slide 43

Slide 43 text

Slide 44

Slide 44 text

Slide 45

Slide 45 text

Slide 46

Slide 46 text

Slide 47

Slide 47 text

Slide 48

Slide 48 text

Slide 49

Slide 49 text

Slide 50

Slide 50 text

Slide 51

Slide 51 text

Slide 52

Slide 52 text

Slide 53

Slide 53 text

Slide 54

Slide 54 text

Slide 55

Slide 55 text

Slide 56

Slide 56 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC 2016年の監視の用途や特徴 - SmokePing - Latency 計測 - 外形監視（ただし、定期的に人が見るという運用） - PandoraFMS - ホストの自動追加（削除はなかった） - 保存先の MySQL が辛い - 複数ホストをまとめてグラフで見れない - 5分おきに収集 - Munin - 一覧で見れる（PandoraFMS で出来ないので） - RRD から画像を定期的に生成しているので表示が速い

Slide 57

Slide 57 text

Slide 58

Slide 58 text

Slide 59

Slide 59 text

Slide 60

Slide 60 text

Slide 61

Slide 61 text

Slide 62

Slide 62 text

Slide 63

Slide 63 text

Slide 64

Slide 64 text

Slide 65

Slide 65 text

Slide 66

Slide 66 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC データベース - メトリクスの保存は TSDB (Time Series Data Base) が良い - 用途として最適 - 決め手は扱える型だった - InfluxDB の特徴 - 文字列を扱える、Schemaless - アクセスログやアプリケーションログの監視・調査を見据えて - Retention Policy - データの保持期間を指定できる - Continuous Query - 継続的にクエリを実行して結果をテーブルに保存できる

Slide 67

Slide 67 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC メトリクスコレクタ - InfluxDB と親和性の高い Telegraf を選択 - Buffer を持っている - Input, Output の概念がわかりやすい - Input, Output の Plugin の数が豊富 - Input 170 種類以上 - Output 30 種類以上 - Binary 置けば動く（セットアップしやすい） - rpm や deb もある Input Output どこから何を取るかどこに何を投げるか

Slide 68

Slide 68 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC ダッシュボード & アラート - まずは公式のオススメを見る - Dashboard - Prometheus - Grafana (https://prometheus.io/docs/visualization/grafana/ ) - InfluxDB - Chronograf (https://www.influxdata.com/time-series-platform/chronograf/ ) - Alerting - Prometheus - Alertmanager (https://prometheus.io/docs/alerting/alertmanager/ ) - InfluxDB - Kapacitor (https://www.influxdata.com/time-series-platform/kapacitor/ )

Slide 69

Slide 69 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC ダッシュボード & アラート - Dashboard - Grafana も Chronograf も重ねて見れる - おしゃれ - Alerting - Alertmanager も Kapacitor も設定ファイルが難しい - これはどちらかというと文化もある - Grafana はブラウザからポチポチできる - バックアップは必要

Slide 70

Slide 70 text

Slide 71

Slide 71 text

Slide 72

Slide 72 text

Slide 73

Slide 73 text

Slide 74

Slide 74 text

Slide 75

Slide 75 text

Slide 76

Slide 76 text

Slide 77

Slide 77 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC 外形監視 - シンプルに SaaS におまかせ - 管理画面のために NewRelic APM を使うようになった - New Relic Synthetics で外形監視 - CDN (Javascript) は中身をチェック - 定期的にブラウザテストも回そうとしている - 配信サーバも中身をチェック - /health や /ping といったエンドポイントを用意することもある - ただし、どちらかというと内側の監視で使う印象 - 例えば、ロードバランサが叩く

Slide 78

Slide 78 text

Slide 79

Slide 79 text

Slide 80

Slide 80 text

Slide 81

Slide 81 text

Slide 82

Slide 82 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC アクセスログのステータスコード監視 - 処理サーバ全台のアクセスログの合計サイズ - 475 GB / Day - 13 TB / Month - 156 TB / Year - InfluxDB のディスクが足りないので集計したものを保持すれば良い - 最大 512 GB - でも、あまり複雑にはしたくない（監視の監視になりそう）

Slide 83

Slide 83 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC ... Continuous Query 2分で消えるテーブル 1年で消えるテーブル Retention Policy CREATE CONTINUOUS QUERY cq_imp_status_code_http ON telegraf RESAMPLE EVERY 1m BEGIN SELECT count(*) INTO imp_status_code_http FROM imp_status_code_http_two_min GROUP BY time(1m), host, request_path, status_code END アクセスログをパースしたもの

Slide 84

Slide 84 text

Slide 85

Slide 85 text

Slide 86

Slide 86 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC まとめ - 監視は外側（高レベルなもの）から - 内側よりかはすぐに正常かどうかの判断が出来る - アラートは整理しましょう - 特に障害はチャンス - 整理されると見る人が増えた - ツールは仲良くなってベストな選択を！ - サービス, 規模などの変化に合わせて - お金とも相談

Slide 87

Slide 87 text

Slide 88

Slide 88 text

Slide 89

Slide 89 text

Slide 90

Slide 90 text

Slide 91

Slide 91 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC ajiting VOYAGE GROUPでは AJITOで飲むことをajitingと呼んでいます。エンジニアイベントに会場貸出もやってます @tech_voyage にメンションかDMください AJITOでエンジニアたちと飲んでみたい！という方はご連絡ください。ピザ or 寿司差し⼊れます︕(最⼤ 100名分)

Slide 92

Slide 92 text

Slide 93

Slide 93 text