Slide 1

Slide 1 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC 成長を続ける広告配信プラットフォームの モニタリングを改善してきた話 株式会社 VOYAGE GROUP fluct SRE みっさん

Slide 2

Slide 2 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC 自己紹介(みっさんです) 株式会社 VOYAGE GROUP 2016 年入社 fluct の SRE (当初はインフラ本部) に所属 好きなこと: 地道な作業 好きなキャラクター: リラックマ

Slide 3

Slide 3 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC 今日話したいこと - やりがちな監視の話 - アラートの話 - モニタリングツールを選んだ時の話

Slide 4

Slide 4 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC やりがちな監視の話

Slide 5

Slide 5 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC こういう経験はありませんか?

Slide 6

Slide 6 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC 2016年の監視 ここに広告を出す システムがあってじゃな 低レイテンシと安定性を生むアーキテクチャ - SSPの現場に学ぶ、高可用性のつくり方: https://employment.en-japan.com/engineerhub/entry/2019/07/12/103000

Slide 7

Slide 7 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC 2016年の監視 ここを監視して... 低レイテンシと安定性を生むアーキテクチャ - SSPの現場に学ぶ、高可用性のつくり方: https://employment.en-japan.com/engineerhub/entry/2019/07/12/103000

Slide 8

Slide 8 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC 2016年の監視 ヨシ! 低レイテンシと安定性を生むアーキテクチャ - SSPの現場に学ぶ、高可用性のつくり方: https://employment.en-japan.com/engineerhub/entry/2019/07/12/103000

Slide 9

Slide 9 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC 2016年の監視 アッ! 低レイテンシと安定性を生むアーキテクチャ - SSPの現場に学ぶ、高可用性のつくり方: https://employment.en-japan.com/engineerhub/entry/2019/07/12/103000

Slide 10

Slide 10 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC 2016年の監視 アッ! ※ 実際にはサーバは爆発していません 低レイテンシと安定性を生むアーキテクチャ - SSPの現場に学ぶ、高可用性のつくり方: https://employment.en-japan.com/engineerhub/entry/2019/07/12/103000

Slide 11

Slide 11 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC 2016年の監視 広告は出てるぞ!? 低レイテンシと安定性を生むアーキテクチャ - SSPの現場に学ぶ、高可用性のつくり方: https://employment.en-japan.com/engineerhub/entry/2019/07/12/103000

Slide 12

Slide 12 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC やばそうだけど大丈夫そう...!汗

Slide 13

Slide 13 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC というような 経験をしたことがある方は いませんか!

Slide 14

Slide 14 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC CPU 使用率 100% まぁ大丈夫(広告出てる) やばい(広告出てない) ⇨ ⇨ 急いで調査 急いで調査 ⇨ もっと急いで対応 ⇨ ゆっくりでいい

Slide 15

Slide 15 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC 大丈夫かどうかすぐに分からない

Slide 16

Slide 16 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC fluct ではどうやって すぐに大丈夫かを判断しているのか?

Slide 17

Slide 17 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC fluct における大丈夫かの判断基準 広告が見えているかどうか

Slide 18

Slide 18 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC なんで?

Slide 19

Slide 19 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC 神ゲー攻略 https://kamigame.jp/

Slide 20

Slide 20 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC 低レイテンシと安定性を生むアーキテクチャ - SSPの現場に学ぶ、高可用性のつくり方: https://employment.en-japan.com/engineerhub/entry/2019/07/12/103000 1 Bid Request

Slide 21

Slide 21 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC 2 1 ※RTB と呼ばれる仕組み Bid Request 低レイテンシと安定性を生むアーキテクチャ - SSPの現場に学ぶ、高可用性のつくり方: https://employment.en-japan.com/engineerhub/entry/2019/07/12/103000

Slide 22

Slide 22 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC 2 3 1 ※RTB と呼ばれる仕組み Bid Request 低レイテンシと安定性を生むアーキテクチャ - SSPの現場に学ぶ、高可用性のつくり方: https://employment.en-japan.com/engineerhub/entry/2019/07/12/103000

Slide 23

Slide 23 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC 2 3 1 4 ※RTB と呼ばれる仕組み Bid Request 低レイテンシと安定性を生むアーキテクチャ - SSPの現場に学ぶ、高可用性のつくり方: https://employment.en-japan.com/engineerhub/entry/2019/07/12/103000

Slide 24

Slide 24 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC 2 3 1 4 ※RTB と呼ばれる仕組み Bid Request 月間 300億 インプレッション 4 低レイテンシと安定性を生むアーキテクチャ - SSPの現場に学ぶ、高可用性のつくり方: https://employment.en-japan.com/engineerhub/entry/2019/07/12/103000

Slide 25

Slide 25 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC 複数のメディアのPVと 同じ数のリクエストを 受けているようなもの 月間 300億 インプレッション 2 3 1 4 4 1 ※RTB と呼ばれる仕組み Bid Request 低レイテンシと安定性を生むアーキテクチャ - SSPの現場に学ぶ、高可用性のつくり方: https://employment.en-japan.com/engineerhub/entry/2019/07/12/103000

Slide 26

Slide 26 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC fluct が大事にしていること 広告が見えるというのが大事! fluct のサービスが正常である証

Slide 27

Slide 27 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC CPU 使用率 100% まぁ大丈夫(広告出てる) やばい(広告出てない) ⇨ ⇨ 急いで調査 急いで調査 ⇨ もっと急いで対応 ⇨ ゆっくりでいい

Slide 28

Slide 28 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC CPU 使用率 100% まぁ大丈夫(広告出てる) やばい(広告出てない) ⇨ ⇨ 急いで対応 急ぎじゃない 高レベル(あらゆる要素を含んでいる) 低レベル(何か1つだけ) 緊急度: 高 緊急度: 高かも?

Slide 29

Slide 29 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC 広告が見えない時(大きく分けて2つ) システムの都合 広告提供元の都合

Slide 30

Slide 30 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC 広告が見えない時(大きく分けて2つ) システムの都合 広告提供元の都合 これらの都合を防げるなら防ぎたい そうはいかない時もあるので 少なくとも気づけるようにしたい!

Slide 31

Slide 31 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC 2020年の監視 もっと外側を 重点的に!

Slide 32

Slide 32 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC 押さえておきたいこと(その1) 監視は外側(高レベルなもの)から

Slide 33

Slide 33 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC しかし、fluct では外側の監視を足しても 決して良いと言える状況ではなかった!

Slide 34

Slide 34 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC アラートの話

Slide 35

Slide 35 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC アラート通知が... - Alert -> OK -> Alert -> OK ... を繰り返す - 毎日同じタイミングに Alert が来て、その後 OK になる - これは大丈夫なやつなので といってスルーされる

Slide 36

Slide 36 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC アラート通知が... - Alert -> OK -> Alert -> OK ... を繰り返す - 閾値を見直しましょう - 毎日同じタイミングに Alert が来て、その後 OK になる - 定期的なのは問題あり - これは大丈夫なやつなので といってスルーされる - 大丈夫ならアラートじゃないよね!(整理しましょう)

Slide 37

Slide 37 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC ちなみに fluct では(通知先) - Slack にはいくつかチャンネルがある - #fluct_alert - 直ちに対応すべきもののみ通知 - #fluct_alert_ops - インフラ向けの通知 - #fluct_syslog - 動作の記録的な感じ(チャンネル名の通り)

Slide 38

Slide 38 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC その他、アラート通知を整理して得られたもの

Slide 39

Slide 39 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC その他、アラート通知を整理して得られたもの SRE以外のメンバーもアラートを気にするようになった

Slide 40

Slide 40 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC 押さえておきたいこと(その2) アラートは整理しましょう 整理と言ってもここらへんのニュアンス (洗練、育てる、面倒を見る、さらに強く、充実、いい感じ)

Slide 41

Slide 41 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC 整理と言っても - なかなか定期的にやれない - 前やったけれど忘れたから、またやり直し - めんどくさい - つらい - 寝たい - などなど...

Slide 42

Slide 42 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC いつやるの?

Slide 43

Slide 43 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC いつやるの? - fluct では - 障害が起きた時 - 人は主にこの時に動く - 監視システムを置き換えた時 - 新しい仲間が増えた時

Slide 44

Slide 44 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC いつやるの? - fluct では - 障害が起きた時 - 人は主にこの時に動く - 監視システムを置き換えた時 - 新しい仲間が増えた時 チャンス!

Slide 45

Slide 45 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC 次はツールを見直したいと思った

Slide 46

Slide 46 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC モニタリングツール選んだ時の話

Slide 47

Slide 47 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC なんで見直すの? - ツールは入れ替えていくもの - 古いとメンテナンスされなくなることもある - サービスや規模に合わない - 新しいものが好き ツールが悪いとかの話ではない

Slide 48

Slide 48 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC 2016年入社した時点で監視はすでにあった オンプレと AWS のハイブリッド構成だが 今回はオン プレの監視について

Slide 49

Slide 49 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC Agent Master ※ Master, Agent 構成のものには 枠 線をつけています 外形監視 + Latency ping push(interval: 5m) pull(interval: 5m) サーバメトリクス 保存 アラート通知 2016年の監視

Slide 50

Slide 50 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC PandoraFMS Demo online Pandora FMS Community http://pandorafms.org/online-demo/

Slide 51

Slide 51 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC 用途や特徴(PandoraFMS) - PandoraFMS - ホストの自動追加(削除はなかった) - 保存先の MySQL が辛い - 複数ホストをまとめてグラフで見れない - 5分おきに収集していた

Slide 52

Slide 52 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC SmokePing SmokePing Latency Page for Octopus https://oss.oetiker.ch/smokeping-demo/?target=Customers.OP.octopus

Slide 53

Slide 53 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC 用途や特徴(SmokePing) - SmokePing - Latency 計測 - 外形監視(ただし、定期的に人が見るという運用)

Slide 54

Slide 54 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC Munin

Slide 55

Slide 55 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC 用途や特徴(Munin) - Munin - 一覧で見れる(PandoraFMS で出来ないので) - RRD から画像を定期的に生成しているので表示が速い

Slide 56

Slide 56 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC 2016年の監視の用途や特徴 - SmokePing - Latency 計測 - 外形監視(ただし、定期的に人が見るという運用) - PandoraFMS - ホストの自動追加(削除はなかった) - 保存先の MySQL が辛い - 複数ホストをまとめてグラフで見れない - 5分おきに収集 - Munin - 一覧で見れる(PandoraFMS で出来ないので) - RRD から画像を定期的に生成しているので表示が速い

Slide 57

Slide 57 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC 実は入社前に サーバが倍以上に増えていた

Slide 58

Slide 58 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC やりたいことは もっと解像度を上げて ナイスなダッシュボードが欲しい

Slide 59

Slide 59 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC 良くしたいと思ったこと - 解像度 - 5分単位を最低1分単位に - フラッピングとかは見えづらい - 昔は負荷を気にしていたけれど、今は割とリソースが潤沢 - ナイスなダッシュボード - 見やすい調査しやすい - 重ねて見れる - 1年の範囲で見てもあまり重くない

Slide 60

Slide 60 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC モニタリングシステム(ツール)の変遷 設立: 2008年 入社: 2016年4月 2016年10月 2017年12月 2019年 今 圧倒的な歴史 #srenextC サーバメトリクス 外形監視

Slide 61

Slide 61 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC ツールは総合的に判断(一通り触ってみる) - 判断基準 - お金 - Pull, Push - メトリクスコレクタとデータベース - ダッシュボード - アラート通知

Slide 62

Slide 62 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC お金 SaaS? OSS?

Slide 63

Slide 63 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC お金 SaaS? OSS? - 試算してみて問題なさそうなら、SaaS がおすすめ! - 人件費やその他費用(通信費等)も考慮する

Slide 64

Slide 64 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC Pull & Push Pull Push - バッファの観点から Push 型を採用した - 調査や傾向のためにできるだけ取りたい Agent によっては バッファがある Pull 型 Push 型 DataBase Agent Agent DataBase, Server

Slide 65

Slide 65 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC メトリクスコレクタとデータベース - 候補(これはトレンドから) - Database - Prometheus (Pull 型向け) - InfluxDB (Push 型向け) - Collector - Node exporter (Pull型向け) - Telegraf

Slide 66

Slide 66 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC データベース - メトリクスの保存は TSDB (Time Series Data Base) が良い - 用途として最適 - 決め手は扱える型だった - InfluxDB の特徴 - 文字列を扱える、Schemaless - アクセスログやアプリケーションログの監視・調査を見据えて - Retention Policy - データの保持期間を指定できる - Continuous Query - 継続的にクエリを実行して結果をテーブルに保存できる

Slide 67

Slide 67 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC メトリクスコレクタ - InfluxDB と親和性の高い Telegraf を選択 - Buffer を持っている - Input, Output の概念がわかりやすい - Input, Output の Plugin の数が豊富 - Input 170 種類以上 - Output 30 種類以上 - Binary 置けば動く(セットアップしやすい) - rpm や deb もある Input Output どこから何を取るか どこに何を投げるか

Slide 68

Slide 68 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC ダッシュボード & アラート - まずは公式のオススメを見る - Dashboard - Prometheus - Grafana (https://prometheus.io/docs/visualization/grafana/ ) - InfluxDB - Chronograf (https://www.influxdata.com/time-series-platform/chronograf/ ) - Alerting - Prometheus - Alertmanager (https://prometheus.io/docs/alerting/alertmanager/ ) - InfluxDB - Kapacitor (https://www.influxdata.com/time-series-platform/kapacitor/ )

Slide 69

Slide 69 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC ダッシュボード & アラート - Dashboard - Grafana も Chronograf も重ねて見れる - おしゃれ - Alerting - Alertmanager も Kapacitor も設定ファイルが難しい - これはどちらかというと文化もある - Grafana はブラウザからポチポチできる - バックアップは必要

Slide 70

Slide 70 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC

Slide 71

Slide 71 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC Announcing Chronograf 0.3 | InfluxData https://www.influxdata.com/blog/announcing-chronograf-0-3/

Slide 72

Slide 72 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC ダッシュボード & アラート - Dashboard - Grafana も Chronograf も重ねて見れる - おしゃれ - Alerting - Alertmanager も Kapacitor も設定ファイルが難しい - これはどちらかというと文化もある - Grafana はブラウザからポチポチできる - バックアップは必要

Slide 73

Slide 73 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC 押さえておきたいこと(その3) ツールは仲良くなって ベストな選択を!

Slide 74

Slide 74 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC 外側の監視を足したよ

Slide 75

Slide 75 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC 2020年の監視

Slide 76

Slide 76 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC 外形監視とアクセスログ監視

Slide 77

Slide 77 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC 外形監視 - シンプルに SaaS におまかせ - 管理画面のために NewRelic APM を使うようになった - New Relic Synthetics で外形監視 - CDN (Javascript) は中身をチェック - 定期的にブラウザテストも回そうとしている - 配信サーバも中身をチェック - /health や /ping といったエンドポイントを用意することもある - ただし、どちらかというと内側の監視で使う印象 - 例えば、ロードバランサが叩く

Slide 78

Slide 78 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC

Slide 79

Slide 79 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC

Slide 80

Slide 80 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC 外形監視 - シンプルに SaaS におまかせ - 管理画面のために NewRelic APM を使うようになった - New Relic Synthetics で外形監視 - CDN (Javascript) は中身をチェック - 定期的にブラウザテストも回そうとしている - 配信サーバも中身をチェック - /health や /ping といったエンドポイントを用意することもある - ただし、どちらかというと内側の監視で使う印象 - 例えば、ロードバランサが叩く

Slide 81

Slide 81 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC

Slide 82

Slide 82 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC アクセスログのステータスコード監視 - 処理サーバ全台のアクセスログの合計サイズ - 475 GB / Day - 13 TB / Month - 156 TB / Year - InfluxDB のディスクが足りないので集計したものを保持すれば良 い - 最大 512 GB - でも、あまり複雑にはしたくない(監視の監視になりそう)

Slide 83

Slide 83 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC ... Continuous Query 2分で消えるテ ーブル 1年で消えるテ ーブル Retention Policy CREATE CONTINUOUS QUERY cq_imp_status_code_http ON telegraf RESAMPLE EVERY 1m BEGIN SELECT count(*) INTO imp_status_code_http FROM imp_status_code_http_two_min GROUP BY time(1m), host, request_path, status_code END アクセスログを パースしたもの

Slide 84

Slide 84 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC ... Continuous Query 2分で消えるテ ーブル 1年で消えるテ ーブル Retention Policy CREATE CONTINUOUS QUERY cq_imp_status_code_http ON telegraf RESAMPLE EVERY 1m BEGIN SELECT count(*) INTO imp_status_code_http FROM imp_status_code_http_two_min GROUP BY time(1m), host, request_path, status_code END アクセスログを パースしたもの 261 GB で1年分を保持している

Slide 85

Slide 85 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC

Slide 86

Slide 86 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC まとめ - 監視は外側(高レベルなもの)から - 内側よりかはすぐに正常かどうかの判断が出来る - アラートは整理しましょう - 特に障害はチャンス - 整理されると見る人が増えた - ツールは仲良くなってベストな選択を! - サービス, 規模などの変化に合わせて - お金とも相談

Slide 87

Slide 87 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC

Slide 88

Slide 88 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC こんな人たち がいます @makoga VOYAGE GROUP 取締役CTO 日本CTO協会 理事 @hagino3000 @suzu_v fluct 取締役CTO ajitofm パーソナリティ #ajitofm

Slide 89

Slide 89 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC

Slide 90

Slide 90 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC エンジニア 絶賛募集中

Slide 91

Slide 91 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC ajiting VOYAGE GROUPでは AJITOで飲むことをajitingと呼んでいます。 エンジニアイベントに 会場貸出もやってます @tech_voyage に メンションかDMください AJITOでエンジニアたちと飲んでみたい! という方はご連絡ください。 ピザ or 寿司 差し⼊れます︕(最⼤ 100名分)

Slide 92

Slide 92 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC イベント情報もお知らせします @tech_voyage SRE-NEXT 登壇セッションも再演予定 成⻑を続ける広告配信プラットフォームの モニタリングを改善してきた話 @larufa1

Slide 93

Slide 93 text

Copyright © VOYAGE GROUP, Inc. All Rights Reserved. #srenextC まとめ - 監視は外側(高レベルなもの)から - 内側よりかはすぐに正常かどうかの判断が出来る - アラートは整理しましょう - 特に障害はチャンス - 整理されると見る人が増えた - ツールは仲良くなってベストな選択を! - サービス, 規模などの変化に合わせて - お金とも相談