Datadog_で作る_NW_監視のメリット_デメリット.pdf / Datadog_NW_Monitoring

by komeinw

Slide 1

Slide 1 text

Datadog で作る NW 監視のメリット/デメリットネットワークプログラマビリティ勉強会 #17 サイバーエージェント山本孔明 @komeinw

Slide 2

Slide 2 text

❏ 山本孔明@komeinw アドテク本部のインフラ組織（SIA）所属のネットワークエンジニア兼責任者主な業務 ● オンプレとパブリックのネットワーク(物理/仮想) ● OpenStack / CircleCI Enterprise ● Aritifactory ...etc ● チームマネジメント自己紹介

Slide 3

Slide 3 text

1998年の創業以来、インターネットを軸に事業を展開し現在では代表的なサービスである「Ameba」をはじめ、スマートフォン向けに多数のコミュニティサービスやゲームを提供しています。 and m ore !! サイバーエージェントについて

Slide 4

Slide 4 text

サイバーエージェントの事業内容

Slide 5

Slide 5 text

アドテクスタジオについてインターネット広告において、広告配信の最適化やメディアの収益最大化という観点からアドテクノロジーの重要度が高まっています。サイバーエージェントではアドテクノロジー分野におけるこれらのサービスについて各子会社を通じ開発しておりましたが、各サービスの開発部門を横断して組織化する専門部署としてアドテク本部・アドテクスタジオが設立されました。

Slide 6

Slide 6 text

https://adtech.cyberagent.io/aboutus/

Slide 7

Slide 7 text

サイバーエージェントのアドテク詳細は「日本一やさしいアドテク教室」を御覧ください！ https://adtech.cyberagent.io/pr/archives/3601

Slide 8

Slide 8 text

まずは NW 監視について整理

Slide 9

Slide 9 text

ネットワークの監視 ● 死活監視 ○ Management IP への疎通可否 ● 性能監視 ○ トラフィック量 ○ CPUや電源などハードウェアの状況 ● アラート受信 ○ Active / Standby が入れ替わった ○ リンクがダウンした ● ログ監視 ● 外形監視 ○ BGP ハイジャックの検知 ○ グローバルからの疎通性と遅延

Slide 10

Slide 10 text

ネットワークの監視 ● 死活監視 ○ Management IP への疎通可否 ● 性能監視 ○ トラフィック量 ○ CPUや電源などハードウェアの状況 ● アラート受信 ○ Active / Standby が入れ替わった ○ リンクがダウンした ● ログ監視 ● 外形監視 ○ BGP ハイジャックの検知 ○ グローバルからの疎通性と遅延 Ping SNMP SNMP Trap Syslog ping / traceroute

Slide 11

Slide 11 text

Slide 12

Slide 12 text

アンケート取らせてください

Slide 13

Slide 13 text

www.menti.com code: 910052

Slide 14

Slide 14 text

本題へ

Slide 15

Slide 15 text

Datadog について ● クラウド型のモニタリングツール ● Integration が豊富。2019/06時点で280種類以上。 ● ダッシュボードのカスタマイズ性が高い ● tag を用いて効率的な分析が可能 ● イベントと紐付けて分析が可能

Slide 16

Slide 16 text

Datadog について ● Slack との連携が容易 ● API で外部データも投げ込むことができる ● Kubernetes や docker との親和性 ● 画面のシェアが容易

Slide 17

Slide 17 text

Kubernetes との親和性について

Slide 18

Slide 18 text

Datadog のキホン ● キホン的に Agent を入れて監視する ○ dd-agent をサーバに入れる ○ yaml で conf を書いて監視 ● 足りないものはカスタムメトリクス ○ 自分で check.d 配下にお手製のプログラムをおけば OK ○ python OK ○ yaml で conf を書いて監視 ● インテグレーションの活用 ○ AWS や GCP 連携 ○ Kubernetes のリアルタイムモニタリング

Slide 19

Slide 19 text

で、Datadog ってネットワークに監視に使えるの？ ● SNMP Integration がある ○ https://docs.datadoghq.com/ja/integrations/snmp/ ○ ネットワークエンジニアにも馴染みの感じ ○ 特にカスタムはいらない。つまり yaml を書くだけ ○ Agent を監視用のサーバにいれて tag で制御 ○ Zabbix でいう LLD 的なこともできる ○ インスタンス単位で ip_address のシーケンスの塊を書く必要がある

Slide 20

Slide 20 text

yaml 書くのがめんどくさい問題 ● Ansible などの構成管理ツール使えば OK ○ ansible の group_vals にホストを登録すれば追加できるようにしています ○ templates に conf ファイルを定義、 for と if を使ってマルチベンダーに対応できる ● Monitor の設定が上記でカバーできないので別のツールを使うと良いです。 ○ https://github.com/codenize-tools/barkdog ○ https://www.terraform.io/docs/providers/datadog/r/monitor.html

Slide 21

Slide 21 text

Zabbix の LLD 的なところを ● IF-MIB の中の ifTable から ifInOctets や ifOutOctets などを引っ張ってきている ● 左記のように書くと tag は hostname や location などをつけて、さらに interface: という tag もつくようになる

Slide 22

Slide 22 text

Dashboard

Slide 23

Slide 23 text

Dashboard

Slide 24

Slide 24 text

Dashboard

Slide 25

Slide 25 text

NW × Datadogで得られる大きなメリット ● 全体を俯瞰して見るのがすごく楽 ○ tag での分析がとにかくいい。スクリーン作るの面倒だな・・からの解放 ○ Host Map、TopN など可視化の手段が豊富 ○ 積算グラフもすごく使いやすい ○ 変数を使ってリージョンごとなどの単位に切り替えることも可能 ● インテグレーションで作り込みを避けられる ○ AWS の DirectConnect のインテグレーションとか ○ docker や kubernetes とかダッシュボードをフル活用すれば「なんか最近エラー出るんだけど、何か起きてますか？」などの障害分析が楽になる。

Slide 26

Slide 26 text

あれ？Pingは？SNMP Trapは？Syslogは？基本的にはなんとかできるる。しかも全台に Agent 入れる必要はない。 ● Ping ○ これも代表ホストから fping を打てば OK ○ カスタムメトリクスで対応 ● SNMP Trap ○ snmptrapd + snmptt をインストールしたサーバを datadog logs で監視すれば OK ● Syslog ○ rsyslog で受けてそこを datadog logs で監視すれば OK ○ キーワードで引っ掛けて monitor でアラート通知をする

Slide 27

Slide 27 text

デモ https://app.datadoghq.com/logs?

Slide 28

Slide 28 text

ここまで褒めてきたがデメリットの話を

Slide 29

Slide 29 text

個人的に気になるところ ● ポーリング間隔の制御 ○ min_collection_interval で制御はできる ○ instance ごとに記載しないといけない ● メトリクスを確認する時に古いものが丸まる ○ zabbix でいうトレンド設定的なもの ● アラートの評価のタイミングに注意 ● ログの量によっては Datadog logs の課金が大変なことに ○ Firewall とか結構ログ吐き出すので気をつけないと・・・

Slide 30

Slide 30 text

用途に合わせた使いわけ Zabbix と Datadog を併用しています。 ● Zabbix ○ 監視のメイン ○ SNMP Trap、SNMP Polling、Ping による死活監視 ○ Auto discovery で登録するので基本は触らないしログインもほぼしない ○ 物理ネットワーク用で用途ごとに別のものが存在している ○ 通知は主にこちらから ● Datadog ○ 分析用、開示用 ○ 何かあれば頻繁にログインしている。サーバの NICの情報も混ぜて取っているので、分析もしやすいし、他のエンジニアにも見てもらえるものになっている。 ○ 傾向監視なども使っていたが今は利用していない

Slide 31

Slide 31 text

他の運用周りの話 ● 監視・運用系のサーバは VM 2台 ○ zabbix + datadog agent + rsyslog が入った VM ○ 雑多に docker コンテナが動いている VM ● 1台目のサーバは Ansible で全部立ち上がる ● docker コンテナは以下のようなものが動いている ○ バックアップなどの定期ジョブが動く job サーバ ○ 任意の show コマンドを叩ける bot ○ netflow や sflow のサーバ ● 割とカジュアルに作ったり壊したりできるので環境構築は楽です

Slide 32

Slide 32 text

No content

Slide 33

Slide 33 text

広告プロダクトに携わりたい  インフラエンジニアを募集しています

Slide 34

Slide 34 text

ご清聴ありがとうございました 