えー？Datadogなにそれ？って言ってたエンジニアやマネージャに歓迎されたダッシュボードご紹介 - AWS Summit Tokyo 2017 / Introduction to my Datadog dashboard - AWS Summit Tokyo 2017

えー？Datadogなにそれ？
って言ってたエンジニアや
マネージャに歓迎された
ダッシュボードご紹介
(株) QualiArts
事業準備室 システムエンジニア
高際 隼
AWS Summit Tokyo 2017
アジェンダ
自己紹介
ダッシュボードご紹介
Tipsご紹介
クラスタ内の異常ノード検出
サイバーエージェントのゲーム子会社群 (SGE) にて
Datadogを布教している話
おわりに
自己紹介
高際 隼 (たかぎわ しゅん)
twitter: @shun_tak
2013年 (株)サイバーエージェント入社
ゲーム部門に配属
運用タイトル・新規タイトルともに3本ずつ経験
現在 (株)QualiArts
2016年、旧アメーバゲーム事業本部からスピンオフ設立
事業準備室にて新規タイトル開発中
たまにSGEのメンバーとしてグループ会社の火消し開発支援
ロール
ゲーム開発者
システムエンジニア
パブリッククラウド (AWS/GCP) を使ったシステム設計/構築/実装/運用
採用や育成
e.g. オンプレで育ったエンジニア向けクラウド勉強会
https://developers.cyberagent.co.jp/blog/archives/273/
ダッシュボードご紹介
全体
ダッシュボードのタイトル
「パッと見で現状把握」
ファーストビュー
中〜下の方
その他に作ってるダッシュボード
トレンド把握
TimeBoardでより長いトレンドを追えるようにしてる
Tipsご紹介
クラスタ内の異常ノード検出
RANK機能で異常ノードを検出
Heatmap機能で異常ノードを検出
DBSCAN機能で異常ノードを検出
DBSCAN機能で異常ノードを検出
SGEにて
Datadogを布教している話
SGE = サイバーエージェントのゲーム子会社群
Datadog布教手順
火消しのついでに入れていく
現場のエンジニアやマネージャに見せて
良いものだと分かってもらう
2週間無料ですし、使えなかったらやめてもいいですし
火消し案件がなくても導入済みのダッシュボードを見せていく
パッと見で現状把握
さくさく作れるところをデモしたり
すごく良いものですよこれは！という刷り込みをしていく
実際いいですよ
実際の反応
muninとzabbix捨てられるじゃん
ダッシュボードの自由度が高い
かっこいい
簡単
サポートが日本語対応してないから辛い
→最近は対応してます
オートスケールすると高い
→時間課金もあります
うちのプロジェクトにも導入してくれ
→え、俺がやるの？（やるけど…）
おわりに
ビジネスに集中
Datadogでモニタリングや分析を効率化
開発者のリソースを付加価値創出に集中しよう
教えてください！
Datadog使い始めたばかりなので、
実際あまり良くわかってません
でもすごく良いものだと感じてます
ぜひ情報交換しましょう！お気軽にご連絡ください！
twitter: @shun_tak
e-mail: takagiwa_shun@qualiarts.jp
スライドはSpeaker Deckに上げます
アジェンダ
自己紹介
ダッシュボードご紹介
Tipsご紹介
クラスタ内の異常ノード検出
サイバーエージェントのゲーム子会社群 (SGE) にて
Datadogを布教している話
おわりに

Transcript

1. えー？Datadogなにそれ？ って⾔ってたエンジニアや マネージャに歓迎された ダッシュボードご紹介 (株) QualiArts 事業準備室 システムエンジニア ⾼際 隼 AWS Summit Tokyo 2017
2. アジェンダ • ⾃⼰紹介 • ダッシュボードご紹介 • Tipsご紹介 • クラスタ内の異常ノード検出 • サイバーエージェントのゲーム⼦会社群 (SGE) にて Datadogを布教している話 • おわりに
3. ⾃⼰紹介 • ⾼際 隼 (たかぎわ しゅん) • twitter: @shun_tak • 2013年 (株)サイバーエージェント⼊社 • ゲーム部⾨に配属 • 運⽤タイトル・新規タイトルともに3本ずつ経験 • 現在 (株)QualiArts • 2016年、旧アメーバゲーム事業本部からスピンオフ設⽴ • 事業準備室にて新規タイトル開発中 • たまにSGEのメンバーとしてグループ会社の⽕消し開発⽀援 • ロール • ゲーム開発者 • システムエンジニア • パブリッククラウド (AWS/GCP) を使ったシステム設計/構築/実装/運⽤ • 採⽤や育成 • e.g. オンプレで育ったエンジニア向けクラウド勉強会 https://developers.cyberagent.co.jp/blog/archives/273/
4. ダッシュボードご紹介
5. 全体
6. ダッシュボードのタイトル 「パッと⾒で現状把握」
7. ファーストビュー ここで直近30分の 負荷状況が分かる ここで直近4時間の 負荷状況が分かる クラスタ内の 異常ノードは⾚くなる クラスタ平均CPU使⽤率 1⽇前と⽐較表⽰ ALBのレスポンスタイム PMにはここだけ⾒とけ って⾔ってる ALBのリクエスト数 遅くなると ⻩⾊〜⾚に変化する アプリのエラー 急に増えるとヤバイ ALBのエラー 急に増えるとヤバイ
8. 中〜下の⽅ ElastiCache CPUとネットワーク Aurora CPUとネットワーク 直近4時間の CRUDクエリ それぞれのレイテンシ 直近4時間の CRUDクエリ それぞれの実⾏数 直近30分の CRUDクエリそれぞれの レイテンシ・実⾏数
9. その他に作ってるダッシュボード • トレンド把握 • TimeBoardでより⻑いトレンドを追えるようにしてる ここで時間スコープ変更
10. Tipsご紹介 クラスタ内の異常ノード検出
11. RANK機能で異常ノードを検出 クラスタ平均 (⿊太線) と クラスタ内の上位5件を 同時に描画 もしクラスタ平均から ⼤きく乖離する線があれば 異常
12. Heatmap機能で異常ノードを検出 クラスタ内のノードを 六⾓形と⾊で表現 メトリックが増加すると ⾊も濃くなっていく (⽩は停⽌中のノード)
13. DBSCAN機能で異常ノードを検出 クラスタリングアルゴリズム DBSCANを利⽤ もし外れ値が検出されれば 異常
14. DBSCAN機能で異常ノードを検出 クラスタリングアルゴリズム DBSCANを利⽤ もし外れ値が検出されれば 異常 (⾚太線) DBSCANの閾値を わざと⼩さくしてみた
15. SGEにて Datadogを布教している話 SGE = サイバーエージェントのゲーム⼦会社群
16. Datadog布教⼿順 • ⽕消しのついでに⼊れていく • 現場のエンジニアやマネージャに⾒せて 良いものだと分かってもらう • 2週間無料ですし、使えなかったらやめてもいいですし • ⽕消し案件がなくても導⼊済みのダッシュボードを⾒せていく • パッと⾒で現状把握 • さくさく作れるところをデモしたり • すごく良いものですよこれは！という刷り込みをしていく • 実際いいですよ
17. 実際の反応 • muninとzabbix捨てられるじゃん • ダッシュボードの⾃由度が⾼い • かっこいい • 簡単 • サポートが⽇本語対応してないから⾟い →最近は対応してます • オートスケールすると⾼い →時間課⾦もあります • うちのプロジェクトにも導⼊してくれ →え、俺がやるの？（やるけど…）
18. おわりに
19. ビジネスに集中 • Datadogでモニタリングや分析を効率化 • 開発者のリソースを付加価値創出に集中しよう
20. 教えてください！ • Datadog使い始めたばかりなので、 実際あまり良くわかってません • でもすごく良いものだと感じてます • ぜひ情報交換しましょう！お気軽にご連絡ください！ • twitter: @shun_tak • e-mail: takagiwa_shun@qualiarts.jp • スライドはSpeaker Deckに上げます
21. アジェンダ • ⾃⼰紹介 • ダッシュボードご紹介 • Tipsご紹介 • クラスタ内の異常ノード検出 • サイバーエージェントのゲーム⼦会社群 (SGE) にて Datadogを布教している話 • おわりに