$30 off During Our Annual Pro Sale. View Details »

えー?Datadogなにそれ?って言ってたエンジニアやマネージャに歓迎されたダッシュボードご紹介 - AWS Summit Tokyo 2017 / Introduction to my Datadog dashboard - AWS Summit Tokyo 2017

えー?Datadogなにそれ?って言ってたエンジニアやマネージャに歓迎されたダッシュボードご紹介 - AWS Summit Tokyo 2017 / Introduction to my Datadog dashboard - AWS Summit Tokyo 2017

えー?Datadogなにそれ?
って言ってたエンジニアや
マネージャに歓迎された
ダッシュボードご紹介
(株) QualiArts
事業準備室 システムエンジニア
高際 隼
AWS Summit Tokyo 2017
アジェンダ
自己紹介
ダッシュボードご紹介
Tipsご紹介
クラスタ内の異常ノード検出
サイバーエージェントのゲーム子会社群 (SGE) にて
Datadogを布教している話
おわりに
自己紹介
高際 隼 (たかぎわ しゅん)
twitter: @shun_tak
2013年 (株)サイバーエージェント入社
ゲーム部門に配属
運用タイトル・新規タイトルともに3本ずつ経験
現在 (株)QualiArts
2016年、旧アメーバゲーム事業本部からスピンオフ設立
事業準備室にて新規タイトル開発中
たまにSGEのメンバーとしてグループ会社の火消し開発支援
ロール
ゲーム開発者
システムエンジニア
パブリッククラウド (AWS/GCP) を使ったシステム設計/構築/実装/運用
採用や育成
e.g. オンプレで育ったエンジニア向けクラウド勉強会
https://developers.cyberagent.co.jp/blog/archives/273/
ダッシュボードご紹介
全体
ダッシュボードのタイトル
「パッと見で現状把握」
ファーストビュー
中〜下の方
その他に作ってるダッシュボード
トレンド把握
TimeBoardでより長いトレンドを追えるようにしてる
Tipsご紹介
クラスタ内の異常ノード検出
RANK機能で異常ノードを検出
Heatmap機能で異常ノードを検出
DBSCAN機能で異常ノードを検出
DBSCAN機能で異常ノードを検出
SGEにて
Datadogを布教している話
SGE = サイバーエージェントのゲーム子会社群
Datadog布教手順
火消しのついでに入れていく
現場のエンジニアやマネージャに見せて
良いものだと分かってもらう
2週間無料ですし、使えなかったらやめてもいいですし
火消し案件がなくても導入済みのダッシュボードを見せていく
パッと見で現状把握
さくさく作れるところをデモしたり
すごく良いものですよこれは!という刷り込みをしていく
実際いいですよ
実際の反応
muninとzabbix捨てられるじゃん
ダッシュボードの自由度が高い
かっこいい
簡単
サポートが日本語対応してないから辛い
→最近は対応してます
オートスケールすると高い
→時間課金もあります
うちのプロジェクトにも導入してくれ
→え、俺がやるの?(やるけど…)
おわりに
ビジネスに集中
Datadogでモニタリングや分析を効率化
開発者のリソースを付加価値創出に集中しよう
教えてください!
Datadog使い始めたばかりなので、
実際あまり良くわかってません
でもすごく良いものだと感じてます
ぜひ情報交換しましょう!お気軽にご連絡ください!
twitter: @shun_tak
e-mail: takagiwa_shun@qualiarts.jp
スライドはSpeaker Deckに上げます
アジェンダ
自己紹介
ダッシュボードご紹介
Tipsご紹介
クラスタ内の異常ノード検出
サイバーエージェントのゲーム子会社群 (SGE) にて
Datadogを布教している話
おわりに

Shun Takagiwa

May 31, 2017
Tweet

More Decks by Shun Takagiwa

Other Decks in Technology

Transcript

  1. えー?Datadogなにそれ? って⾔ってたエンジニアや マネージャに歓迎された ダッシュボードご紹介 (株) QualiArts 事業準備室 システムエンジニア ⾼際 隼

    AWS Summit Tokyo 2017
  2. アジェンダ • ⾃⼰紹介 • ダッシュボードご紹介 • Tipsご紹介 • クラスタ内の異常ノード検出 •

    サイバーエージェントのゲーム⼦会社群 (SGE) にて Datadogを布教している話 • おわりに
  3. ⾃⼰紹介 • ⾼際 隼 (たかぎわ しゅん) • twitter: @shun_tak •

    2013年 (株)サイバーエージェント⼊社 • ゲーム部⾨に配属 • 運⽤タイトル・新規タイトルともに3本ずつ経験 • 現在 (株)QualiArts • 2016年、旧アメーバゲーム事業本部からスピンオフ設⽴ • 事業準備室にて新規タイトル開発中 • たまにSGEのメンバーとしてグループ会社の⽕消し開発⽀援 • ロール • ゲーム開発者 • システムエンジニア • パブリッククラウド (AWS/GCP) を使ったシステム設計/構築/実装/運⽤ • 採⽤や育成 • e.g. オンプレで育ったエンジニア向けクラウド勉強会 https://developers.cyberagent.co.jp/blog/archives/273/
  4. ダッシュボードご紹介

  5. 全体

  6. ダッシュボードのタイトル 「パッと⾒で現状把握」

  7. ファーストビュー ここで直近30分の 負荷状況が分かる ここで直近4時間の 負荷状況が分かる クラスタ内の 異常ノードは⾚くなる クラスタ平均CPU使⽤率 1⽇前と⽐較表⽰ ALBのレスポンスタイム

    PMにはここだけ⾒とけ って⾔ってる ALBのリクエスト数 遅くなると ⻩⾊〜⾚に変化する アプリのエラー 急に増えるとヤバイ ALBのエラー 急に増えるとヤバイ
  8. 中〜下の⽅ ElastiCache CPUとネットワーク Aurora CPUとネットワーク 直近4時間の CRUDクエリ それぞれのレイテンシ 直近4時間の CRUDクエリ

    それぞれの実⾏数 直近30分の CRUDクエリそれぞれの レイテンシ・実⾏数
  9. その他に作ってるダッシュボード • トレンド把握 • TimeBoardでより⻑いトレンドを追えるようにしてる ここで時間スコープ変更

  10. Tipsご紹介 クラスタ内の異常ノード検出

  11. RANK機能で異常ノードを検出 クラスタ平均 (⿊太線) と クラスタ内の上位5件を 同時に描画 もしクラスタ平均から ⼤きく乖離する線があれば 異常

  12. Heatmap機能で異常ノードを検出 クラスタ内のノードを 六⾓形と⾊で表現 メトリックが増加すると ⾊も濃くなっていく (⽩は停⽌中のノード)

  13. DBSCAN機能で異常ノードを検出 クラスタリングアルゴリズム DBSCANを利⽤ もし外れ値が検出されれば 異常

  14. DBSCAN機能で異常ノードを検出 クラスタリングアルゴリズム DBSCANを利⽤ もし外れ値が検出されれば 異常 (⾚太線) DBSCANの閾値を わざと⼩さくしてみた

  15. SGEにて Datadogを布教している話 SGE = サイバーエージェントのゲーム⼦会社群

  16. Datadog布教⼿順 • ⽕消しのついでに⼊れていく • 現場のエンジニアやマネージャに⾒せて 良いものだと分かってもらう • 2週間無料ですし、使えなかったらやめてもいいですし • ⽕消し案件がなくても導⼊済みのダッシュボードを⾒せていく

    • パッと⾒で現状把握 • さくさく作れるところをデモしたり • すごく良いものですよこれは!という刷り込みをしていく • 実際いいですよ
  17. 実際の反応 • muninとzabbix捨てられるじゃん • ダッシュボードの⾃由度が⾼い • かっこいい • 簡単 •

    サポートが⽇本語対応してないから⾟い →最近は対応してます • オートスケールすると⾼い →時間課⾦もあります • うちのプロジェクトにも導⼊してくれ →え、俺がやるの?(やるけど…)
  18. おわりに

  19. ビジネスに集中 • Datadogでモニタリングや分析を効率化 • 開発者のリソースを付加価値創出に集中しよう

  20. 教えてください! • Datadog使い始めたばかりなので、 実際あまり良くわかってません • でもすごく良いものだと感じてます • ぜひ情報交換しましょう!お気軽にご連絡ください! • twitter:

    @shun_tak • e-mail: takagiwa_shun@qualiarts.jp • スライドはSpeaker Deckに上げます
  21. アジェンダ • ⾃⼰紹介 • ダッシュボードご紹介 • Tipsご紹介 • クラスタ内の異常ノード検出 •

    サイバーエージェントのゲーム⼦会社群 (SGE) にて Datadogを布教している話 • おわりに