Upgrade to Pro — share decks privately, control downloads, hide ads and more …

えー?Datadogなにそれ?って言ってたエンジニアやマネージャに歓迎されたダッシュボードご紹介 - AWS Summit Tokyo 2017 / Introduction to my Datadog dashboard - AWS Summit Tokyo 2017

えー?Datadogなにそれ?って言ってたエンジニアやマネージャに歓迎されたダッシュボードご紹介 - AWS Summit Tokyo 2017 / Introduction to my Datadog dashboard - AWS Summit Tokyo 2017

えー?Datadogなにそれ?
って言ってたエンジニアや
マネージャに歓迎された
ダッシュボードご紹介
(株) QualiArts
事業準備室 システムエンジニア
高際 隼
AWS Summit Tokyo 2017
アジェンダ
自己紹介
ダッシュボードご紹介
Tipsご紹介
クラスタ内の異常ノード検出
サイバーエージェントのゲーム子会社群 (SGE) にて
Datadogを布教している話
おわりに
自己紹介
高際 隼 (たかぎわ しゅん)
twitter: @shun_tak
2013年 (株)サイバーエージェント入社
ゲーム部門に配属
運用タイトル・新規タイトルともに3本ずつ経験
現在 (株)QualiArts
2016年、旧アメーバゲーム事業本部からスピンオフ設立
事業準備室にて新規タイトル開発中
たまにSGEのメンバーとしてグループ会社の火消し開発支援
ロール
ゲーム開発者
システムエンジニア
パブリッククラウド (AWS/GCP) を使ったシステム設計/構築/実装/運用
採用や育成
e.g. オンプレで育ったエンジニア向けクラウド勉強会
https://developers.cyberagent.co.jp/blog/archives/273/
ダッシュボードご紹介
全体
ダッシュボードのタイトル
「パッと見で現状把握」
ファーストビュー
中〜下の方
その他に作ってるダッシュボード
トレンド把握
TimeBoardでより長いトレンドを追えるようにしてる
Tipsご紹介
クラスタ内の異常ノード検出
RANK機能で異常ノードを検出
Heatmap機能で異常ノードを検出
DBSCAN機能で異常ノードを検出
DBSCAN機能で異常ノードを検出
SGEにて
Datadogを布教している話
SGE = サイバーエージェントのゲーム子会社群
Datadog布教手順
火消しのついでに入れていく
現場のエンジニアやマネージャに見せて
良いものだと分かってもらう
2週間無料ですし、使えなかったらやめてもいいですし
火消し案件がなくても導入済みのダッシュボードを見せていく
パッと見で現状把握
さくさく作れるところをデモしたり
すごく良いものですよこれは!という刷り込みをしていく
実際いいですよ
実際の反応
muninとzabbix捨てられるじゃん
ダッシュボードの自由度が高い
かっこいい
簡単
サポートが日本語対応してないから辛い
→最近は対応してます
オートスケールすると高い
→時間課金もあります
うちのプロジェクトにも導入してくれ
→え、俺がやるの?(やるけど…)
おわりに
ビジネスに集中
Datadogでモニタリングや分析を効率化
開発者のリソースを付加価値創出に集中しよう
教えてください!
Datadog使い始めたばかりなので、
実際あまり良くわかってません
でもすごく良いものだと感じてます
ぜひ情報交換しましょう!お気軽にご連絡ください!
twitter: @shun_tak
e-mail: [email protected]
スライドはSpeaker Deckに上げます
アジェンダ
自己紹介
ダッシュボードご紹介
Tipsご紹介
クラスタ内の異常ノード検出
サイバーエージェントのゲーム子会社群 (SGE) にて
Datadogを布教している話
おわりに

Shun Takagiwa

May 31, 2017
Tweet

More Decks by Shun Takagiwa

Other Decks in Technology

Transcript

  1. えー?Datadogなにそれ?
    って⾔ってたエンジニアや
    マネージャに歓迎された
    ダッシュボードご紹介
    (株) QualiArts
    事業準備室 システムエンジニア
    ⾼際 隼
    AWS Summit Tokyo 2017

    View Slide

  2. アジェンダ
    • ⾃⼰紹介
    • ダッシュボードご紹介
    • Tipsご紹介
    • クラスタ内の異常ノード検出
    • サイバーエージェントのゲーム⼦会社群 (SGE) にて
    Datadogを布教している話
    • おわりに

    View Slide

  3. ⾃⼰紹介
    • ⾼際 隼 (たかぎわ しゅん)
    • twitter: @shun_tak
    • 2013年 (株)サイバーエージェント⼊社
    • ゲーム部⾨に配属
    • 運⽤タイトル・新規タイトルともに3本ずつ経験
    • 現在 (株)QualiArts
    • 2016年、旧アメーバゲーム事業本部からスピンオフ設⽴
    • 事業準備室にて新規タイトル開発中
    • たまにSGEのメンバーとしてグループ会社の⽕消し開発⽀援
    • ロール
    • ゲーム開発者
    • システムエンジニア
    • パブリッククラウド (AWS/GCP) を使ったシステム設計/構築/実装/運⽤
    • 採⽤や育成
    • e.g. オンプレで育ったエンジニア向けクラウド勉強会
    https://developers.cyberagent.co.jp/blog/archives/273/

    View Slide

  4. ダッシュボードご紹介

    View Slide

  5. 全体

    View Slide

  6. ダッシュボードのタイトル
    「パッと⾒で現状把握」

    View Slide

  7. ファーストビュー
    ここで直近30分の
    負荷状況が分かる
    ここで直近4時間の
    負荷状況が分かる
    クラスタ内の
    異常ノードは⾚くなる
    クラスタ平均CPU使⽤率
    1⽇前と⽐較表⽰
    ALBのレスポンスタイム
    PMにはここだけ⾒とけ
    って⾔ってる
    ALBのリクエスト数
    遅くなると
    ⻩⾊〜⾚に変化する
    アプリのエラー
    急に増えるとヤバイ
    ALBのエラー
    急に増えるとヤバイ

    View Slide

  8. 中〜下の⽅
    ElastiCache
    CPUとネットワーク
    Aurora
    CPUとネットワーク
    直近4時間の
    CRUDクエリ
    それぞれのレイテンシ
    直近4時間の
    CRUDクエリ
    それぞれの実⾏数
    直近30分の
    CRUDクエリそれぞれの
    レイテンシ・実⾏数

    View Slide

  9. その他に作ってるダッシュボード
    • トレンド把握
    • TimeBoardでより⻑いトレンドを追えるようにしてる
    ここで時間スコープ変更

    View Slide

  10. Tipsご紹介
    クラスタ内の異常ノード検出

    View Slide

  11. RANK機能で異常ノードを検出
    クラスタ平均 (⿊太線) と
    クラスタ内の上位5件を
    同時に描画
    もしクラスタ平均から
    ⼤きく乖離する線があれば
    異常

    View Slide

  12. Heatmap機能で異常ノードを検出
    クラスタ内のノードを
    六⾓形と⾊で表現
    メトリックが増加すると
    ⾊も濃くなっていく
    (⽩は停⽌中のノード)

    View Slide

  13. DBSCAN機能で異常ノードを検出
    クラスタリングアルゴリズム
    DBSCANを利⽤
    もし外れ値が検出されれば
    異常

    View Slide

  14. DBSCAN機能で異常ノードを検出
    クラスタリングアルゴリズム
    DBSCANを利⽤
    もし外れ値が検出されれば
    異常 (⾚太線)
    DBSCANの閾値を
    わざと⼩さくしてみた

    View Slide

  15. SGEにて
    Datadogを布教している話
    SGE = サイバーエージェントのゲーム⼦会社群

    View Slide

  16. Datadog布教⼿順
    • ⽕消しのついでに⼊れていく
    • 現場のエンジニアやマネージャに⾒せて
    良いものだと分かってもらう
    • 2週間無料ですし、使えなかったらやめてもいいですし
    • ⽕消し案件がなくても導⼊済みのダッシュボードを⾒せていく
    • パッと⾒で現状把握
    • さくさく作れるところをデモしたり
    • すごく良いものですよこれは!という刷り込みをしていく
    • 実際いいですよ

    View Slide

  17. 実際の反応
    • muninとzabbix捨てられるじゃん
    • ダッシュボードの⾃由度が⾼い
    • かっこいい
    • 簡単
    • サポートが⽇本語対応してないから⾟い
    →最近は対応してます
    • オートスケールすると⾼い
    →時間課⾦もあります
    • うちのプロジェクトにも導⼊してくれ
    →え、俺がやるの?(やるけど…)

    View Slide

  18. おわりに

    View Slide

  19. ビジネスに集中
    • Datadogでモニタリングや分析を効率化
    • 開発者のリソースを付加価値創出に集中しよう

    View Slide

  20. 教えてください!
    • Datadog使い始めたばかりなので、
    実際あまり良くわかってません
    • でもすごく良いものだと感じてます
    • ぜひ情報交換しましょう!お気軽にご連絡ください!
    • twitter: @shun_tak
    • e-mail: [email protected]
    • スライドはSpeaker Deckに上げます

    View Slide

  21. アジェンダ
    • ⾃⼰紹介
    • ダッシュボードご紹介
    • Tipsご紹介
    • クラスタ内の異常ノード検出
    • サイバーエージェントのゲーム⼦会社群 (SGE) にて
    Datadogを布教している話
    • おわりに

    View Slide