Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Mackerel x KDDI で実現するキャリアクオリティ監視サービス / Mackerel Meetup 9 KDDI

Mackerel x KDDI で実現するキャリアクオリティ監視サービス / Mackerel Meetup 9 KDDI

KDDI株式会社がMackerel Meetup #9 Tokyo #mackerelioでお話しさせていただいた内容です。

本内容でご紹介しているKCPSマネージドオプションについては、次のブログにも記載していますので、合わせてご参照ください。
http://cloudblog.kddi.com/news/4730/

Yoshinori Asakawa

January 27, 2017
Tweet

Other Decks in Business

Transcript

  1. Mackerel x KDDI で実現する
    キャリアクオリティ監視サービス
    浅川 善則
    KDDI株式会社
    アジャイル開発センター

    View Slide

  2. ⾃⼰紹介
    C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d
    2
    KDDI株式会社 プラットフォーム開発本部
    アジャイル開発センター
    浅川 善則
    セキュリティ系SIer、メーカー系SIerを経て、2015年4⽉に
    KDDIに⼊社。⼊社後、DevOps推進、KDDIサービスの運⽤⾃
    動化の機能開発と開発プロセス標準化に従事。
    現在は、KDDI クラウドプラットフォームサービス(KCPS)
    のマネージドオプション開発に奮闘中。
    好きなもの
    Goも書きたい

    View Slide

  3. 1. KCPSのサービス概要
    2. Mackerel x KDDI で実現する監視サービス
    C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d
    3

    View Slide

  4. キャリアならではのクラウド基盤
    「KDDI クラウドプラットフォームサービス」

    View Slide

  5. KCPSの特⻑は、Quality Cloud
    1. とめない(⾼可⽤性)
    2. まもる (⾼信頼性)
    3. つながる(⾼接続性)
    C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d
    5

    View Slide

  6. インターネット
    システムデータ バックアップ
    ストレージ
    RAID
    ・・・
    Active Standby
    HA(フェイルオーバー)
    インターネット接続
    イントラ接続
    RAID
    2重バックアップ
    バックアップ
    DRサイト
    1.とめない:徹底的な冗⻑構成
    C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d
    6
    物理サーバ
    HAによる冗⻑構成を標準装備
    RAIDによる冗⻑構成を標準装備
    NW機器の冗⻑構成
    NW機器の冗⻑構成
    KDDI
    バックボーン回線
    サーバ・ストレージ・ネットワーク機器は完全冗⻑化

    View Slide

  7. 稼働実績は99.999%以上
    C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d
    7
    1.とめない:徹底的な冗⻑構成
    99.999982%
    99.9999% 32秒/年間
    99.99999% 3秒/年間
    KDDI Cloud Blogで稼働率と故障内訳を公開!

    View Slide

  8. KCPSのお客さま専有サーバ(KCPSでの名称:Premiumサーバ)
    スイッチ
    Act Act Stb
    仮想サーバ
    Act
    ホストサーバ
    #1
    ストレージ
    ・・
    Act Act Stb
    仮想サーバ
    Stb
    ストレージ
    #2
    ・・
    別POD
    業界最⾼⽔準の可⽤性を有したエクストラアベイラビリティ機能で
    サーバとストレージの同時故障にも対応
    故障
    Act
    Act Stb
    スイッチ
    ホストサーバ
    ・・・
    仮想サーバ
    Act
    仮想サーバ
    Stb
    冗⻑化
    通常のクラウド基盤サービス
    #1
    ストレージ
    故障
    故障
    故障
    故障
    故障
    故障
    冗⻑化
    正常
    稼動
    1.とめない:2x2=4重化も提供
    C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d
    8
    POD(ポッド)…データーセンター内のラックに相当

    View Slide

  9. 「2時間以内に多重故障から復旧」を⽬標
    故障時は能動通知で「30分以内」を⽬標
    C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d
    9
    2.まもる:万全の運⽤保守体制

    View Slide

  10. IT管理者をしっかりサポート!
    C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d
    10
    2.まもる:万全の運⽤保守体制

    View Slide

  11. 2.まもる:万全の運⽤保守体制
    ワンストップ
    B社 イントラネットワーク
    A社 クラウドサービス
    障害の切り分けが難しい
    クラウドとネットワークの
    提供会社が異なる場合
    KCPSの場合
    C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d
    11
    ネットワークとクラウドの
    ワンストップ提供で
    故障発⽣も迅速に解決

    View Slide

  12. iPad
    iPhone
    お客さま環境
    外出先のスマートデバイスからクラウドへもセキュアにアクセス
    マルチクラウド環境でのシームレスな連携
    FRE
    C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d
    12
    3.つながる:ニーズに合わせてどこからでも
    KCPS
    KDDI Flex Remote Access
    さまざまな通信デバイス・通信環境
    からお客さまの社内ネットワークへ
    リモートアクセスできるサービス

    View Slide

  13. 専有サーバ 共有サーバ
    オブジェクト
    ストレージ
    お客さま環境
    yumリポジトリサーバ
    WSUSサーバ
    Symantec Endpoint Protection
    KMS
    イントラネット網内で管理系サーバにつながる
    C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d
    13
    3.つながる:イントラだけでも便利に使える

    View Slide

  14. システム構成図が⾃動⽣成されるので、構成図が不要
    C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d
    14
    Quality Cloud を 簡単に使う

    View Slide

  15. HCIオプションetc
    (物理サーバ)
    HCIオプションetc
    (⽉額98万円〜)
    ⼤企業
    中⼩企業
    基幹系・重要システム
    情報系・周辺システム
    Premium
    (専有サーバ)
    Premium
    (専有サーバ)
    Value
    (共有サーバ)
    さまざまなサーバをご⽤意
    KCPSは⼤企業の周辺システムや中⼩企業の重要システムを中⼼に
    利⽤が広がっています。
    ※表⽰価格はすべて税抜価格です。
    ※詳細はKDDIのウェブサイトをご参照ください。
    Premium
    (⽉額27万円〜)
    Premium
    (⽉額27万円〜)
    Value
    (⽉額8千円〜)
    C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d
    15
    イントラネット(KDDI WVS)との接続料も無料
    データ通信料は、インプット/アウトプットとも無料

    View Slide

  16. 「HCIオプション」とは
    C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d
    16
    ビジネスクリティカルなアプリケーションに
    最適なスペックをプライベートクラウドでご提供
    ストレージオブション
    バックアップオプション
    Premium
    Value
    インターネット
    オブジェクトストレージ
    データ
    ストレージ
    システム
    ストレージ
    バックアップ
    ストレージ HCIオプション
    • ⾼機能なHCI機器4ノードをパッケージ化し⽉額モデルでご提供
    • 必要に応じてノード追加(⽉額30万円/ノード)も可能
    ※ HCIオプション以外でも、データセンターに設置したお客さま指定機器と
    仮想サーバを同⼀セグメントで接続することも可能(データセンターコネクト)

    View Slide

  17. 「HCI」とは
    C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d
    17
    物理のプラットフォーム部分をシンプル化し、
    スケールアップや性能アップをより簡単にしたプラットフォーム
    HCI
    ハイパー・コンバージド・インフラストラクチャー
    (Hyper-Converged Infrastructure)
    Nutanix のソフトウエアを基盤としたHCI アプライアンス「Dell XC シリーズ」

    View Slide

  18. Mackerel x KDDI で実現する監視サービス

    View Slide

  19. 2015年4⽉から、Mackerel をオプション提供
    • KCPSの利⽤者向け管理画⾯との統合
    • インターネットを経由せずにセキュアな監視が可能
    Mackerel x KCPS の取り組み
    C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d
    19

    View Slide

  20. ・監視の設定⽅法が分からない…
    • Zabbixのあの監視はどう設定すればいい?
    • Windows⽤のプラグインは⼊⼿⽅法は?
    ・そもそも何を監視すればいいのか…
    ・監視はできても運⽤体制がないし、本業に集中したい…
    • 特に夜間や⼟⽇のアラーム対応がつらい
    お客さまからの声(困りごと)
    C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d
    20

    View Slide

  21. 解決に向けての取り組み
    C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d
    21
    エンジニアをワクワクさせる
    監視サービス
    キャリアクオリティで
    IT管理者をしっかりサポート
    KCPSマネージドオプションの提供を開始
    (1/26 サービス提供開始)

    View Slide

  22. ・監視の設定⽅法が分からない…
    ・そもそも何を監視すればいいのか…
    ・監視はできても運⽤体制がないし、本業に集中したい…
    KCPSマネージドオプションの特徴
    C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d
    22
    KDDIが運⽤もワンストップ窓⼝で実現!
    KDDI商⽤設備の監視ポリシーを基にした監視設計ガイドをご提供!
    Mackerelエージェント導⼊と基本監視項⽬の設定を⾃動化!

    View Slide

  23. ①Mackerelエージェント導⼊と
    基本監視項⽬の設定を⾃動化

    View Slide

  24. システム構成イメージ
    C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d
    24
    ⾃動設定 順次⾃動化予定
    KCPS Admin Console
    (KAC) お客さま
    仮想サーバ
    ②エージェントの
    ⾃動インストール
    お客さま
    管理者
    ①新規インスタンス作成
    監視設定
    ③KDDI推奨
    基本監視の⾃動設定 ④監視開始
    KDDI推奨
    基本監視設定
    ポート
    死活
    ログ URL
    リソース
    サービス
    プロセス

    View Slide

  25. Mackerel監視の設定⽅法
    1. 設定ファイル(mackerel-agent.conf)
    2. Mackerel API (もしくは管理画⾯)
    課題① 設定ファイル(mackerel-agent.conf)の編集⽅法
    課題② API が⾮公開の項⽬の設定⽅法
    ⾃動化にあたっての課題
    C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d
    25

    View Slide

  26. 課題
    ・IaaS事業者のKDDIには、お客さまOS内の
    ファイルは⼀切参照/変更できない
    課題① mackerel-agent.conf の編集⽅法
    C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d
    26
    ※KCPSでは各種のセキュリティ認証を取得しており、
    KDDIからのお客さまOS内のセキュリティ(不可視性)が担保されています
    IaaS
    OS
    KDDI管理
    お客さま
    管理
    対策
    ・仮想サーバの提供プロセスを改修。仮想サーバをお客さまに
    ご提供する前に mackerel-agent.conf の設定を実施

    View Slide

  27. 課題① mackerel-agent.conf の編集⽅法
    C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d
    27
    仮想サーバ
    構築
    お客さまへの
    引き渡し
    仮想サーバ
    構築依頼
    (GUI操作)
    お客さま
    VM
    出来上がり
    クラウド基盤
    ソフトウェアが実施
    mackerel-agent
    インストール
    &監視設定
    監視設定機能
    を内製開発

    View Slide

  28. 課題
    ・API が⾮公開の項⽬の設定⽅法(通知チャンネル設定など)
    ・お客さまオーガニゼーションのAPI Keyの受領⽅法
    課題② API が⾮公開の項⽬の設定⽅法
    C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d
    28
    対策
    ・はてな様にKDDI専⽤機能の開発/提供を依頼
    →KDDI専⽤API、デフォルト通知チャンネル

    View Slide

  29. ② KDDI商⽤設備の監視ポリシーを
    基にした監視設計ガイドをご提供

    View Slide

  30. KCPS関連設備の監視規模(KDDI商⽤設備の⼀部)
    ‣ 国内:4拠点 物理サーバ数:数千台
    ‣ 監視対象機器数: 約30,000台以上
    ‣ トリガー数: 約800,000以上
    ‣ アイテム数: 約600,000以上
    これらのKDDIの商⽤設備の監視ノウハウを基にしたもの
    ⇒ 監視設計ガイドラインとしてご提供
    KDDIの商⽤設備の監視ノウハウ
    C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d
    30
    ※2017年1⽉現在

    View Slide

  31. サーバ、ミドルウェア、アプリ等の監視設計の指針を定義したもの
    ・⽬的
    ・要件
    ・想定障害
    ・監視⽅法(リソース収集、予兆監視、故障監視)
    ・Mackerel での設定⽅法
    監視設計ガイドライン
    C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d
    31

    View Slide

  32. 監視設計ガイドライン(例)
    C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d
    32

    View Slide

  33. ・故障を確実に検知する
    • サイレント障害を起こさない
    • お客さま⽬線での監視が最も重要
    ・迅速な復旧を⽀援する
    • 全てのアラーム通知は復旧アクションに紐づける
    ・対応不要なアラームを発⽣させない
    • 運⽤者を疲弊させない
    監視設定ガイドで監視品質の向上をご⽀援します!
    監視品質の向上
    C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d
    33

    View Slide

  34. ③ KDDIが運⽤もワンストップ窓⼝で実現!

    View Slide

  35. 運⽤もワンストップでご提供
    C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d
    35
    KDDI運⽤者
    状況確認
    お客さま
    管理者
    ・障害⼀次対応
    ・オペレーション代⾏
    ・⾃動バックアップ、リストア代⾏
    ・Windowsパッチ適⽤代⾏
    ・ワンストップ窓⼝
    ・Mackerel技術サポート
    ・Windows技術サポート
    KCPS
    お客さまサーバ
    (仮想サーバ)
    運⽤はKDDIに
    任せて本業に
    集中できる
    KCPS Admin Console
    故障通知
    監視
    統合管理UI
    お客さまの本業への集中をご⽀援します!
    ※本資料には検討中の内容が含まれます。

    View Slide

  36. まとめ
    C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d
    36
    ② KDDIの運⽤ノウハウを盛り込んだ設計ガイドをご提供、運⽤設計や
    チューニングの負荷を軽減し、お客さまシステムの監視品質を向上!
    ① 監視サーバの構築不要!KCPS Admin Consoleから
    数クリックで監視環境(Mackerel)を⾃動構築!
    ③ 監視サービス(Basic)と運⽤サービスの組み合わせで
    ご要望に応じたクラウド運⽤をワンストップ窓⼝でご提供!
    KCPSマネージドオプションは、クラウドの監視・運⽤に係る
    お客様の業務を代⾏し、本業集中をサポートするサービスです!
    ※本資料には検討中の内容が含まれます。

    View Slide

  37. KDDI Cloud Blog
    C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d
    37
    クラウドに関する最新の情報を発信
    http://cloudblog.kddi.com/

    View Slide

  38. Quality Cloud

    View Slide