Mackerel x KDDI で実現するキャリアクオリティ監視サービス / Mackerel Meetup 9 KDDI

KDDI株式会社がMackerel Meetup #9 Tokyo #mackerelioでお話しさせていただいた内容です。

本内容でご紹介しているKCPSマネージドオプションについては、次のブログにも記載していますので、合わせてご参照ください。
http://cloudblog.kddi.com/news/4730/

Transcript

1. Mackerel x KDDI で実現する キャリアクオリティ監視サービス 浅川 善則 KDDI株式会社 アジャイル開発センター
2. ⾃⼰紹介 C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d 2 KDDI株式会社 プラットフォーム開発本部 アジャイル開発センター 浅川 善則 セキュリティ系SIer、メーカー系SIerを経て、2015年4⽉に KDDIに⼊社。⼊社後、DevOps推進、KDDIサービスの運⽤⾃ 動化の機能開発と開発プロセス標準化に従事。 現在は、KDDI クラウドプラットフォームサービス（KCPS） のマネージドオプション開発に奮闘中。 好きなもの Goも書きたい
3. 1. KCPSのサービス概要 2. Mackerel x KDDI で実現する監視サービス C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d 3
4. キャリアならではのクラウド基盤 「KDDI クラウドプラットフォームサービス」
5. KCPSの特⻑は、Quality Cloud 1. とめない（⾼可⽤性） 2. まもる （⾼信頼性） 3. つながる（⾼接続性） C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d 5
6. インターネット システムデータ バックアップ ストレージ RAID ･･･ Active Standby HA（フェイルオーバー） インターネット接続 イントラ接続 RAID 2重バックアップ バックアップ DRサイト 1.とめない：徹底的な冗⻑構成 C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d 6 物理サーバ HAによる冗⻑構成を標準装備 RAIDによる冗⻑構成を標準装備 NW機器の冗⻑構成 NW機器の冗⻑構成 KDDI バックボーン回線 サーバ・ストレージ・ネットワーク機器は完全冗⻑化
7. 稼働実績は99.999%以上 C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d 7 1.とめない：徹底的な冗⻑構成 99.999982% 99.9999% 32秒/年間 99.99999% 3秒/年間 KDDI Cloud Blogで稼働率と故障内訳を公開！
8. KCPSのお客さま専有サーバ（KCPSでの名称：Premiumサーバ） スイッチ Act Act Stb 仮想サーバ Act ホストサーバ ＃1 ストレージ ・・ Act Act Stb 仮想サーバ Stb ストレージ ＃2 ・・ 別ＰＯＤ 業界最⾼⽔準の可⽤性を有したエクストラアベイラビリティ機能で サーバとストレージの同時故障にも対応 故障 Act Act Stb スイッチ ホストサーバ ・・・ 仮想サーバ Act 仮想サーバ Stb 冗⻑化 通常のクラウド基盤サービス ＃1 ストレージ 故障 故障 故障 故障 故障 故障 冗⻑化 正常 稼動 1.とめない：2x2=4重化も提供 C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d 8 POD（ポッド）…データーセンター内のラックに相当
9. 「2時間以内に多重故障から復旧」を⽬標 故障時は能動通知で「30分以内」を⽬標 C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d 9 2.まもる：万全の運⽤保守体制
10. IT管理者をしっかりサポート! C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d 10 2.まもる：万全の運⽤保守体制
11. 2.まもる：万全の運⽤保守体制 ワンストップ B社 イントラネットワーク A社 クラウドサービス 障害の切り分けが難しい クラウドとネットワークの 提供会社が異なる場合 KCPSの場合 C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d 11 ネットワークとクラウドの ワンストップ提供で 故障発⽣も迅速に解決
12. iPad iPhone お客さま環境 外出先のスマートデバイスからクラウドへもセキュアにアクセス マルチクラウド環境でのシームレスな連携 FRE C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d 12 3.つながる：ニーズに合わせてどこからでも KCPS KDDI Flex Remote Access さまざまな通信デバイス・通信環境 からお客さまの社内ネットワークへ リモートアクセスできるサービス
13. 専有サーバ 共有サーバ オブジェクト ストレージ お客さま環境 yumリポジトリサーバ WSUSサーバ Symantec Endpoint Protection KMS イントラネット網内で管理系サーバにつながる C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d 13 3.つながる：イントラだけでも便利に使える
14. システム構成図が⾃動⽣成されるので、構成図が不要 C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d 14 Quality Cloud を 簡単に使う
15. HCIオプションetc （物理サーバ） HCIオプションetc （⽉額98万円〜） ⼤企業 中⼩企業 基幹系・重要システム 情報系・周辺システム Premium （専有サーバ） Premium （専有サーバ） Value （共有サーバ） さまざまなサーバをご⽤意 KCPSは⼤企業の周辺システムや中⼩企業の重要システムを中⼼に 利⽤が広がっています。 ※表⽰価格はすべて税抜価格です。 ※詳細はKDDIのウェブサイトをご参照ください。 Premium （⽉額27万円〜） Premium （⽉額27万円〜） Value （⽉額8千円〜） C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d 15 イントラネット（KDDI WVS）との接続料も無料 データ通信料は、インプット/アウトプットとも無料
16. 「HCIオプション」とは C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d 16 ビジネスクリティカルなアプリケーションに 最適なスペックをプライベートクラウドでご提供 ストレージオブション バックアップオプション Premium Value インターネット オブジェクトストレージ データ ストレージ システム ストレージ バックアップ ストレージ HCIオプション • ⾼機能なHCI機器４ノードをパッケージ化し⽉額モデルでご提供 • 必要に応じてノード追加（⽉額30万円/ノード）も可能 ※ HCIオプション以外でも、データセンターに設置したお客さま指定機器と 仮想サーバを同⼀セグメントで接続することも可能（データセンターコネクト）
17. 「HCI」とは C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d 17 物理のプラットフォーム部分をシンプル化し、 スケールアップや性能アップをより簡単にしたプラットフォーム HCI ハイパー・コンバージド・インフラストラクチャー （Hyper-Converged Infrastructure） Nutanix のソフトウエアを基盤としたHCI アプライアンス「Dell XC シリーズ」
18. Mackerel x KDDI で実現する監視サービス
19. 2015年4⽉から、Mackerel をオプション提供 • KCPSの利⽤者向け管理画⾯との統合 • インターネットを経由せずにセキュアな監視が可能 Mackerel x KCPS の取り組み C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d 19
20. ・監視の設定⽅法が分からない… • Zabbixのあの監視はどう設定すればいい？ • Windows⽤のプラグインは⼊⼿⽅法は？ ・そもそも何を監視すればいいのか… ・監視はできても運⽤体制がないし、本業に集中したい… • 特に夜間や⼟⽇のアラーム対応がつらい お客さまからの声（困りごと） C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d 20
21. 解決に向けての取り組み C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d 21 エンジニアをワクワクさせる 監視サービス キャリアクオリティで IT管理者をしっかりサポート KCPSマネージドオプションの提供を開始 (1/26 サービス提供開始)
22. ・監視の設定⽅法が分からない… ・そもそも何を監視すればいいのか… ・監視はできても運⽤体制がないし、本業に集中したい… KCPSマネージドオプションの特徴 C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d 22 KDDIが運⽤もワンストップ窓⼝で実現！ KDDI商⽤設備の監視ポリシーを基にした監視設計ガイドをご提供！ Mackerelエージェント導⼊と基本監視項⽬の設定を⾃動化！
23. ①Mackerelエージェント導⼊と 基本監視項⽬の設定を⾃動化
24. システム構成イメージ C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d 24 ⾃動設定 順次⾃動化予定 KCPS Admin Console (KAC) お客さま 仮想サーバ ②エージェントの ⾃動インストール お客さま 管理者 ①新規インスタンス作成 監視設定 ③KDDI推奨 基本監視の⾃動設定 ④監視開始 KDDI推奨 基本監視設定 ポート 死活 ログ URL リソース サービス プロセス
25. Mackerel監視の設定⽅法 1. 設定ファイル（mackerel-agent.conf） 2. Mackerel API (もしくは管理画⾯) 課題① 設定ファイル（mackerel-agent.conf）の編集⽅法 課題② API が⾮公開の項⽬の設定⽅法 ⾃動化にあたっての課題 C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d 25
26. 課題 ・IaaS事業者のKDDIには、お客さまOS内の ファイルは⼀切参照／変更できない 課題① mackerel-agent.conf の編集⽅法 C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d 26 ※KCPSでは各種のセキュリティ認証を取得しており、 KDDIからのお客さまOS内のセキュリティ（不可視性）が担保されています IaaS OS KDDI管理 お客さま 管理 対策 ・仮想サーバの提供プロセスを改修。仮想サーバをお客さまに ご提供する前に mackerel-agent.conf の設定を実施
27. 課題① mackerel-agent.conf の編集⽅法 C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d 27 仮想サーバ 構築 お客さまへの 引き渡し 仮想サーバ 構築依頼 （GUI操作） お客さま VM 出来上がり クラウド基盤 ソフトウェアが実施 mackerel-agent インストール ＆監視設定 監視設定機能 を内製開発
28. 課題 ・API が⾮公開の項⽬の設定⽅法（通知チャンネル設定など） ・お客さまオーガニゼーションのAPI Keyの受領⽅法 課題② API が⾮公開の項⽬の設定⽅法 C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d 28 対策 ・はてな様にKDDI専⽤機能の開発／提供を依頼 →KDDI専⽤API、デフォルト通知チャンネル
29. ② KDDI商⽤設備の監視ポリシーを 基にした監視設計ガイドをご提供
30. KCPS関連設備の監視規模（KDDI商⽤設備の⼀部） ‣ 国内:4拠点 物理サーバ数:数千台 ‣ 監視対象機器数: 約30,000台以上 ‣ トリガー数: 約800,000以上 ‣ アイテム数: 約600,000以上 これらのKDDIの商⽤設備の監視ノウハウを基にしたもの ⇒ 監視設計ガイドラインとしてご提供 KDDIの商⽤設備の監視ノウハウ C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d 30 ※2017年1⽉現在
31. サーバ、ミドルウェア、アプリ等の監視設計の指針を定義したもの ・⽬的 ・要件 ・想定障害 ・監視⽅法（リソース収集、予兆監視、故障監視） ・Mackerel での設定⽅法 監視設計ガイドライン C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d 31
32. 監視設計ガイドライン（例） C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d 32
33. ・故障を確実に検知する • サイレント障害を起こさない • お客さま⽬線での監視が最も重要 ・迅速な復旧を⽀援する • 全てのアラーム通知は復旧アクションに紐づける ・対応不要なアラームを発⽣させない • 運⽤者を疲弊させない 監視設定ガイドで監視品質の向上をご⽀援します！ 監視品質の向上 C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d 33
34. ③ KDDIが運⽤もワンストップ窓⼝で実現！
35. 運⽤もワンストップでご提供 C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d 35 KDDI運⽤者 状況確認 お客さま 管理者 ・障害⼀次対応 ・オペレーション代⾏ ・⾃動バックアップ、リストア代⾏ ・Windowsパッチ適⽤代⾏ ・ワンストップ窓⼝ ・Mackerel技術サポート ・Windows技術サポート KCPS お客さまサーバ （仮想サーバ） 運⽤はKDDIに 任せて本業に 集中できる KCPS Admin Console 故障通知 監視 統合管理UI お客さまの本業への集中をご⽀援します！ ※本資料には検討中の内容が含まれます。
36. まとめ C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d 36 ② KDDIの運⽤ノウハウを盛り込んだ設計ガイドをご提供、運⽤設計や チューニングの負荷を軽減し、お客さまシステムの監視品質を向上！ ① 監視サーバの構築不要！KCPS Admin Consoleから 数クリックで監視環境（Mackerel）を⾃動構築！ ③ 監視サービス(Basic)と運⽤サービスの組み合わせで ご要望に応じたクラウド運⽤をワンストップ窓⼝でご提供！ KCPSマネージドオプションは、クラウドの監視・運⽤に係る お客様の業務を代⾏し、本業集中をサポートするサービスです！ ※本資料には検討中の内容が含まれます。
37. KDDI Cloud Blog C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d 37 クラウドに関する最新の情報を発信 http://cloudblog.kddi.com/
38. Quality Cloud