KDDI株式会社がMackerel Meetup #9 Tokyo #mackerelioでお話しさせていただいた内容です。
本内容でご紹介しているKCPSマネージドオプションについては、次のブログにも記載していますので、合わせてご参照ください。 http://cloudblog.kddi.com/news/4730/
Mackerel x KDDI で実現するキャリアクオリティ監視サービス浅川 善則KDDI株式会社アジャイル開発センター
View Slide
⾃⼰紹介C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d2KDDI株式会社 プラットフォーム開発本部アジャイル開発センター浅川 善則セキュリティ系SIer、メーカー系SIerを経て、2015年4⽉にKDDIに⼊社。⼊社後、DevOps推進、KDDIサービスの運⽤⾃動化の機能開発と開発プロセス標準化に従事。現在は、KDDI クラウドプラットフォームサービス（KCPS）のマネージドオプション開発に奮闘中。好きなものGoも書きたい
1. KCPSのサービス概要2. Mackerel x KDDI で実現する監視サービスC o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d3
キャリアならではのクラウド基盤「KDDI クラウドプラットフォームサービス」
KCPSの特⻑は、Quality Cloud1. とめない（⾼可⽤性）2. まもる （⾼信頼性）3. つながる（⾼接続性）C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d5
インターネットシステムデータ バックアップストレージRAID･･･Active StandbyHA（フェイルオーバー）インターネット接続イントラ接続RAID2重バックアップバックアップDRサイト1.とめない：徹底的な冗⻑構成C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d6物理サーバHAによる冗⻑構成を標準装備RAIDによる冗⻑構成を標準装備NW機器の冗⻑構成NW機器の冗⻑構成KDDIバックボーン回線サーバ・ストレージ・ネットワーク機器は完全冗⻑化
稼働実績は99.999%以上C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d71.とめない：徹底的な冗⻑構成99.999982%99.9999% 32秒/年間99.99999% 3秒/年間KDDI Cloud Blogで稼働率と故障内訳を公開！
KCPSのお客さま専有サーバ（KCPSでの名称：Premiumサーバ）スイッチAct Act Stb仮想サーバActホストサーバ＃1ストレージ・・Act Act Stb仮想サーバStbストレージ＃2・・別ＰＯＤ業界最⾼⽔準の可⽤性を有したエクストラアベイラビリティ機能でサーバとストレージの同時故障にも対応故障ActAct Stbスイッチホストサーバ・・・仮想サーバAct仮想サーバStb冗⻑化通常のクラウド基盤サービス＃1ストレージ故障故障故障故障故障故障冗⻑化正常稼動1.とめない：2x2=4重化も提供C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d8POD（ポッド）…データーセンター内のラックに相当
「2時間以内に多重故障から復旧」を⽬標故障時は能動通知で「30分以内」を⽬標C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d92.まもる：万全の運⽤保守体制
IT管理者をしっかりサポート!C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d102.まもる：万全の運⽤保守体制
2.まもる：万全の運⽤保守体制ワンストップB社 イントラネットワークA社 クラウドサービス障害の切り分けが難しいクラウドとネットワークの提供会社が異なる場合KCPSの場合C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d11ネットワークとクラウドのワンストップ提供で故障発⽣も迅速に解決
iPadiPhoneお客さま環境外出先のスマートデバイスからクラウドへもセキュアにアクセスマルチクラウド環境でのシームレスな連携FREC o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d123.つながる：ニーズに合わせてどこからでもKCPSKDDI Flex Remote Accessさまざまな通信デバイス・通信環境からお客さまの社内ネットワークへリモートアクセスできるサービス
専有サーバ 共有サーバオブジェクトストレージお客さま環境yumリポジトリサーバWSUSサーバSymantec Endpoint ProtectionKMSイントラネット網内で管理系サーバにつながるC o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d133.つながる：イントラだけでも便利に使える
システム構成図が⾃動⽣成されるので、構成図が不要C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d14Quality Cloud を 簡単に使う
HCIオプションetc（物理サーバ）HCIオプションetc（⽉額98万円〜）⼤企業中⼩企業基幹系・重要システム情報系・周辺システムPremium（専有サーバ）Premium（専有サーバ）Value（共有サーバ）さまざまなサーバをご⽤意KCPSは⼤企業の周辺システムや中⼩企業の重要システムを中⼼に利⽤が広がっています。※表⽰価格はすべて税抜価格です。※詳細はKDDIのウェブサイトをご参照ください。Premium（⽉額27万円〜）Premium（⽉額27万円〜）Value（⽉額8千円〜）C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d15イントラネット（KDDI WVS）との接続料も無料データ通信料は、インプット/アウトプットとも無料
「HCIオプション」とはC o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d16ビジネスクリティカルなアプリケーションに最適なスペックをプライベートクラウドでご提供ストレージオブションバックアップオプションPremiumValueインターネットオブジェクトストレージデータストレージシステムストレージバックアップストレージ HCIオプション• ⾼機能なHCI機器４ノードをパッケージ化し⽉額モデルでご提供• 必要に応じてノード追加（⽉額30万円/ノード）も可能※ HCIオプション以外でも、データセンターに設置したお客さま指定機器と仮想サーバを同⼀セグメントで接続することも可能（データセンターコネクト）
「HCI」とはC o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d17物理のプラットフォーム部分をシンプル化し、スケールアップや性能アップをより簡単にしたプラットフォームHCIハイパー・コンバージド・インフラストラクチャー（Hyper-Converged Infrastructure）Nutanix のソフトウエアを基盤としたHCI アプライアンス「Dell XC シリーズ」
Mackerel x KDDI で実現する監視サービス
2015年4⽉から、Mackerel をオプション提供• KCPSの利⽤者向け管理画⾯との統合• インターネットを経由せずにセキュアな監視が可能Mackerel x KCPS の取り組みC o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d19
・監視の設定⽅法が分からない…• Zabbixのあの監視はどう設定すればいい？• Windows⽤のプラグインは⼊⼿⽅法は？・そもそも何を監視すればいいのか…・監視はできても運⽤体制がないし、本業に集中したい…• 特に夜間や⼟⽇のアラーム対応がつらいお客さまからの声（困りごと）C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d20
解決に向けての取り組みC o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d21エンジニアをワクワクさせる監視サービスキャリアクオリティでIT管理者をしっかりサポートKCPSマネージドオプションの提供を開始(1/26 サービス提供開始)
・監視の設定⽅法が分からない…・そもそも何を監視すればいいのか…・監視はできても運⽤体制がないし、本業に集中したい…KCPSマネージドオプションの特徴C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d22KDDIが運⽤もワンストップ窓⼝で実現！KDDI商⽤設備の監視ポリシーを基にした監視設計ガイドをご提供！Mackerelエージェント導⼊と基本監視項⽬の設定を⾃動化！
①Mackerelエージェント導⼊と基本監視項⽬の設定を⾃動化
システム構成イメージC o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d24⾃動設定 順次⾃動化予定KCPS Admin Console(KAC) お客さま仮想サーバ②エージェントの⾃動インストールお客さま管理者①新規インスタンス作成監視設定③KDDI推奨基本監視の⾃動設定 ④監視開始KDDI推奨基本監視設定ポート死活ログ URLリソースサービスプロセス
Mackerel監視の設定⽅法1. 設定ファイル（mackerel-agent.conf）2. Mackerel API (もしくは管理画⾯)課題① 設定ファイル（mackerel-agent.conf）の編集⽅法課題② API が⾮公開の項⽬の設定⽅法⾃動化にあたっての課題C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d25
課題・IaaS事業者のKDDIには、お客さまOS内のファイルは⼀切参照／変更できない課題① mackerel-agent.conf の編集⽅法C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d26※KCPSでは各種のセキュリティ認証を取得しており、KDDIからのお客さまOS内のセキュリティ（不可視性）が担保されていますIaaSOSKDDI管理お客さま管理対策・仮想サーバの提供プロセスを改修。仮想サーバをお客さまにご提供する前に mackerel-agent.conf の設定を実施
課題① mackerel-agent.conf の編集⽅法C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d27仮想サーバ構築お客さまへの引き渡し仮想サーバ構築依頼（GUI操作）お客さまVM出来上がりクラウド基盤ソフトウェアが実施mackerel-agentインストール＆監視設定監視設定機能を内製開発
課題・API が⾮公開の項⽬の設定⽅法（通知チャンネル設定など）・お客さまオーガニゼーションのAPI Keyの受領⽅法課題② API が⾮公開の項⽬の設定⽅法C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d28対策・はてな様にKDDI専⽤機能の開発／提供を依頼→KDDI専⽤API、デフォルト通知チャンネル
② KDDI商⽤設備の監視ポリシーを基にした監視設計ガイドをご提供
KCPS関連設備の監視規模（KDDI商⽤設備の⼀部）‣ 国内:4拠点 物理サーバ数:数千台‣ 監視対象機器数: 約30,000台以上‣ トリガー数: 約800,000以上‣ アイテム数: 約600,000以上これらのKDDIの商⽤設備の監視ノウハウを基にしたもの⇒ 監視設計ガイドラインとしてご提供KDDIの商⽤設備の監視ノウハウC o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d30※2017年1⽉現在
サーバ、ミドルウェア、アプリ等の監視設計の指針を定義したもの・⽬的・要件・想定障害・監視⽅法（リソース収集、予兆監視、故障監視）・Mackerel での設定⽅法監視設計ガイドラインC o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d31
監視設計ガイドライン（例）C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d32
・故障を確実に検知する• サイレント障害を起こさない• お客さま⽬線での監視が最も重要・迅速な復旧を⽀援する• 全てのアラーム通知は復旧アクションに紐づける・対応不要なアラームを発⽣させない• 運⽤者を疲弊させない監視設定ガイドで監視品質の向上をご⽀援します！監視品質の向上C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d33
③ KDDIが運⽤もワンストップ窓⼝で実現！
運⽤もワンストップでご提供C o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d35KDDI運⽤者状況確認お客さま管理者・障害⼀次対応・オペレーション代⾏・⾃動バックアップ、リストア代⾏・Windowsパッチ適⽤代⾏・ワンストップ窓⼝・Mackerel技術サポート・Windows技術サポートKCPSお客さまサーバ（仮想サーバ）運⽤はKDDIに任せて本業に集中できるKCPS Admin Console故障通知監視統合管理UIお客さまの本業への集中をご⽀援します！※本資料には検討中の内容が含まれます。
まとめC o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d36② KDDIの運⽤ノウハウを盛り込んだ設計ガイドをご提供、運⽤設計やチューニングの負荷を軽減し、お客さまシステムの監視品質を向上！① 監視サーバの構築不要！KCPS Admin Consoleから数クリックで監視環境（Mackerel）を⾃動構築！③ 監視サービス(Basic)と運⽤サービスの組み合わせでご要望に応じたクラウド運⽤をワンストップ窓⼝でご提供！KCPSマネージドオプションは、クラウドの監視・運⽤に係るお客様の業務を代⾏し、本業集中をサポートするサービスです！※本資料には検討中の内容が含まれます。
KDDI Cloud BlogC o p y r i g h t © 2 0 1 7 K D D I C o r p o r a t i o n . A l l R i g h t s R e s e r v e d37クラウドに関する最新の情報を発信http://cloudblog.kddi.com/
Quality Cloud
adacotech
socialmatch
openstreet
recree14
kuroppe1819
brainpad_mk
delta_tech
kadokawaconnected
unionnet
eisukeueta
62gerente
bkeepers
colly
nonsquared
thoeni
bermonpainter
garrettdimon
gr2m
brad_frost
davidbonilla
chriscoyier
brettharned