多様化し続けるアプリケーションを支えるセキュアな分散データセンター

ShowNet.conf_ での講演資料

Transcript

1. 多様化し続けるアプリケーションを支える セキュアな分散データセンター ShowNet NOC 織 / 明石 / 橋本 / 豊田
2. 今年の ShowNet のデータセンタ
4. 様々な仮想化基盤による サービス提供 .svc と .dc をまたいだ 分散ファブリック コントローラによるネットワークと ポリシーの一括制御 分散 Firewall, IDS、WAF による セキュアなサービス基盤 .svc と .dc をまたいだ 分散ファブリック コントローラによるネットワークと ポリシーの一括制御 クラウドと連携可能なコンテナ基盤 次世代の高速ストレージ
5. 今年のデータセンタの取り組み • パブリッククラウドと連携したハイブリッドクラウド • VM イメージのリアルタイムレプリケーション • オンプレとクラウド上のコンテナ基盤の統合管理 • 複数拠点を超えたスケーラブルな分散ファブリック • 遠隔地にまたがった場所を選ばないネットワーク • コントローラ、ダッシュボードからネットワーク全体の管理 • ShowNetを支えるサービスを守るセキュアなデータセンター • 分散 Firewall、IDS による柔軟な仮想アプライアンスの防御 • 仮想アプライアンス、SmartNIC を活用したセキュアなサービス展開
6. ShowNet のサービスを支える仮想化基盤 • 様々な仮想化基盤でサービスを展開 • VMware vSphere、AzureStack HCI、OpenStack など • DHCP、DNS などのサービス • 様々な仮想アプライアンス • セキュリティ、インフラ管理など • 様々なクラウドとの連携 • クラウドからの管理 • パブリッククラウドと連携 hx-c220c-m5sx dl380 uis-hci
7. .svc の仮想化基盤 • .svc は2つの仮想化基盤でサービスを構成 • 総 VM 数 110 程度 • HyperFlex Edge • 主に仮想アプライアンスを展開 • Security、Monitoring、Facility などの VM • AzureStack HCI • Windows Server や DHCP、DNS など • dc 内のログ収集、可視化も • iSCSI ストレージに OceanStor • 20TB の NVMe ストレージ • OceanProtect でデータのバックアップ
8. Intersight を活用したオンプレ環境の管理 hx-c220c-m5sx ShowNet インベントリ 情報 ベアメタル、VM、コンテナなどの管理 設定、プロビジョニング、インストール 仮想化基盤のローリングアップデート ストレージシステムの管理 mgmt ネットワークから Intersight へ接続 インベントリ情報、ステータスの確認 仮想化基盤の可視化 クラウドからの vKVM、電源管理など
9. ACI による分散ファブリック .5g hx-c220c-m5sx ebof oceanstor nsx-edge fortiwebvm AzureStack HCI DL380 UIS 3000G5 Ezmeral DL380-g10 dl385 pensando ShowNet バックボーンを超えた分散ファブリックを構成 dl360 kumoscale service network dc/storage network secure service svc、ストレージだけでなく Cloud、Local 5G ネットワーク と接続
10. ACI による分散ファブリック ACI Fabric apic-m3 nexus-dashboard • オンプレ環境のインベントリをクラウドから管理 • サーバ、仮想マシン、Infrastructure as a Code • 場所を選ばない運用が簡単に • コントローラからの集中管理 • 物理配置に依存しないノード管理 • 柔軟なポリシー制御 • 遠隔地へのL2延伸
11. 分散FW、IDS、WAF で守るセキュアなDC hx-c220c-m5sx hx-c220c-m5sx hx-c220c-m5sx nsx-edge server server server server server server fortiwebvm server server server nsx-t サービスに合わせた様々なセキュリティ VM ベースの分散 Firewall WAF による安全な Web サービス vMotion 時にポリシーも追従 DPI と連携した L4-L7 セキュリティ apic-m3 ACI の柔軟なポリシー制御
12. 新しい高速ストレージ • Ethernet接続ストレージ • NVMe 自体が RoCEで通信 • NVMe 1つで 25Gbps • 外部との接続は 100Gbps x 6 • KumoScale と EBOF • NVMe-oF、NVMe-oTCP • 様々なサーバへの 高速ストレージの提供 • 仮想化基盤、コンテナ基盤 • ベアメタル
13. 新しい高速ストレージ • EBOF • 新しい chip を搭載した新製品 • 100Gbps のインオペ • KumoScale • 新機能として FRR を搭載 • BGP Multipath • Unnumbered BGP も可能 ebof dl360 kumoscale s9820 ax3660s
14. パブリッククラウドと連携したBCP対策 oceanstor oceanprotec t hx-c220c-m5sx AzureStack HCI DL380 • 仮想マシンのイメージをクラウド上 にバックアップ、万が一のときはク ラウド上で起動 • ShowNet: Azure Stack HCI • クラウド: Azure Recovery Services • 仮想マシンのイメージをバックアッ プ専用ストレージにバックアップ • Huawei Ocean Stor Dorado • Huawei Ocean Protect
15. Azure Recovery Services のデータバックアップ • aaa dl360 ShowNet VM イメージの リアルタイム レプリケーション • 障害発生時にはクラウド で VM を起動可能
16. コンテナ基盤 • 3拠点のコンテナ基盤をL7サービスインターコネクト(skupper)で接続 HPE Solution Center DL380 Gen10 Plus Ezmeral DL380-g10 dl385 pensando • マネージド・サービスなので手間いらず • 負荷に応じてノードのオートスケール • Microsoft Azure Kubernetes Service • Microsoft Azure Container Registry • HPE検証センターを活用した 事前準備、データ保存 • HPE Solution Center • Smart NICのFirewall機能でコンテナ基盤を防御 • ShowNet内のコンテナ基盤とAKSを統合管理 • HPE Pensando • HPE Ezmeral Runtime Enterprise skupper.io skupper.io
17. Ezmeralによるマルチクラスター管理
18. Hybrid CloudによるリアルタイムDNSログ解析 dc.connect NeX Flexible InterConnect Azure fluentd Shownet in Makuhari hx-c220c0m5sx1..3 exhibitors dl380-1,2 cache2.svc shownet nodes visitors DNS query log data stream with azure monitor format cache1.svc “dnstap” with fluentd format オンプレミスのログを Managed Service で解析・可視化 スケーラブルなデータ解析基盤 強力な可視化基盤 オンプレミスのログもクラウドへ 複数のクラウドインターコネクトサービスを活用 クラウドインターコネクトにより セキュアで安定したデータパスでログ転送
19. DNS log Overview • 1日あたりのDNSログ総量 • 総クエリ回数 1020万回 • 最大流量 2895クエリ/秒 • (参考:)昨年は最大1000 クエリ/秒程度 • 1日 3000万件以上のログをクラウドに転送 合計 Management NW用→ 来場者Wi-Fi用→ 出展者用→ 全体 Management用➝ 出展者用➝ 来場者用➝
20. ご協力企業様 (五十音順)