2016-ShowNet-報告資料

Transcript

1. Copyright © Interop Tokyo 2016 ShowNet NOC Team Interop Tokyo 2016 ShowNet報告会
2. 2 Copyright © Interop Tokyo 2016 ShowNet NOC Team アジェンダ • Interop Tokyo 2016 全体について • ShowNetについて • ShowNet2016の取り組みについて • PR活動紹介 • クレジット
3. 3 Copyright © Interop Tokyo 2016 ShowNet NOC Team Interop Tokyo 2016 全体について
4. 4 Copyright © Interop Tokyo 2016 ShowNet NOC Team Interop Tokyo 2016 開催概要 Interop Tokyo 2016 全体について 【名称】 Interop Tokyo 2016 【会場】 幕張メッセ (Hall 4-7) 【会期】 展示会/基調講演/カンファレンス 2016/6/8（水）～10（金） 【主催】 Interop Tokyo 実行委員会 【特別協力】 WIDEプロジェクト 【運営】 一般財団法人インターネット協会 ・株式会社ナノオプト・メディア 【総来場者数】 約140,000人見込み（同時開催イベント含む） 【同時開催】 Connected Media Tokyo, デジタルサイネージジャパン, ロケーションビジネスジャパン, APPS Japan
5. 5 Copyright © Interop Tokyo 2016 ShowNet NOC Team 今年のキャッチテーマ Interop Tokyo 2016 全体について
6. 6 Copyright © Interop Tokyo 2016 ShowNet NOC Team 2016年度 来場者数/出展企業 Interop Tokyo 2016 全体について 年度 1日目 2日目 3日目 合計 2016 40,615 47,791 52,539 140,945 2015 38,781 45,322 52,301 136,341 2014 36,613 44,478 51,518 132,609 【参考】 参加企業・団体数 ： 529社 （2015年：486社） 小間数 ： 1,388小間 （2015年：1,345小間）
7. 7 Copyright © Interop Tokyo 2016 ShowNet NOC Team 展示会場内の様子 Interop Tokyo 2016 全体について
8. 8 Copyright © Interop Tokyo 2016 ShowNet NOC Team ShowNetについて
9. 9 Copyright © Interop Tokyo 2016 ShowNet NOC Team ShowNetとは？ ShowNetについて • 産業界、学会、研究機関から集まるトップエンジニアが実施する世界 最大級のライブデモンストレーションプロジェクト • 2年後、３年後に業界に浸透する技術を先駆けて挑戦 • 世界、国内で初披露（実稼働）される新製品も実装 • 最新技術を実装しながら安定したサービスを出展ブース・来場者に提 供 • Interop Tokyoが唯一、開催当初のスピリットを継承 • 産学官から集まったNOCチームメンバーと、機器やサービスを提供す るコントリビュータ、一般から公募するボランティア「STM」の三位 一体で構築
10. 10 Copyright © Interop Tokyo 2016 ShowNet NOC Team 2,3年後の普及技術を先駆けて挑戦 ShowNetについて ShowNetでの取り組み 商用化サービスの動き 1990年代 ATM メトロイーサネット ATMメガリンク 広域イーサネットサービス 2000年代 ADSL FTTH CGN(キャリアグレードNAT) SOC(Security) ADSLサービス(YBB等） 光接続サービス（USEN, B-フレ ッツ等） CGN(キャリアグレードNAT) セキュリティインシデントの増加 2010年代 100GbE OpenFlow SDN 100GbEサービス NFV
11. 11 Copyright © Interop Tokyo 2016 ShowNet NOC Team ShowNet 2016の取り組み
12. 12 Copyright © Interop Tokyo 2016 ShowNet NOC Team 2016年度テーマ ShowNet 2016の取り組み Scratch & Re-build the Internet Phase 3 ～Infinite Challenge～ ～継承と再構築の循環、進化しつづけるインターネット～ ShowNetでは、「今の設計や運用方法で10年後も安定的なインターネットサービスを 提供できるのだろうか?」という問いかけのもと、2014年にグランドテーマとして "Scratch & Re-build the Internet" を掲げました。 その後、良きモノを継承しながら、新しいテクノロジーを活用して再構築する取り組 みを、3年かけて行ってきました。 最終年である今年は、昨年の「ULTIMATE BALANCE」をさらに具現化し、より実践 的なカタチへと進化させています。 ShowNetでは、これまでも、変容するインターネット環境に先駆ける、近未来ネット ワークを模索してきました。そしてこれからも、継承と再構築、時には創造の循環を 繰り返しながら、常に新しいネットワークのあり方に挑戦し続けます。
13. 13 Copyright © Interop Tokyo 2016 ShowNet NOC Team 注目カテゴリとキーワード ShowNet 2016の取り組み 注目カテゴリ 主な取り組み ネットワーク BGP FlowSpecとRPKIによるルーティングセキュリティ EVPN/MPLS 相互接続検証 仮想ルートリフレクタの実網展開 総100Gバックボーン QSFP/QSFP28 SFP/SFP28 マルチレートインターフェース クラウド・サーバ EVPN/VXLAN 相互接続検証 マルチリージョンOpenStack IoTを融合したマルチクラウドファブリック ハイパーコンバージド筐体を用いたサービスのラピッドデプロイメント Hadoopエコシステムを用いたデータ解析 SDN/NFV BGP FlowspecとOpenFlowによるトラフィック制御 高速パケットI/O技術を用いた仮想ネットワーク 広がるSouthbound API セキュリティ ベンダを越えた攻撃検知・防御装置の連携 セキュリティ検査によるネットワーク堅牢性の確保 イントラネットにおけるネットワークセキュリティ制御 100Gキャプチャによるネットワークフォレンジック 注目カテゴリ 主な取り組み 運用監視 モニタリングツールのInteroperability API/クラウドを用いた通知連携 データセンタ ファシリティ 高密度化対応 環境監視 ワイヤレス セキュリティ連携:セキュアな無線 無線LAN空間デザインの自由度向上(スタジアムAP/LCX) 測定・検証 PTP (Precision Time Protocol) 25G/50G Ethernet Southbound API EVPN STM Program 大規模ネットワーク構築を通して、次代のエンジニアを育成
14. 14 Copyright © Interop Tokyo 2016 ShowNet NOC Team ネットワークの規模 ShowNet 2016の取り組み • コントリビューション総額 ：￥7,415,427,546 • 日本初/世界初製品 ：7製品 • 参加企業数 ：91社 • 動員数（のべ） ：396名 • NOCチームメンバー ：27名 • NOCチームアドバイザリーメンバー ：18名 • STM/CTM ：43名 • コントリビュータ ：308名 • NOCラックの電源総使用量： • 100V:135.0kw 200V:85.0kw • UTP利用線長総計：約30.0km
15. 15 Copyright © Interop Tokyo 2016 ShowNet NOC Team トポロジー図 ShowNet 2016の取り組み
16. Copyright © Interop Tokyo 2016 ShowNet NOC Team 対外接続(エクスターナル)
17. 17 Copyright © Interop Tokyo 2016 ShowNet NOC Team ShowNet 2016の対外接続 エクスターナル 17 合計411Gbpsの帯域で接続 海外ASとの直接ピア 大手町と100G回線で接続することで8K映像非 圧縮伝送実験を実施することができました Equinix TY4およびComSpace1を対外接続回 線の終端場所として新たにコントリビューション 頂きました 海外接続を持つIX（Any2 LA、Smart IX）に接 続することにより、シンガポール、香港、ロサンゼ ルスに接続拠点を持つASと直接ピアを実施する ことができました
18. 18 Copyright © Interop Tokyo 2016 ShowNet NOC Team 対外接続回線・トランジットの提供 エクスターナル 18 AS番号 会社・組織名 サービス名 2516 KDDI株式会社 KDDIインターネットゲートウェイ 9370 さくらインターネット株式会社 IPトランジット 17676 BBIX株式会社 ソフトバンク ULTINA Internet 4713 NTTコミュニケーションズ株式会社 OCN 2914 NTTコミュニケーションズ株式会社 Global IP Network 2497 株式会社インターネットイニシアティブ インターネット接続サービス 会社・組織名 サービス名 帯域 アルテリア・ネットワークス株式会社 ダイナイーサ 100Gbps 100Gbps アルテリア・ネットワークス株式会社 ダイナイーサ 10Gbps x10 100Gbps NTTコミュニケーションズ株式会社 Arcstar Universal One イーサネット専用線 フレキシブルイーサ 10Gbps NTTコミュニケーションズ株式会社 Global IP Network 100Gbps NTTコミュニケーションズ株式会社 Arcstar Universal One L3 ギャランティ 1Gbps BBIX株式会社 IXコネクトサービス (100G) 100Gbps
19. 19 Copyright © Interop Tokyo 2016 ShowNet NOC Team IX・クラウド・MVNO・閉域網接続の提供 エクスターナル 19 会社・組織名 サービス名 ビットアイル・エクイニクス株式会社 Equinix Cloud Exchange 株式会社ブロードバンドタワー dc.connect NTTコミュニケーションズ株式会社 Arcstar Universal One モバイル 株式会社インターネットイニシアティブ Japan Travel SIM IX名 会社・組織名 サービス名 JPIX 日本インターネットエクスチェンジ株式会社 IXポートサービス BBIX BBIX株式会社 IXコネクトサービス Smart IX BBIX株式会社 Smart IX サービス Any2 LA BBIX株式会社 US 延伸オプション with CoreSite Any2 Exhange JPNAP インターネットマルチフィード株式会社 JPNAP東京Ⅰサービス DIX-IE WIDE Project DIX-IE NSPIXP-23 WIDE Project NSPIXP-23 EIE ビットアイル・エクイニクス株式会社 Equinix Internet Exchange PIX-IE WIDE/NECOMA Project PIX-IE
20. 20 Copyright © Interop Tokyo 2016 ShowNet NOC Team RPKIによるルーティングセキュリティ エクスターナル インターネット BGP経路に対するOrigin ASバリデーションを行って 不正な経路宛にトラフィックが流れないようにしました RPKI (Resource PKI)で経路の バリデーションを行っています 他組織の保有するIPアドレスを不正に広告し トラフィックを吸い込む Mis-Origination、 通称「経路ハイジャック」 ShowNet AS290 正当な AS 悪意ある AS 正当な 経路広告 不正な 経路広告 今年からは実験ではなく 基本の機能として導入しました 20
21. 21 Copyright © Interop Tokyo 2016 ShowNet NOC Team ピアリングポータル エクスターナル 21 皆様からのピアのリクエストをポータルサイトで受け付けて 自動でピアの設定を投入してピアを上げました
22. Copyright © Interop Tokyo 2016 ShowNet NOC Team L2/L3 バックボーン
23. 23 Copyright © Interop Tokyo 2016 ShowNet NOC Team 総100Gバックボーン バックボーン 23 • 100G 対外接続 • 100G データセンター • 100G CGN • 100G WDM伝送 • 100G メディアコンバータ • 100G DDoS Mitigation • 100G トラフィックテスタ インターネット経由の8K非圧縮映像 30Gbpsの伝送実験を実施いたしました 対外接続からアグリゲーションルータまでを総100Gで構築
24. 24 Copyright © Interop Tokyo 2016 ShowNet NOC Team 仮想ルートリフレクタ バックボーン x86サーバで動作する仮想ルータアプライアンスを BGPルートリフレクタとして活用しました iBGPで対外接続ルータの４台とピアを張りルートリフレクタとして動作させました Juniper vMX Cisco IOS XRv 9000 IP Infusion VirNOS トラフィックのフィルタやセキュリティ機器への転送を行うためのBGP Flowspecの経路注入 にも利用しました 24
25. 25 Copyright © Interop Tokyo 2016 ShowNet NOC Team EVPN/MPLS, EVPN/VXLAN バックボーン 25 MPLSバックボーン上でL2接続性を提供するEVPN/MPLSの 相互接続実証実験を行いました L2セグメントの延伸 また、東西DC内部のEVPN/VXLANと相互接続することで DCテナント間のL2接続性を提供しました
26. 26 Copyright © Interop Tokyo 2016 ShowNet NOC Team BGP Flowspecによるトラフィックフィルタ バックボーン 26 対外接続ルータ インターネット インターネットからやってくる様々な攻撃をフィルタして ShowNetのネットワーク機器を守りました ルートリフレクタ 総当りログイン などの攻撃 フィルタの経路を RRからBGPで広告 フィルタをルートリフレクタで集中管理し 対外接続ルータにBGP Flowspecで広告 することで攻撃トラフィックを遮断 総当りログインやSNMPスキャンなどの攻撃… 今年からは実験ではなく 基本の機能として導入しました
27. 27 Copyright © Interop Tokyo 2016 ShowNet NOC Team 100G CGN バックボーン 27 プライベートIPv4アドレスを利用する出展社の接続を NATするために２つのCGN実装を活用しました 左系・右系それぞれで別の実装を採用いたしました アップリンクとダウンリンクを分けて接続しました
28. 28 Copyright © Interop Tokyo 2016 ShowNet NOC Team 出展社・サービス・会議棟・Life収容L3 出展社収容 28 ２台１組で合体可能なルータ及びVRRPで冗長可能なルータを 各島の10G収容ルータとして活用いたしました
29. 29 Copyright © Interop Tokyo 2016 ShowNet NOC Team 出展社収容L2 出展社収容 29 ４台１組で合体可能な多ポートL2スイッチを出展社収容の L2スイッチとして活用いたしました ホール４・ホール７：Juniper EX3300 ホール５・ホール６：DELL S3048
30. 30 Copyright © Interop Tokyo 2016 ShowNet NOC Team ShowNetを支えるBOX-SW BOX型スイッチ 30 マネージメントネットワーク 会議棟 生活ネットワーク プレスルーム パビリオン収容 無線収容 POD収容 ・ ・ ・ 各技術収容
31. 31 Copyright © Interop Tokyo 2016 ShowNet NOC Team ご提供台数一覧 BOX型スイッチ 31 アラクサラネットワークス 11台 シスコシステムズ 45台 コネクションテクノロジーシステムズ 2台 デル 13台 大電 2台 FXC 8台 華為技術日本 10台 ジュニパーネットワークス 4台 NEC 30台 計 125台
32. 32 Copyright © Interop Tokyo 2016 ShowNet NOC Team ShowNetには必要不可欠 BOX型スイッチ 多くのコントリビューションを頂きました。 皆様にご提供頂き、無事にShowNet構築と安定運用 が実現できました。 誠にありがとうございました。 来年もよろしくお願いいたします！！ 32
33. 33 Copyright © Interop Tokyo 2016 ShowNet NOC Team ご協力企業様 L2L3 バックボーン 33
34. Copyright © Interop Tokyo 2016 ShowNet NOC Team SDN/NFV
35. 35 Copyright © Interop Tokyo 2016 ShowNet NOC Team ShowNetにおけるSDN/NFV SDN/NFV • 過去4年間かけて様々なチャレンジを実施 • 2012年: OpenFlowの検証とデモンストレーション • 2013年: OpenFlowと仮想ルータを実運用で利用 • 2014年: 仮想ルータによるサービスチェインと自動化 • 2015年: スケールアウトできるNFVの構築 35 SDN/NFVにおける各要素技術について検証を実施 • 柔軟なトラフィック制御手法、ソフトウェアルータ、そして性能
36. 36 Copyright © Interop Tokyo 2016 ShowNet NOC Team 2016年のフォーカス SDN/NFV • SDNとバックボーンネットワーク技術の融合 • ネットワーク全体をSDNで構築するのは正直難しい • どうやってバックボーンとNFV網を適切に接続するか？ • そして、Network Functionの進化 • ソフトウェアパケット転送の高速化と高度化 36 ShowNet Backbone SDN/NFV Network どうやって繋ぎ、 制御するか？
37. 37 Copyright © Interop Tokyo 2016 ShowNet NOC Team • BGP Flowspecで”乗り換え”、OpenFlowで”連結” • バックボーン上で、BGP Flowspecを用いて 狙ったユーザのトラフィックをNFV網へ乗り換える • Data Center内に構築されたNFV網 では、OpenFlowでよりきめ 細かなFunctionの連結を行う NFV網内は OpenFlowで制御 BGP Flowspecで NFV網へ乗り換え SDN/NFV@ShowNet 2016 SDN/NFV 37
38. 38 Copyright © Interop Tokyo 2016 ShowNet NOC Team BGP Flow Specification SDN/NFV • BGPでフィルタールールを伝搬する技術 • RFC5575で規定。ActionのうちVRF Redirectを利用 • VRFを使って別面として作成したNFV網ネットワークに、狙った ユーザトラフィックをリダイレクト(乗り換え) 38 NFV Network Data Center (West) vMX(仮想RR) ASR9006 VRFによる 仮想スライス BGP Flowspec: 狙ったIPアドレスをマッ チして仮想面へ乗り換 えるよう経路広告 仮想面の VRF(290:510)へ 該当トラフィック をリダイレクト
39. 39 Copyright © Interop Tokyo 2016 ShowNet NOC Team PF5248 PF5248 V350 OpenFlowによるサービスチェイン SDN/NFV • DC内はOpenFlowでより細かいチェインを構築 39 • Flowspecでネットワークを乗り換え、 DC内ではOpenFlowで制御 • OpenFlow Switch • NEC: PF5248, FXC: V350 • Network Function • A10 Network Thunder 5435CFW: Firewall Thunder 6435TPS : DDoS Mitigator • Cisco Systems Firepower 9300 : Firewall Firepower 4120 : DDoS Mitigator • IP Infusion VirNOS : ACL base Firewall and Lagopus Lagopus NFV Network Thunder 5435CFW Thunder 6435TPS Firepower 4120 Firepower 9300 VirNOS VirNOS NetFPGA-SUME
40. 40 Copyright © Interop Tokyo 2016 ShowNet NOC Team ユーザごとにチェインを制御 SDN/NFV • Flowspecで曲げ、 OpenFlowでつなげる • Rest APIで経路操作 • 瞬時にチェインを切り替え 40 http://172.16.x.x/install/45.0.y.y/24/tps-fp9 curl, wget, httpie etc Controller
41. 41 Copyright © Interop Tokyo 2016 ShowNet NOC Team トラフィック制御の適材適所 SDN/NFV • BGP Flowspecで”乗り換え”、OpenFlowで”連結” • BGPというバックボーンにおけるトラフィック制御を取 り入れることで、SDNに特化した機器を入れることなく 狙ったトラフィックを誘導 • DC内でのみOpenFlowを使った 細かいチェインの制御を行う 41 NFV網、 OpenFlow制御 BGP Flowspecで DCへ乗り換え
42. 42 Copyright © Interop Tokyo 2016 ShowNet NOC Team ソフトウェアパケット転送技術の進化 SDN/NFV • 高速パケットI/O技術を用いたソフトウェア • Intel DPDKに代表される、Poll Mode Driver、パケッ トのバッチ処理、そしてカーネルバイパス • DPDKを使った高速な仮想スイッチと仮想ルータの登場 • VirNOS: 仮想ルータ • Lagopus: 仮想OpenFlowスイッチ 42
43. 43 Copyright © Interop Tokyo 2016 ShowNet NOC Team Lagopus and VirNOS SDN/NFV • HV上の複数のVirNOSへ、Lagopusで転送 • DPDKなVMと仮想スイッチ間で”vhost-user”を利用 HV側の仮想スイッチと、VM側のドライバが、shared memoryを 介してパケットのやり取りを行う → 現状最速(?)のHV/VM間通信 43 HV Lagopus Lagopus Virtio Vhost-user (Kernelバイパス) HV NIC Shared Memory VM vNIC Shared Memory
44. 44 Copyright © Interop Tokyo 2016 ShowNet NOC Team ソフトウェアパケット転送における考慮点 SDN/NFV • コンピュータアーキテクチャへの理解が必要 • プロセスやワーカーのCPUへの割り付け方 • NICが接続されたCPUとVMが動作するCPU • これらがパケット転送性能に大きく影響する 44 core core core core core core core core Lagopus core core core core core core core core VirNOS x8 socket 0 socket 1 core core core core core core core core core core core core core core core core Memory socket 0 socket 1 Memory Memory Memory VirNOS x8 Lagopus
45. 45 Copyright © Interop Tokyo 2016 ShowNet NOC Team Programmable Hardwareの利用 SDN/NFV • さらなる未来: OpenFlowの次は？ • OpenFlowはマッチと書き換え。計算はできない • 5-tupleを全てマッチすると、32+32+16+16 = 2の96乗通り • 新しいプロトコルヘッダにはなかなか対応できない • →ハードウェアの挙動さえプログラミングしたい！ • NetFPGA-SUMEを使ったデモンストレーション 45 HV Lagopus Lagopus ② 埋め込まれた ハッシュ値をもとに 転送に使うVMへ OpenFlowで転送 ① Src/Dst IPから ハッシュ値を計算、 Src MACの下位8bitに 埋め込む Uplink Downlink Src/Dst IPを分散に使いつつ、 OpenFlowでマッチするのは8bit分のみ
46. 46 Copyright © Interop Tokyo 2016 ShowNet NOC Team SDN/NFV@ShowNet SDN/NFV • 適材適所なフロー制御技術の活用 • “ネットワークの全てをSDNで”はやはりハードルが高い ➢バックボーンはBGP Flowspecで、 ➢データセンター内はOpenFlowで • ソフトウェアによるパケット処理の進化 • 10Gbpsは出せる。25Gbps,40Gbpsと高速化にも期待 • ただし、真剣に使うには、プログラミングだけでなく、 コンピュータアーキテクチャに立ち返る必要がある 46
47. Copyright © Interop Tokyo 2016 ShowNet NOC Team EVPN相互接続検証
48. 48 Copyright © Interop Tokyo 2016 ShowNet NOC Team データセンターを取り巻く環境 EVPN相互接続検証 • 複数のクラウドやデータセンターを跨がってサービスを展 開するユーザの増加 - BCP対策 - アプリ配信に係るコストやロケーションの最適化 • サイト間閉域網の延伸要求 - セキュリティに対する考慮 - 管理運用上の利点 48 Overlay VXLAN Tunnel Overlay(VXLAN)技術の導入が進む
49. 49 Copyright © Interop Tokyo 2016 ShowNet NOC Team VXLAN導入に対する課題 EVPN相互接続検証 49 • VXLANはあくまでデータプレーン • 単体ではサービス提供に不可欠な機能が不足 • 宛先学習機構(フラッドアンドラーニング方式からの 脱却) • 冗長機構(高可用性設計が必須) 懸念点 管理制御機構(コントロールプレーンの必要性) EVPN(Ethernet VPN)との連携を検証
50. 50 Copyright © Interop Tokyo 2016 ShowNet NOC Team 検証コンセプト EVPN相互接続検証 • マルチベンタ間でEVPN相互接続検証を実施 • データプレーンは異なるカプセル化技術を適用 • データプレーン間を”スティッチング(縫い合わせ)”し, 更 なる閉域網延伸を試みる検証を実施 50 VXLAN VXLAN MPLS EVPN --- Stitching --- --- Stitching ---
51. 51 Copyright © Interop Tokyo 2016 ShowNet NOC Team 検証トポロジー EVPN相互接続検証 51 MP-eBGP EVPN MP-iBGP EVPN vmx xrv AS65000 AS290 AS65001 eBGP multihop iBGP full-mesh Route Reflector
52. 52 Copyright © Interop Tokyo 2016 ShowNet NOC Team 実施検証項目 EVPN相互接続検証 52 STEP 内容 1 AS290 MPLS LSP 2 AS65001 iBGP VXLAN 3 AS65000 iBGP VXLAN 4 AS290 iBGP MPLS 5 AS290 マルチホーミング 6 AS290 RR併用 7 Stitching(AS290+AS65001) 8 Stitching(AS290+AS65000) 9 AS65000 マルチホーミング
53. 53 Copyright © Interop Tokyo 2016 ShowNet NOC Team 検証参加装置 EVPN相互接続検証 53 EVPN/VXLAN EVPN/MPLS Stitching Cisco ASR9006 Furukawa FX1 Juniper MX240 EVPN/MPLS Huawei NE40E EVPN/VXLAN Cisco Nexus 9504 Cisco Nexus 9272Q Cisco Nexus 92160YC-X Furukawa FX1 Huawei CE8860 Huawei CE6851 Juniper QFX5100
54. 54 Copyright © Interop Tokyo 2016 ShowNet NOC Team 検証結果サマリ EVPN相互接続検証 • 実施した検証項目においては, 概ね想定する動作確認結果 を得られた • 現時点では, 各装置によってサポートするサービスイン ターフェースタイプにバリエーションがあるため, サービ ス設計時には注意を要すると考えられる • 本検証で用いたサービスインターフェースタイプ - VLAN-Based - VLAN-Aware Bundle • マルチホーミング他、EVPNには商用サービスにおいては 必要不可欠な機能が多種定義されているため, 今後もサ ポート動向に注目していきたい 54
55. 55 Copyright © Interop Tokyo 2016 ShowNet NOC Team ご協力企業様 EVPN相互接続検証 55
56. 56 Copyright © Interop Tokyo 2016 ShowNet NOC Team 検証を支えてくれたツール EVPN相互接続検証 • OpenFlowスイッチ配下のHypervisorに、EVPNの仮想CE(Customer Edge) として、複数VMを作成 • CEとPE(Provider Edge)間のパスをSDNで柔軟に制御 56 Jobcenter
57. Copyright © Interop Tokyo 2016 ShowNet NOC Team クラウド・データセンター
58. 58 Copyright © Interop Tokyo 2016 ShowNet NOC Team サーバーセグメント
59. 59 Copyright © Interop Tokyo 2016 ShowNet NOC Team 今年のサーバーセグメント サーバーセグメント 59 .dcwest .dceast .service ハイパーコンバージド インフラ OpenStack (KVM) OpenStack (ESXi)
60. 60 Copyright © Interop Tokyo 2016 ShowNet NOC Team 3つのサーバーセグメント サーバーセグメント • .server:ハイパーコンバージドインフラ • DNS、DHCP等のShowNetを支えるサービス • セキュリティ、モニタリング等の仮想アプライアンス • .dceast: OpenStack • VIO, ESXi, NSX • .dcwest: OpenStack • RHOSP, KVM, OVS • 総VM数: 189 マルチリージョン構成 60
61. 61 Copyright © Interop Tokyo 2016 ShowNet NOC Team ハイパーコンバージドインフラ サーバーセグメント • CPU、ストレージリソースをセットで提供 • 仮想化基盤を素早く構築 • モニタリング等のサービスのホットステージ初期からの 稼働に貢献 • コントリビューション • Dell XC630 • Lenovo HX3500 • VMware vSphere 61
62. 62 Copyright © Interop Tokyo 2016 ShowNet NOC Team マルチリージョンOpenStack サーバーセグメント • DCごとにOpenStackのリージョンを構成 • DC East Region • VMware Integrated OpenStack • vSphere ESXi, NSX • DC West Region • Red Hat OpenStack Platform • KVM, OVS • Keystone、Horizonは共通 62 DC East DC West Keystone Horizon API Endpoint API Endpoint
63. 63 Copyright © Interop Tokyo 2016 ShowNet NOC Team ShowNetを支えるサーバー サーバーセグメント • Dell • PowerEdge c6320, c6220II • PowerEdge R720, R630 • FX2/FC830, FX2/FC430 • NEC • Express5800/R120e-1E • Cisco • UCS B200M3, B200M4 63
64. 64 Copyright © Interop Tokyo 2016 ShowNet NOC Team 様々なストレージを活用 (1) サーバーセグメント • iSCSIストレージ • Dell Storage SC9000, EqualLogic PS6210XC • NAS • QNAP TVS-EC1580MU-SAS-RP, TVS-EC1680U- SAS-RP • NVMeストレージ • Toshiba NVMe SSD PX04P • AIC, 2.5inch SFF 64
65. 65 Copyright © Interop Tokyo 2016 ShowNet NOC Team NVMe 性能 サーバーセグメント • Toshiba NVMe SSD PX04P • fio にてブロックサイズを変えてのランダムRead/Write (ioDepth=32, 1001msec) 65 Read (bs1k) Write (bs1k) Read (bs4k) Write (bs4k) Read (bs16k) Write (bs16k) Read (bs32k) Write (bs32k) IO 2191.9 MB 1445.7 MB 8705.8 MB 7670.5 MB 22236 MB 18071 MB 27206 MB 17170 MB IOPS 224344 148017 222845 196343 142295 115643 87048 54938 Min 224344 KB/s 148017 KB/s 891382 KB/s 785375 KB/s 2223.4 MB/s 1806.1 MB/s 2720.3 MB/s 1716.9 MB/s Max 224344 KB/s 148017 KB/s 891382 KB/s 785375 KB/s 2223.4 MB/s 1806.1 MB/s 2720.3 MB/s 1716.9 MB/s
66. 66 Copyright © Interop Tokyo 2016 ShowNet NOC Team 様々なストレージを活用 (2) サーバーセグメント • ストレージ型サーバー • Dell DSS1500, 1510, 2500, 7500 • 仮想基盤から 大容量zfs検証 (DSS7500) 迄 幅広く使用 66 • RAIDz2 + ZIL (Toshiba PX04P) via NFS • Read (without ZIL) • Seq: maxb=2197.5MB/s (maxb=1309.5MB/s) • Rnd: maxb=1748.1MB/s (maxb=376019KB/s) • Write (without ZIL) • Seq: maxb=582380KB/s (maxb=324580KB/s) • Rnd: maxb= 92145KB/s (maxb=66287KB/s)
67. 67 Copyright © Interop Tokyo 2016 ShowNet NOC Team サーバーセグメント • QNAP • TVS-EC1580MU-SAS-RP • TVS-EC1680U-SAS-RP • Toshiba • NVMe SSD PX04P • BroadbandTower • Scality 67 会期中の終了後２週間のデータを保持して頂きました。 様々なストレージを活用 (3)
68. 68 Copyright © Interop Tokyo 2016 ShowNet NOC Team サーバ基盤を支えるネットワーク サーバーセグメント イベントネットワークに求められる構築の平易さと効率的な運用管理を訴求 UCS5108 UCS6248UP AS5712 AS5712 AS6712 UCS 統合管理 OpenFlow Fabric 構築・運用管理の簡素化 ax8308s ip88s86 AS6712 PF5340 PF5340 PF5340qp PF5340qp PF6800 UNC Big Cloud Fabric NEC PF Fabric Pluribus on S4048-ON トラフィックの可視化 運用支援 68
69. 69 Copyright © Interop Tokyo 2016 ShowNet NOC Team マルチレートインターフェース サーバーセグメント 次世代規格 QSFP28/SFP28 の相互接続検証を実施 サーバ側NICにあわせて、 柔軟な速度選択が可能 100G 25G 40G 10G 1G 規格 型番 2016年収容実績 QSFP28 Cisco Nexus 3232C 100G/40G/10G Dell Z9100-ON 100G/40G/10G Huawei CE8860 100G Juniper QFX5200 100G/40G Mellanox SN2700 100G/40G SFP28 Cisco Nexus 92160 25G/10G/1G Huawei CE8860 25G/10G/1G 69
70. 70 Copyright © Interop Tokyo 2016 ShowNet NOC Team 次世代NIC サーバーセグメント • 100G • Mellanox ConnectX-4 • QLogic QL45611H • 40G • Mellanox ConnectX-3 Pro 70 • 25G • ConnectX-4 Lx • QL45212H • 10G • QLE8442-SR
71. 71 Copyright © Interop Tokyo 2016 ShowNet NOC Team 25GbE (SFP28) テスト サーバーセグメント • 25GbE 速度テスト • QLogic QL45212H 折り返しテスト 71 Params: count 10000000 min_pkt_size: 1500 max_pkt_size: 1500 Result: OK: 12699588(c12694194+d5394) usec, 10000000 (1500byte,0frags) 787427pps 9449Mb/sec (9449124000bps) errors: 0 Params: count 10000000 min_pkt_size: 9000 max_pkt_size: 9000 Result: OK: 28799524 (c28771475+d28048) usec, 10000000 (9000byte,0frags) 347227pps 25000Mb/sec (25000344000bps) errors: 0
72. 72 Copyright © Interop Tokyo 2016 ShowNet NOC Team 25GbE (SFP28) テスト サーバーセグメント • 25GbE 相互接続 • Huawei ce8860 と Ubuntu14.04 (QL45212H) 接続 • Finsar SFP28 25GBase-SR • Speed 25000000 手動リンクアップ • Cisco nx92k と Ubuntu14.04 (ConnectX4-LX) 接続 • Cisco SFP28 DAC/Finsar SFP28 25GBase-SR • オートネゴシエーションによりリンクアップ 72
73. 73 Copyright © Interop Tokyo 2016 ShowNet NOC Team 100GbE (QSFP28) テスト サーバーセグメント • 100GbE 接続テスト • Juniper QFX5200 • VMware vSphere (Mellanox ConnectX4 認識) • Mellanox SX2700 • Ubuntu 14.04 (Mellanox ConnectX4 認識) • QLogic QL45611H • Redhat Enterprise 7, Ubuntu14.04 (QL45611H認識) 73
74. 74 Copyright © Interop Tokyo 2016 ShowNet NOC Team 100GbE (QSFP28) テスト サーバーセグメント • 100GbE シンプルな速度テスト • QLogic QL45611H 間テスト 74 qlogic 100g - 100g mtu1500 [ ID] Interval Transfer Bandwidth Retr [ 4] 0.00-10.00 sec 25.3 GBytes 21.7 Gbits/sec 0 sender [ 4] 0.00-10.00 sec 25.3 GBytes 21.7 Gbits/sec receiver qlogic 100g - 100g mtu9000 [ ID] Interval Transfer Bandwidth Retr [ 4] 0.00-10.00 sec 32.2 GBytes 27.7 Gbits/sec 0 sender [ 4] 0.00-10.00 sec 32.2 GBytes 27.7 Gbits/sec receiver
75. 75 Copyright © Interop Tokyo 2016 ShowNet NOC Team 運用監視 サーバーセグメント • ハイパーバイザーの運用監視 • VMware vRealize Operations Manager • 東陽テクニカ Uila • 仮想出展社としてネットワーク疎通性確認 • Plat’Home OpenBlocks AX3 75
76. 76 Copyright © Interop Tokyo 2016 ShowNet NOC Team マルチクラウドファブリック
77. 77 Copyright © Interop Tokyo 2016 ShowNet NOC Team Multi Cloud Fabricコンセプト マルチクラウド 77
78. 78 Copyright © Interop Tokyo 2016 ShowNet NOC Team 2016年マルチクラウド構成 マルチクラウド さくらのクラウド IDCFクラウド DATAHOTEL NIFTY Cloud BBIX Private Connect Equinix Cloud Exchange 幕張ShowNet Arcstar Universal One モバイル dc.connect BroadBand Tower 5社の商用クラウド、3社のCloud Exchange、2社のMVNOに参加いただきました さくらの IoT Platform 78
79. 79 Copyright © Interop Tokyo 2016 ShowNet NOC Team マルチクラウドロードバランシング マルチクラウド 各社クラウド 各社クラウド Multi Cloud Fabric (閉域網) ロードバランサ インターネット www.interop.jp GSLB スケーリング オーケストレーション InteropのWebサイトへのアクセスをShowNetから 閉域網経由で各クラウドに負荷分散しました KEMP LoadMaster VLM SEIKO Netwiser VE KEMP LoadMaster 4000 79
80. 80 Copyright © Interop Tokyo 2016 ShowNet NOC Team マルチクラウドロードバランシング マルチクラウド マルチクラウドから 配信したトラフィック 3日間で約640万リクエスト 80
81. 81 Copyright © Interop Tokyo 2016 ShowNet NOC Team EVPN/VXLAN, VNIルーティングの活用 マルチクラウド EVPN/VXLAN VNIルーティング 81
82. 82 Copyright © Interop Tokyo 2016 ShowNet NOC Team ご協力企業様 クラウド・データセンター 82
83. Copyright © Interop Tokyo 2016 ShowNet NOC Team モニタリング
84. 84 Copyright © Interop Tokyo 2016 ShowNet NOC Team ShowNetにおける監視要件
85. 85 Copyright © Interop Tokyo 2016 ShowNet NOC Team ShowNetにおける監視要件 モニタリング • 構築期間初期～構築期間終了まで • ラックの温度監視、ネットワーク/サーバ機器の異常検 知、syslog監視、snmpによる機器情報のポーリング • 展示会期前 • ネットワーク/サーバ機器のエラー処理対応、安定稼働、 異常なログからの設定ミスなどの洗い出し • 展示会期間 • 出展者ネットワークのトラブル対応、外部からの攻撃検 知、ShowNetの安定運用 85
86. 86 Copyright © Interop Tokyo 2016 ShowNet NOC Team 通常のシステム動作環境との大きな差異 モニタリング • 大量のログやアラート • 構築時からのログやアラートを受ける • 適切なフィルタと高速な検索エンジンが必要 • 求められるツールが構築が進むにつれ異なる • 1つのツールで全ての監視範囲を賄うのは無理 • 広範囲で発生する事象に対し、多くのツールで対応 • 監視項目量の数 • 機器が出力するログやアラートは膨大 • 共通項目がほとんど無い場合が多い 86
87. 87 Copyright © Interop Tokyo 2016 ShowNet NOC Team ShowNetを監視するツール群
88. 88 Copyright © Interop Tokyo 2016 ShowNet NOC Team ShowNetを監視するツール群 モニタリング 統合監視 syslog監視 Hypervisor監視 xFlow監視 温湿度監視 ネットワーク品質監視 ビックデータ解析基盤 アラート通知/管理 設定管理 ネットワーク監視 88
89. 89 Copyright © Interop Tokyo 2016 ShowNet NOC Team モニタリングツールのInteroperabilityの実現 と API/クラウドを用いた通知連携
90. 90 Copyright © Interop Tokyo 2016 ShowNet NOC Team 複数システムの連携 モニタリング • 各システムが得意な個別監視をメインに扱う • snmp polling, trap handling, syslog, etc • 統合監視システムを中心に処理を統合 • トラップを中心的に受け、通知を統合する • Polling系システムとVisualizerの統合 • システムの違った見せ方への可能性模索 90
91. 91 Copyright © Interop Tokyo 2016 ShowNet NOC Team モニタリングシステム群のInteroperability モニタリング 監視対象 監視対象 監視対象 監視対象 監視対象 ポーリング ポーリング トラップ トラップ通知 連携 データ連携 アラート通知連携 アラート 通知連携 syslog トラップ通知 連携 データ連携 91
92. 92 Copyright © Interop Tokyo 2016 ShowNet NOC Team ShowNet外部システムとの通知連携 モニタリング • コミュニケーションツールとの融合 • Slackへの通知 • クラウドサービスとの連携 • アラート通知に電話/SMSの利用 • 全てのアラートをクラウドへ集約 • クラウドで提供されるWebUIでのアラート一括管理 92
93. 93 Copyright © Interop Tokyo 2016 ShowNet NOC Team API/クラウドを用いた通知連携 モニタリング アラート アラート アラート 電話 メール/SMS WebUI チャットツール API クラウド環境 アラート API API 93
94. 94 Copyright © Interop Tokyo 2016 ShowNet NOC Team ShowNet 2016 モニタリングデータ量
95. 95 Copyright © Interop Tokyo 2016 ShowNet NOC Team syslog, snmptrap モニタリング • 総量 • syslog: 43,562,408行(13GB) <-mgmtログのみ • snmptrap: 4,147,926行(1.4GB) 1日毎のsyslog総量集計 1時間毎のsyslog総量集計 95
96. 96 Copyright © Interop Tokyo 2016 ShowNet NOC Team 1時間毎のsyslog集計 モニタリング 突発的なログの急増 96
97. 97 Copyright © Interop Tokyo 2016 ShowNet NOC Team ShowNet 2017へ向けて
98. 98 Copyright © Interop Tokyo 2016 ShowNet NOC Team ShowNet 2016の運用フロー実績例 モニタリング • モニタリングチームでの監視 • 温度、xFlow、syslog • 各チームへのエスカレーション • 温度 -> ファシリティ、xFlow/syslog -> L2/L3/Security • 各チーム/コントリビュータ様の対応 • 情報分析、トラブルシュート、セキュリティ対応 98
99. 99 Copyright © Interop Tokyo 2016 ShowNet NOC Team 2017年への課題 モニタリング • 突発的なログの急増に関する検知システムの構築 • 正常、異常を切り分けるにせよ気づきが重要 • 受動的な監視からプロアクティブな監視へ • 今年以上に能動的な監視フローの構築 • セキュリティチームなど他のチームとの連携強化 • 明確なエスカレーションフローの定義 99
100. 100 Copyright © Interop Tokyo 2016 ShowNet NOC Team ご協力企業様 モニタリング 100
101. Copyright © Interop Tokyo 2016 ShowNet NOC Team PTP (Precision Time Protocol)
102. 102 Copyright © Interop Tokyo 2016 ShowNet NOC Team PTP Challenge Phase2 PTP Interoperability
103. 103 Copyright © Interop Tokyo 2016 ShowNet NOC Team ShowNet2015(昨年) の結果より PTP Challenge Phase2 複数の問題が発生。マルチベンダー環境は道半ば・・・。 34% 33% 33% プロトコル相互接続OK／G.8272精度OK プロトコル相互接続OK／G.8272精度NG プロトコル相互接続NG 0% 22% 45% 22% 0% 11% OK（IPv4／UC） OK（IPv4／MC） OK（Ether／MC） NG（IPv4／UC） NG（IPv4／MC） NG（Ether／MC） Default Profileの試験結果 Telecom Profileの試験結果 発表資料 OK NG UC : Unicast , MC : Multicast 103
104. 104 Copyright © Interop Tokyo 2016 ShowNet NOC Team コンセプト PTP Challenge Phase2 • (1) 相互接続実験 (Interoperability Test)の目線 • (Step1) PTP動作確認・精度計測 • Grandmaster Clock (GM) 配下のBoundary Clock (BC) を複数多段にした構成の 動作確認 • BC 多段構成で、疑似Slaveがどこまで高精度に絶対時刻同期できるかを確認 • (Step2) 冗長動作確認 (Default Profile) • GM を複数台・マルチベンダー環境での冗長動作を確認 • (2) ShowNet サービスネットワーク利用目線 • PTP対応機器をグローバルIPネットワーク環境下で動作検証を行う • 目的：実運用環境に近い構成で、どこまで同期精度が維持できるかを確認 104
105. 105 Copyright © Interop Tokyo 2016 ShowNet NOC Team PTP計測結果項目の定義 Concept (1) 相互接続実験の目線 T1 : Syncの送信タイム（対向ポートクロックで取得） t2 : Syncの受信タイム（擬似Slaveクロックで取得） t3 : Delay_reqの送信タイム（擬似Slaveクロックで取得） T4 : Delay_reqの受信タイム（対向ポートクロックで取得） GM / 疑似SlaveはGNSSクロックを使用する BC / SlaveはPTPで合わせられたクロックを使用する Sync TE : T1 − t2 (TE: error in time-stamp of Sync Message) Delay_req TE : T4 − t3 (error in time-stamp of Delay_Req Message) 2way TE : (Sync TE + Delay_req TE) / 2 1PPS TE : GPS同期したGMの1PPS信号と擬似Slaveの1PPS信号の誤差 TDEV : タイム偏差（1PPS TEの揺らぎの指標）(Time Deviation) 上記の各TEを総合的に分析すると、クロックのGNSSに 対するズレ状況や揺らぎなどが分かる 擬似Slave 対向ポート 擬似Slave 計測ポート Sync Delay_req Delay_resp (T4転送) T1 t2 t3 T4 105
106. 106 Copyright © Interop Tokyo 2016 ShowNet NOC Team PTP精度計測時の誤差要素 Concept (1) 相互接続実験の目線 • 基準信号の誤差要素 • 最大200ナノ秒の位相差 (Time Error, TE) が生じる可能性あり • 今回の環境では、GM, 疑似Slave の基準としてGPS信号を用いたため、GPS信号 の位相差「±100ナノ秒」の影響を受ける可能性あり • ケーブル長の誤差要素 • 各計測において、ケーブル長に依存した数10ナノ秒のTEが生じる • GPSや1秒間パルス (1PPS) を用いたTE計測で使用する同軸ケーブル、光ファイ バーケーブル、UTPケーブルでは、一般的に1mで約5ナノ秒の遅延が生じるとさ れる • PTPサポート機器は、概ね、補正機能が搭載されており遅延を相殺することが可 能だが、今回は補正機能を使用せずに試験を行ったため、ケーブル長依存の精度 誤差込みの結果が計測されている 106
107. 107 Copyright © Interop Tokyo 2016 ShowNet NOC Team テストステップ Concept (1) 相互接続実験の目線 • Step1：各Profile毎のシンプルテスト • 1-1：構成）GM – 擬似Slave • 1-2：構成）GM – BC – 擬似Slave • 1-3：構成）GM – BC#1 – BC#2 – 擬似Slave • Step2：GM冗長構成テスト（Default Profile） • 2-1：構成）GM *4 - L2SW – 疑似Slave • 2-2：構成）GM *3 – BC#1 – BC#2 - Slave 107
108. 108 Copyright © Interop Tokyo 2016 ShowNet NOC Team 結果概要 Concept (1) 相互接続実験の目線 Step No. 構成 Test GM 数 Test BC 数 Test Case プロトコル 接続結果OK (%) 精度確認 結果OK (%) 1 PTP動作確認 精度計測 1-1 GM – 擬似Slave 7 - 7 100 100 1-2 GM – BC – 擬似Slave 7 3 11 82 ※1 64 ※2 1-3 GM – BC#1 – BC#2 – 擬似Slave 7 3 7 71 ※3 71 ※4 2 冗長動作確認 2-1 GM *4 - L2SW – 疑似Slave 4 - 4 100 100 2-2 GM *3 – BC#1 – BC#2 - Slave 3 2 3 100 100 ※1：3パターンの構成でNGあり（時間の都合上切り分けできず） ※2：プロトコルNG構成に加えて、1パターンでNGあり（同上） ※3：2パターンの構成でNGあり（同上） ※4：同上 108
109. 109 Copyright © Interop Tokyo 2016 ShowNet NOC Team PTP相互接続における今後の課題 Concept (1) 相互接続実験の目線 • プロトコル相互接続 • HotStage期間では切り分けの時間が足らず・・・ • 各社持ち寄りの再試験を、改めて提案予定 • 精度計測 • 誤差要素の排除 • 基準信号として、GPSではなくシミュレータを利用 • ケーブル誤差を補正した環境で計測 • 負荷環境での計測 • 様々なトラフィックが発生するネットワークで同期精度を計測 109
110. 110 Copyright © Interop Tokyo 2016 ShowNet NOC Team Interop Tokyo 2016 期間中の計測構成 Concept (2) ShowNet サービスネットワーク利用目線 Default Telecom 1000BASE-SX 100BASE-TX 1000BASE-T 10G-LR 1000BASE-LX Sentinel ts-2910-1 TimeProvider 2700 paragon-x ne40e-x2 ne20e-s2f ts-2950 tcg02-g r630-ptp ts-2910-2 （常時計測） ASR920-1 ASR920-2 （常時計測） Grand Master Clock(GM) Boundary Clock(BC) Slave Clock GM & NTP Server 注1： 複数機種コントリビュート頂いたGM, Slaveのうち 会期中は特定の構成で計測している 注2：ShowNet全体からPTP構成のみ抜粋している 110
111. 111 Copyright © Interop Tokyo 2016 ShowNet NOC Team 結果概要 Concept (2) ShowNet サービスネットワーク利用目線 • Default：精度計測結果良好。結果まとめ中 • Telecom：精度結果不調。要再試験 111
112. 112 Copyright © Interop Tokyo 2016 ShowNet NOC Team ご協力企業様 PTP Challenge Phase2 112
113. Copyright © Interop Tokyo 2016 ShowNet NOC Team マネジメント/コンソール
114. 114 Copyright © Interop Tokyo 2016 ShowNet NOC Team ShowNetを支えています マネジメント/コンソール • ShowNetで最初に立ち上がるネットワーク • 全装置にマネジメントとコンソールアクセスを提供 • 2016年は最大約900台が接続 • 最後のライフラインを守る • Unicast-ARP-Requestによる常時監視 • ホワイトリストスイッチの導入 • 装置が接続される全スイッチのミラートラフィックを監査 • 事前学習したMACアドレスとの整合性を検査、不正な接続を検知 Management SW Console Server White List SW 114
115. 115 Copyright © Interop Tokyo 2016 ShowNet NOC Team ネットワーク構成 マネジメント/コンソール Mgmt SW Console Server 115
116. 116 Copyright © Interop Tokyo 2016 ShowNet NOC Team コンソールポート接続数 マネジメント/コンソール 0 50 100 150 200 250 300 350 400 450 500 5/28 5/29 5/30 5/31 6/1 6/2 6/3 6/4 6/5 6/6 6/7 6/8 6/9 6/10 日別 コンソールポート接続数 0 50 100 150 200 250 300 NOC#01 NOC#02-03 NOC#04 NOC#05 NOC#06 NOC#07 NOC#08 NOC#09 NOC#10 NOC#11 NOC#12 NOC#13 NOC#14 NOC#15 NOC#16-17 NOC#18 NOC#19 NOC#20 Pod#04 Pod#05-1 Pod#05-2 Pod#SDI Pod#06 Pod#07-1 Pod#07-2 Conf ラック別 コンソールポート接続数 116
117. 117 Copyright © Interop Tokyo 2016 ShowNet NOC Team ご提供台数一覧 マネジメント/コンソール 117 N2048 3台 N1548 2台 N1524 2台 IP8800/S2430 10台 EX3300 4台 NS-2250 2台 NS-2240 24台
118. Copyright © Interop Tokyo 2016 ShowNet NOC Team セキュリティ
119. Copyright © Interop Tokyo 2016 ShowNet NOC Team NFV ShowNet 2016 セキュリティ BGP Flowspec + DDoS Mitigation インラインFW（無線） インラインFW（会議棟） インラインFW（ライフ） TAP/ミラートラフィック解析 マネジメント監視
120. 120 Copyright © Interop Tokyo 2016 ShowNet NOC Team ShowNet 2016 セキュリティの見どころ セキュリティ • セキュリティ検査によるネットワーク堅牢性の確保 ➢攻撃者の存在を前提としたネットワーク構築・運用 • 100Gキャプチャによるネットワークフォレンジック ➢100Gバックボーン時代のネットワークフォレンジック基盤 • ベンダを越えたセキュリティ機器連携 ➢多様化するサイバー攻撃への多面的な分析と防御 120
121. 121 Copyright © Interop Tokyo 2016 ShowNet NOC Team ネットワーク検査による堅牢性向上 セキュリティ • 攻撃者より先にネットワー クを検査し、ネットワーク の堅牢性を高める 1) 外部・内部双方からの脆弱性 検査・ペネトレーション試験 2) 感染時のトラフィックを模擬 したマルウェア感染対策検査 3) DDoS攻撃耐性検査 Outbound ShowNet 45.0/15 Inbound 121
122. 122 Copyright © Interop Tokyo 2016 ShowNet NOC Team C2サーバ模擬通信 ネットワーク検査による堅牢性向上 セキュリティ • ShowNet内の全デバイス（800台 以上）を検査し脆弱性を一元的に 監視 • ホワイトハッカーによるペネト レーション試験により、実影響の ある脆弱性のみを抽出 • セキュリティテスタで遠隔操作 サーバ（C2サーバ）の通信を模擬 • クラウドからDDoS攻撃耐性検査 を実施 Outbound 脆弱性 確認 脆弱性 検査 DDoS攻撃 ShowNet 45.0/15 Inbound SecurityCenter SecurityLab AvlancheNext PerfectStormOne TeraVM NimbusDDoS 122
123. 123 Copyright © Interop Tokyo 2016 ShowNet NOC Team エンドポイントセキュリティ セキュリティ • アンチウイルスの限界 • 約60%以上が未検知 • 新種、亜種、エクスプロイトの 組み合わせで攻撃 • USB感染や外での感染し持込み • 動作・振る舞いで検出 • エクスプロイト発生時 • ファイル実行時、インテリジェ ンスにハッシュ値を確認 • 攻撃の観測やハッシュ値で防御 ShowNet The Internet 攻撃者 Secure life firewall Secure life アンチウイルスのみ アンチウイルス +エンドポイントセキュリティ PaloAlto Traps トレンドマイクロ TMES アズジェント Illusive 123
124. 124 Copyright © Interop Tokyo 2016 ShowNet NOC Team レイヤ1アグリゲーションとモニタリング セキュリティ L1 Aggregation nto6221 tap switch Z9100-ON big tap ShowNet 45.0/15 1 tap flex tap router L1 Aggregation nto5293 tap switch Arista 7280SE-68 • TAPやルータ・スイッチ のミラーポート機能でト ラフィックを抽出 • 複数ポートへのコピーや 重複排除にL1アグリゲー ションを利用 • スイッチの機能としての 実装や、SDNでコント ロールする実装も導入 124
125. 125 Copyright © Interop Tokyo 2016 ShowNet NOC Team レイヤ1アグリゲーションとモニタリング セキュリティ L1 Aggregation nto6221 tap switch Z9100-ON big tap ShowNet 45.0/15 1 tap flex tap router L1 Aggregation nto5293 Stream Monitor Synesis Omnipliance Vigil tap switch Arista 7280SE-68 fg3815 fs3000d SM9800 PA5060 Damballa WF500 nirvana-sensor02 nirivana-sensor03 Firepower4120 SRX1500 Lastline Sensor DDI 4100 • 100Gbps対応フォレンジック の登場 • セキュリティインシデント時間 前後5分間のパケットを抽出 • ファイアウォールもサンドボッ クスや各社インテリジェンスと 連携 • サンドボックスはフルシステム エミュレーションとバーチャリ ゼーション、2つの異なる技術 でFP回避にチャレンジ フォレンジック ファイアウォール センサー サンドボックス フォレンジック ファイアウォール センサー サンドボックス 125
126. 126 Copyright © Interop Tokyo 2016 ShowNet NOC Team ベンダを越えたセキュリティ機器連携 セキュリティ • 異なるベンダの検知装置でアグリゲーション トラフィックを解析 • 複数の装置により誤検知を抑える • 検知結果を集約し統合監視（SIEM） • 検知装置と防御装置との連携 • 異なるベンダ間での連携に挑戦 • 攻撃の検知から防御までの時間を短縮 126
127. 127 Copyright © Interop Tokyo 2016 ShowNet NOC Team ベンダを越えたセキュリティ機器連携 セキュリティ A社 B社 C社 オーケストレータ エクスターナル ルータ群 インラインFW （有線/無線） BGP Flowspec REST API/NETCONF/CLI PA7050 FG3200D SRX1500 ThreatARMOR nirvana改 vMX ASR9904 MX2010 ①タップ／ミラートラフィック を集約し検知装置に分配 ②検知結果をsyslogで通知し集約 ③各種装置にフィルタを設定 TAP 127
128. 128 Copyright © Interop Tokyo 2016 ShowNet NOC Team INTEROP期間中観測結果 セキュリティ • 全SYSLOG • 合計：74,326,614件 • セキュリティ関連のSYSLOG • 合計：47,756,976件 ※期間：2016/06/08 ～ 2016/06/10 ※情報提供元：情報通信研究機構 128
129. 129 Copyright © Interop Tokyo 2016 ShowNet NOC Team ご協力企業・組織一覧 セキュリティ 129
130. Copyright © Interop Tokyo 2016 ShowNet NOC Team ワイヤレスネットワーク
131. 131 Copyright © Interop Tokyo 2016 ShowNet NOC Team ワイヤレス • 2016のテーマ ➢ ワイヤレスネットワークにおけるSimple & Toughの追求 ✓ 来場者の方向けの無償サービス”ShowNet Free Wi-Fi” • SSID : 2016shownet（会場内の共通SSID） • SSID : 2016shownet-lcx（漏洩同軸ケーブルによるサービス） • SSID : 2016shownet-sta（スタジアムAPによるサービス） ✓ 短期間での構築（大規模イベントならでは） ✓ 広範囲な展開エリア ✓ 特殊アンテナ・APを活かした設計 ✓ セキュリティデバイスとの連携 ShowNetでのワイヤレス取り組み 131
132. 132 Copyright © Interop Tokyo 2016 ShowNet NOC Team ShowNetでのワイヤレス取り組み ワイヤレス • 展開エリア ✓ 展示ホール（Hall）4~7 ✓ Hall 2F通路 ✓ 国際会議棟 ✓ ShowNetアクセスコーナー （Hall 4） HALL 8 HALL 7 HALL 6 HALL 5 HALL 4 HALL 3 HALL 2 HALL 1 （2F） 中央 エントランス 国際会議棟 1F/2F/3F 幕張イベント ホール 国際展示場 1-8ホール （1F） 132
133. Copyright © Interop Tokyo 2016 ShowNet NOC Team ShowNet Free Wi-Fi Hall4-7 + 2F通路 ShowNet Free Wi-Fi 国際会議棟 Life Wi-Fi
134. 134 Copyright © Interop Tokyo 2016 ShowNet NOC Team ワイヤレス • More Simple ➢ AP数の削減を可能にする 設計の進化 ✓ 2014年：114個 ✓ 2015年：47個（▲58%） ✓ 2016年：35個（▲25%） ➢ メリット ✓ 構築/運用負荷の低減 ✓ 早期の無線エリア展開が可能となる ✓ AP間隔が空くことでAP同士の干渉によるノイズを 減少させることができる ✓ 利用者のQoE向上 114 47 35 0 50 100 150 2014 2015 2016 Hall無線AP数の推移 ➢ サービスのシンプル化 ✓ 5G帯中心のサービス ✓ NW設計を簡素化し、APの収容を分散する ことで無線による接続の継続性を担保 Simple & Tough Wireless 134
135. 135 Copyright © Interop Tokyo 2016 ShowNet NOC Team Simple & Tough Wireless ワイヤレス 参考：Hall4~7 AP配置（2016） 南口6 南口5 南口4 電気室 商談コ ーナー4 男 女 商談コ ーナー5 女 男 電気室 電気室 女 男 商談コ ーナー6 北口6 電気室 女 男 会議室6 多目的室6 主催者室6 男 男 女 女 電気室 会議室5 多目的室5 主催者室5 主催者室4 電気室 会議室4 北口5 北口4 un e 8 -10 , 2 016 akuhari es s e ( hib a ap an ) s o f p r. 2 2 2 016 ( ) all6 all5 all4 ho w et / ho w as e o o rld 4 04 12 x6 (8 ) 4 02 4 2 6 2 1x18 (4 2 ) 4 04 2 4 x12 (3 2 ) 4 13 6 x6 (4 ) 4 16 9x12 (12 ) 4 2 1 12 x9 (12 ) 4 2 6 12 x9 (12 ) 4 3 2 12 x15 (2 0) 4 0 1 4 17 6 x6 (4 ) 4 14 6 x9(6 ) 4 04 6 x9 (6 ) 4 11 5 17 6 x9 (6 ) 5 17 6 x9 (6 ) 5 08 2 4 x18 + 3 x12 (5 2 ) 4 04 6 x9(6 ) 5 01 5 13 9 x6 (6 ) 4 2 1 6 x9 (6 ) 4 2 1 6 x9 (6 ) 5 2 1 6 x6 (4 ) 5 2 1 6 x9(6 ) 4 2 4 4 2 7 9 x6 (6 ) 4 3 2 9x15 (15 ) 5 2 4 5 2 7 9x12 (12 ) 5 3 2 12 x18 (2 4 ) 5 01 5 16 9 x6 (6 ) 5 17 6 x6 (4 ) 6 16 9x9(9 ) 6 01 6 12 9 x9(9 ) 6 04 9x6 (6 ) 6 0 8 9 x6 (6 ) 5 2 1 9 x9(9) 5 2 7 9 x12 (12 ) 6 2 1 9 x15 (15 ) 5 2 5 15 x3 9 (6 5 ) 6 01 6 16 9 x12 (12 ) 6 04 12 x6 (8 ) n tero p o kyo 2 0 16 o n n e cte d e d ia o kyo 2 0 16 o catio n u s in e s s 　 ap an 2 0 16 4 09 9x6 (6 ) is co u aw ei ky ky 6 3 2 12 x9 (12 ) u jits u o rtin et alo lto laxala acn ica / p lu n k acn ica ro cad e is s ho itachi etals 4 2 1 12 x9 (12 ) u n ip er ts u ka xia 4 17 6 x6 (4 ) w are eiko o yo ab b ix - 'reilly aru b u n / - in k 6 01 o lito n u ru n o o gic ein lat' o m e 6 0 4 6 x6 (4 ) ellan o x / ltim a an d u it en s o ip p o n echn o ab llied eles is o o rld tage rray etw o rks 5 3 2 15 x18 + 9x12 (4 2 ) 6 2 1 6 x9 (6 ) 6 2 7 9 x9 (9 ) rtiza 4 3 4 9 x18 o u n ge 5 2 7 9 x9(9) itto o gyo 10 etw o rks 5 07 6 x6 (4 ) 5 10 6 x6 (4 ) n tero p av ilio n 5 2 1 9 x6 (6 ) cad em ic avilio n 6 13 6 x6 (4 ) o yo ecu rity o rld o s hib a 4 08 4 09 4 13 6 x6 (4 ) 4 16 9 x6 (6 ) an o n ical 5 04 6 x6 (4 ) 4 0 1 5 3 2 13 x10 5 3 2 13 x10 o n n ected ed ia o kyo 5 17 6 x6 (4 ) o rea av ilio n xtrem e ro ad as ter's n n o v atio n o catio n u s in es s ap an 4 13 6 2 1 9 x6 (6 ) o o rld avilio n 6 16 9 x6 (6 ) 6 16 9 x6 (6 ) 6 11 12 x6 (8 ) 4 12 4 12 4 11 4 11 4 12 4 09 4 08 4 0 8 4 0 9 4 2 7 9 x6 (6 ) 4 2 4 4 2 4 4 2 5 4 2 5 4 2 5 4 2 5 5 2 5 5 2 5 5 2 5 5 2 4 5 2 4 5 2 4 o un ge ren d m icro las s ro o m las s ro o m 4 14 3 x6 (2 ) las s ro o m 6 3 3 13 x10 6 2 7 9 x6 (6 ) atch u ard arly-b ird s lo t co rn er n ixo n ys tem s 6 2 1 6 x6 (4 ) u ls e ecure / acn ica 5 07 6 x6 (4 ) 5 10 6 x6 (4 ) 5 04 6 x6 (4 ) 5 2 5 5 2 4 5 2 5 5 2 4 5 2 4 5 2 5 5 2 4 5 05 5 0 4 5 04 5 04 5 04 5 06 5 05 5 04 5 04 6 04 6 04 6 11 6 09 6 09 4 01 6 08 6 08 6 08 6 09 6 10 6 10 6 10 6 09 5 2 1 5 2 3 5 2 4 5 2 1 ap atech im le 6 06 6 0 6 5 06 5 06 rizo n echn o rain aiw a ech itriev e/ ain ech n o lo gy o m s q uare 5 06 5 06 5 08 5 09 5 08 5 09 5 08 5 09 5 08 6 08 6 08 6 09 6 09 5 09 5 09 5 08 rtes yn yd en 5 04 5 05 5 05 5 05 6 04 9 x6 (6 ) n tel lo gic ias co p e arad a o re o m p utan ce uan ta ys tem o -n et et it n et fu s io n o n n ectio n ech n o lo gy o ho o bo o m w o rth o ro cera xcen track 5 05 o ltech ib er2 6 ataco n tro ls 6 11 6 11 6 12 6 12 6 09 6 08 6 07 6 09 6 08 6 07 etco p e s o l aritan n tits u 7 08 7 08 7 09 . gen 3 ap an 7 12 7 14 7 14 7 14 u tec o n s all7 南口7 電気室 商談コ ーナー7 男 女 電気室 南口8 商談コ ーナー8 男 女 北口7 電気室 男 女 多目的室7 主催者室7 会議室7 北口8 電気室 男 女 多目的室8 主催者室8 会議室8 7 01 7 17 6 x6 (4 ) las s o o m las s o o m igital ign age ap an 7 2 1 6 x6 (4 ) 7 04 9x9(9) 7 09 18 x9(18 ) 7 16 9x9(9) 7 2 1 6 x6 (4 ) 7 2 4 2 1x17(3 9. 6 ) 7 04 12 x6 (8 ) 7 01 7 09 9x6 (6 ) 7 13 6 x6 (4 ) 7 16 9x6 (6 ) 7 03 13 x14 (2 0) 7Y 12 7 2 1 12 x6 (8 ) its u b is hi igital ign age ap an 2 016 2 016 un e 8 -10 , 2 016 aku hari es s e ( hib a ap an ) s o f p r. 2 2 , 2 016 Y ap an aterial 7 2 7 12 x6 (8 ) ew p ho ria en eral es o u rce hib in o in ters o un d an as o n ic 7 2 1 15 x14 (2 3 . 3 ) o o gle 7 3 3 6 x12 (8 ) s ka et 7Y 16 avilio n 7 3 3 13 x12 (17. 3 ) 7 2 6 15 x11+ 6 x3 (2 0. 3 ) 7 2 1 7 3 3 13 x9(13 ) 7 2 9 6 x9(6 ) 7 2 6 6 x6 (4 ) 7 2 1 3 avilio n eb 7 17 7 17 7 14 7 07 avilio n 7 15 7 15 7 15 7 11 7 11 7 12 7 09 7 09 7 10 7 09 7 11 7 09 7 10 7 11 7 13 7 14 7 15 7 13 7 14 7 15 7 17 7 17 7Y 17 7Y 14 7 2 5 7 3 0 7 3 0 7 2 4 7 2 5 7 2 4 7 2 5 7 2 8 7 2 9 avilio n arub un o b un do o u ch an el ayam i Y as u kaw a o fn et etec ighn es s tlas -ad ro teras icro o ld ec Z an as ai ilver- as tm edia an s an lo vel kam ai 7 11 an o to u ch ri-n et ro up xceed achin e ervice ill m art 7 18 reative es ign s k lp ha ech o m n et 7 2 2 ujits u m kt ay ech 7 2 2 hen zhen 7 3 3 13 x12 (17. 3 ) avilio n 7 05 6 x9(6 ) 3 110m 180m 501 b1 504 d2 506 d3 508 b2 510 d4 927 518 a1 926 925 924 519 a2 520 a3 156 503 c1 507 c3 505 c2 509 c4 515 c7 151 152 153 157 154 155 517 c8 302 197 196 195 194 60m 502 d1 521 d5 303 301 303 513 a4 913 193 201 202 912 192 791 203 511 c5 514 c6 516 b4 512 b3 ▪サイジングの流れ 1.APのアンテナ特性、 スペックを各社データ シートから把握 2.ソフトウェアによる シュミレーション 3.現場の状況を考慮し てAP配置、数量を調整 135
136. 136 Copyright © Interop Tokyo 2016 ShowNet NOC Team ワイヤレス Simple & Tough Wireless • More Simple ➢ クラウド型コントローラの活用 ✓ Life無線*1：Cisco Meraki スマホアプリでも ダッシュボードを確認可能 *1 NOC/STM/Contributor向けの生活用無線。ShowNetの構築・運用に利用する無線LAN。 client数 （推移） 帯域 （推移） client毎 の統計 136
137. 137 Copyright © Interop Tokyo 2016 ShowNet NOC Team ワイヤレス Simple & Tough Wireless • More Simple ➢ クラウド型コントローラの活用 ✓ Hall4-7 2F通路/Hall4-7 LCX/国際会議棟：FURUNO SYSTEMS UNIFAS client数 （合計） client数 （AP毎） 137
138. 138 Copyright © Interop Tokyo 2016 ShowNet NOC Team ワイヤレス • More Tough ➢ 特殊アンテナ/APを活用し、無線空間の柔軟なデザインを実現 ✓ サービス提供を重点的に行いたいエリアに展開し、カバレッジにメリハリをつける スタジアムAP(表) LCX(漏洩同軸)ケーブル スタジアムAP(裏) Simple & Tough Wireless GoBeam8000 /（株）シーアイオープラス提供 F-8D-LCX /（株）フルノシステムズ提供 138
139. 139 Copyright © Interop Tokyo 2016 ShowNet NOC Team ワイヤレス • More Tough ➢ 同時接続数（Assoc数）に強いAPの採用 ➢ アンテナの特性を活かした設計 ➢ 無線を支える有線区間の高速化 ✓ 11ac Wave1 : ~ 1.3Gbps ✓ 11ac Wave2 : ~ 3.5Gbps ✓ つまり、無線AP収容L2SWの帯域増が必要 • mGig/NBASE-Tの活用 • Cat5eケーブルを用いて2.5/5Gbpsを実現可能 • 2.5GBASE-T/5GBASE-Tとして標準化が進行中 Simple & Tough Wireless ACERA 900 （株）フルノシステムズ提供 Cisco Aironet 3700 Series Access Point（AP3702E） シスコシステムズ（同）提供 139
140. 140 Copyright © Interop Tokyo 2016 ShowNet NOC Team ワイヤレス Simple & Tough Wireless • More Tough ➢ 無線区間のモニタリング：Cisco Prime Infrastructure 強 弱 通常のヒートマップ （信号強度） 140
141. 141 Copyright © Interop Tokyo 2016 ShowNet NOC Team ワイヤレス Simple & Tough Wireless • More Tough ➢ 無線区間のモニタリング：Cisco Prime Infrastructure clean noisy 品質を考慮したマップ （Clean Air） 141
142. 142 Copyright © Interop Tokyo 2016 ShowNet NOC Team ワイヤレス Simple & Tough Wireless • More Tough ➢ 無線区間のモニタリング：CMX （Cisco Mobility Service Engine） ▪開場前のActivityマップ： wireless clientがほとんど動 いていない状態 142
143. 143 Copyright © Interop Tokyo 2016 ShowNet NOC Team ワイヤレス Simple & Tough Wireless • More Tough ➢ 無線区間のモニタリング：CMX （Cisco Mobility Service Engine） ▪開場後のActivity Map： wireless clientが頻繁かつ大 きく移動している状態 143
144. 144 Copyright © Interop Tokyo 2016 ShowNet NOC Team ワイヤレス Simple & Tough Wireless • More Tough ➢ セキュリティデバイスとの連携 ✓ 上位NWとWireless Clientの間にセキュリティデバイスを設置 ✓ 4-7Hall：L2 inline構成、国際会議棟：L3 inline構成 10GBASE-SR 10GBASE-LR L3 Security L2 threatarmor-10g 8540wlc-1.service 8540wlc-2.service wireless client fg3200d ip88s86.service ax8308s.service threatarmor-10g tunnel endpoint default CAPWAP HA vrrp srx1500.conf wireless(&wired) client s4048.conf unit1 unit2 wireless Aps static default default default node0 node1 reth reth stack chassis cluster reth ve L2 inline L3 inline cat3850-1.service cat3850-2.service wireless Aps 144
145. 145 Copyright © Interop Tokyo 2016 ShowNet NOC Team ワイヤレス Simple & Tough Wireless • More Tough ➢ スペクトラムアナライザによる電波干渉源の分析 ✓ NOC Life無線（2Ghz）にて測定を実施 ✓ Bluetoothデバイスによる顕著な干渉を確認 • ワイヤレスマウス、音楽用デバイス（ヘッドホン/スピーカー）のほか、Bluetoothが常時ONになっ ているスマートフォンが多い • 2Ghz帯のサービス提供時に以外な落とし穴となることも USBスペクロラムアナライザ RSA306 フルーク・ネットワークス （（株）TFF フルーク社）提供 通常状態 干渉源を検知している状態 145
146. 146 Copyright © Interop Tokyo 2016 ShowNet NOC Team ワイヤレス Simple & Tough Wireless • Associated Clients(Unique MAC Address集計結果) SSID 用途 6月8日 6月9日 6月10日 2016shownet Hall4-7 Service 15,376 16,761 11,841 Hall4-7 2F通路 Service 6,317 6,655 4,980 国際会議棟（1F-3F）Service 5,381 7,993 2,231 2016shownet-lcx Hall4-7 LCX Service 288 533 436 2016shownet-sta Hall4-7 Stadium AP Service 1,168 2,164 1,620 Total 28,530 34,106 21,108 （参考） NOC-Life-C NOC/STM/Contributor向けService 317 301 278 146
147. 147 Copyright © Interop Tokyo 2016 ShowNet NOC Team ワイヤレス ご協力企業様 147
148. Copyright © Interop Tokyo 2016 ShowNet NOC Team 伝送装置・メディアコンバータ
149. 149 Copyright © Interop Tokyo 2016 ShowNet NOC Team 伝送装置(バックボーン) 伝送装置・メディアコンバータ 149 100G 伝送装置 総100Gバックボーン機器から、遠隔設置を想定 した機器やDC-Westの境界機器への接続に活 用しました LR4とSR4, LR4とSR10など、異なるメディアタ イプの接続を実現するために、メディアコンバー タとして活用しました 10G伝送装置 バックボーン機器からDC-Eastの境界機器への 10Gx2 WDM接続として活用しました
150. 150 Copyright © Interop Tokyo 2016 ShowNet NOC Team 伝送装置(アクセス) 伝送装置・メディアコンバータ 150 10G伝送装置 展示ホールから会議棟へ敷設されている多芯 ファイバの利用芯数を節約するために、 10GBASE-LRの一芯伝送を実現する機器とし て活用しました 10Gメディアコンバータ 10GBASE-Tを搭載したハイパーコンバージドイ ンフラ機器を10GBASE-LRの搭載したスイッチ 機器に接続するために、メディアコンバータとし て活用しました
151. 151 Copyright © Interop Tokyo 2016 ShowNet NOC Team ご協力企業様 伝送装置・メディアコンバータ 151
152. Copyright © Interop Tokyo 2016 ShowNet NOC Team ファシリティ
153. 153 Copyright © Interop Tokyo 2016 ShowNet NOC Team 注力テーマ ファシリティ • 高密度化対応 • 配線密度（光ファイバー多芯化:MPO、DAC） →配線処理、管理の複雑化への対応 • ラック搭載密度（機器小型化、高性能化） →電源供給、温度管理の複雑化への対応 153
154. 154 Copyright © Interop Tokyo 2016 ShowNet NOC Team 配線高密度化対策 ファシリティ • 配線高密度化対策 多芯光ファイバケーブルにてパッチパネルに 効率的に配線を集約 裏配線もMPOケーブルなので 96芯でもスッキリ！！ ２４芯ケーブル （１U使います） MPOカセットタイプ １Uで96芯が収容可能 ２４芯ケーブル （１U使います） ラック表面 ラック裏面 154
155. 155 Copyright © Interop Tokyo 2016 ShowNet NOC Team ShowNetでの配線整理 ファシリティ • 配線高密度化対策 ケーブルダクト使用前 ケーブルダクト使用後 ケーブル整理用のダクトを使用 イベント環境でもここまで綺麗な 配線敷設が可能になりました 155
156. 156 Copyright © Interop Tokyo 2016 ShowNet NOC Team 高密度化対策の結果 ファシリティ 2015年配線図 2016年配線図 ラック間配線の減少に成功 156
157. 157 Copyright © Interop Tokyo 2016 ShowNet NOC Team ShowNetでの高密度化対策 ファシリティ • 電源集約 • 効率的な給電（電流量の減少により回路数を減らせる） • 直流給電等の手法は様々あるが、設備構成的には交流 ２００Vによる給電がイベントネットワークでは効率的 だと考える • ２００V給電では既存の１００V設備を流用可能部分が 多いため実環境でも導入が比較的容易 157
158. 158 Copyright © Interop Tokyo 2016 ShowNet NOC Team ShowNetでの高密度化対策 ファシリティ • ラック搭載高密度化対策 • 高密度化したラック内の温度管理 • ２００V給電により効率的な給電 158 電源抜け防止プラグ 0U 200V PDU 1U 200V PDU 温度センサー 電流監視センサー
159. 159 Copyright © Interop Tokyo 2016 ShowNet NOC Team 200V給電を支えるプロダクト ファシリティ • 200V PDU(1U,0Uタイプ) • 電源抜け防止プラグ • 電流監視センサー etc… 1U 200V PDU ラックマウントタイプ 電流監視センサー 電源系統色分けを 抜け防止機構ケーブルで実施 159
160. 160 Copyright © Interop Tokyo 2016 ShowNet NOC Team ShowNetでの温度解析 ファシリティ • ラック搭載高密度化対策 • 気流解析による温度シミュレーションで熱だまり箇所を 想定した • 昨年、今年のシミュレーション結果より、例年実施して いた冷却（ラックのかさ上げ等）が不要であると検証実 験を本年実施した結果、かさ上げ無しでも運用が可能で あった 160
161. 161 Copyright © Interop Tokyo 2016 ShowNet NOC Team 縁下の力持ち ファシリティ 161 ラックマウントタイプPDU・PDU ATENジャパン様 Panduit/日東工業様 抜け防止電源ケーブル エイム電子様 プラガブル光トランシーバ (SFP/SFP+/SFP-T/CFP) エイム電子様 ネットワーク/サーバラック Panduit/日東工業様 ゲットイット様 摂津金属様 ケーブルテスター Fluke Networks様 原田産業様 温度・電流センサー Panduit/日東工業様 ケーブル整線・配線 Panduit/日東工業様 気流解析 タイルフロー 様
162. 162 Copyright © Interop Tokyo 2016 ShowNet NOC Team 縁下の力持ち ファシリティ • コントリビュータ様の多大な ご協力により、ShowNet史 上初となるバックヤードを公 開することができました • 来場者の皆様にShowNetを 支えるプロダクトを紹介し、 来年以降もさらなる“ファシ リティ”の重要性を発信して いければと思います！ 162
163. 163 Copyright © Interop Tokyo 2016 ShowNet NOC Team Interface （Backbone及び、各エリア間接続機器） ファシリティ 163 SMF 65% MMF 31% Copper 4% Cable Type SMF MMF Copper 100G-LR4 19% 40G-LR4 0% 10G-LR 45% 100G-SR4 3% 100G-SR10 4% 40G-SR4 8% 10G-SR 13% 1G-SX 4% 40G-DAC 2% 1000T 2% Media Type 100G-LR4 40G-LR4 10G-LR 1G-LX 100G-SR4 100G-SR10 40G-SR4 10G-SR 1G-SX 40G-DAC 10G-T 1000T
164. 164 Copyright © Interop Tokyo 2016 ShowNet NOC Team Interface （Backbone及び、各エリア間接続機器） ファシリティ 164 100G-LR4 44% 40G-LR4 2% 10G-LR 43% 100G-SR10 9% 10G-SR 1% 1000T 1% backbone 10G-LR 100% Life 10G-LR 25% 10G-SR 50% 40G-DAC 25% 会議棟
165. 165 Copyright © Interop Tokyo 2016 ShowNet NOC Team Interface （Backbone及び、各エリア間接続機器） ファシリティ 165 100G-LR4 3% 10G-LR 12% 100G- SR4 15% 40G-SR4 43% 10G-SR 24% 1000T 3% dcwest 10G-LR 58% 10G-SR 7% 1G-SX 27% 1000T 8% dceast 10G-LR 80% 10G-SR 20% service
166. 166 Copyright © Interop Tokyo 2016 ShowNet NOC Team Interface （Backbone及び、各エリア間接続機器） ファシリティ 166 昨年比 減少 増加 Cable Type 2014 2015 2016 Interface Type 2014 2015 2016 SMF 45.8% 38.5% 65.0% 100G-LR4 1.8% 4.0% 19.1% MMF 33.8% 43.1% 30.6% 40G-LR4 0.0% 0.0% 0.5% Copper 20.4% 18.4% 4.4% 10G-LR 42.3% 34.6% 45.4% 1G-LX 2.8% 0.0% 0.0% 100G-SR4 - - 2.7% 100G-SR10 3.9% 0.0% 3.8% 40G-SR4 13.4% 18.7% 7.7% 10G-SR 16.2% 23.2% 12.6% 1G-SX 0.7% 0.0% 3.8% 40G-DAC - 1.1% 2.2% 1000T 10.9% 13.0% 0.0% 10G-T 9.5% 4.2% 2.2% • 主にバックボーン周りで、100G interfaceの増加が顕著 • 100G−LR4, 100G-SR4（初）, 100G-SR10
167. 167 Copyright © Interop Tokyo 2016 ShowNet NOC Team AIM 電子様 互換SFP/CFP 実績 ファシリティ • 100G−LR4 CFP • Juniper MX240 • 10G-LR SFP+ (BiDi) • 大電 DN6820E • FXC LEX1881-2F • 10G-SR • Cisco Nexus 3232C • 1G-T • DELL PowerEdge FC830 • DELL S3048 167
168. 168 Copyright © Interop Tokyo 2016 ShowNet NOC Team 電源関連 今年の実績 100V回路数(回路) 開催年 場所 回路数 合計 対前年増減 対前年比 2012年 NOC_BB 72 98 6 107% NOC_DC1 15 NOC_DC2 11 2013年 NOC#01-10 62 124 26 127% NOC#11-20 62 2014年 NOC#01-15 88 88 -36 71% 2015年 NOC#01-16 97 97 9 110% 2016年 NOC#01-20 103 103 6 106% 200V回路数(回路) 開催年 場所 回路数 合計 対前年増減 対前年比 2012年 NOC_BB 9 14 -2 88% NOC_DC1 3 NOC_DC2 2 2013年 NOC#01-10 8 15 1 107% NOC#11-20 7 2014年 NOC#01-15,NCS 22 22 7 147% 2015年 NOC#01-16 16 16 -6 73% 2016年 NOC#01-20 29 29 13 181% 消費電力（VA） 開催年 場所 VA 合計 対前年増減 対前年比 2012年 NOC_BB 42,530 59,160 -5,730 91% NOC_DC1 9,580 NOC_DC2 7,050 2013年 NOC#01-10 41,350 79,560 20,400 134% NOC#11-20 38,210 2014年 NOC#01-15,NCS 61,480 61,480 -18,080 77% 2015年 NOC#01-16 62,120 62,120 640 101% 2016年 NOC#01-20 76,370 76370 14250 123% NOCラック コンセント数 5-15：465個 L5-20：4個 L6-20：35個 L6-30：8個 Terminal ：9個 168
169. 169 Copyright © Interop Tokyo 2016 ShowNet NOC Team ラック／機器台数 今年の実績 NOCラック本数(本) 開催年 場所 本数 合計 対前年増減 対前年比 2012年 NOC_BB 14 20 -1 95% NOC_DC1 3 NOC_DC2 3 2013年 NOC#01-10 10 20 0 100% NOC#11-20 10 2014年 NOC#01-15 15 15 -5 75% 2015年 NOC#01-16 16 16 1 107% 2016年 NOC#01-20 20 20 4 125% 機器台数 開催年 場所 合計 対前年増減 対前年比 2012年 NOC_BB、NOC_DC 270 - - 2013年 NOC_BB 320 50 119% 2014年 NOC#01-15,NCS 230 -90 72% 2015年 NOC#01-16 301 71 131% 2016年 NOC#01-20 377 76 125% 169
170. Copyright © Interop Tokyo 2016 ShowNet NOC Team テスター
171. 171 Copyright © Interop Tokyo 2016 ShowNet NOC Team さまざまな用途で活躍 テスター • バックボーン負荷試験 • 高レイヤの負荷試験 (Web, Storage, etc.) • 擬似セキュリティ攻撃 • プロトコルテスト (PTP, BGP, etc.) 171
172. 172 Copyright © Interop Tokyo 2016 ShowNet NOC Team テスター装置 テスター • 東陽テクニカ Spirent TestCenter • 100Gのインタフェースを搭載しバックボーンテスト • その他、2.5G/5GBase-Tなどのテストやプロトコルテストにも活用 • 東陽テクニカ Spirent Avalanche NEXT • セキュリティテスト(擬似攻撃)に活用 • 東陽テクニカ Load DynamiX • ストレージのパフォーマンステストに活用 • 東陽テクニカ Spirent Attero-100G • 100Gリンクにおいて遅延やドロップ・ジッタを自由自在に挿入 • IXIA PerfectStorm ONE • アプリケーションテスト・セキュリティテストに活用 • 丸文 EXFO FTB-2 Pro • 可搬型テスタ。PTPの相互接続検証などで活用 • 丸文 Xena M2SFP+4SFP • バックボーンテスト等に活用 172
173. 173 Copyright © Interop Tokyo 2016 ShowNet NOC Team テスター装置 (仮想) テスター • 今年は、仮想基盤(VMware等)上で動作するテスターも進化 • I/O Direct 等を活用し、高スループットでのテストも可能となっている • COBHAM(Aeroflex) TeraVM • セキュリティテストやストレージシステムの性能測定に活用 • 100G NICを使ったテストも • IXIA IxNetwork VE / IxLoad VE • セキュリティテストやWebシステムの性能測定に活用 • 会場外設置のサーバに対するテストも実施 173
174. Copyright © Interop Tokyo 2016 ShowNet NOC Team IoT
175. 175 Copyright © Interop Tokyo 2016 ShowNet NOC Team IoT向けモバイル閉域接続検証 クラウド モバイル キャリア IoT Devices with SIM IoTデバイスとクラウド間を閉域接続することにより セキュリティを担保(インターネットを経由しない) Internet Private Connect マルチクラウド/IoT 175
176. 176 Copyright © Interop Tokyo 2016 ShowNet NOC Team IoT向けモバイル閉域接続検証 マルチクラウド/IoT 176
177. 177 Copyright © Interop Tokyo 2016 ShowNet NOC Team 混雑度を測定するIoTデバイス IoT • 画像処理によるプライバシーを配慮したモニター システム • IoTデバイスによるデータ取得とクラウド上での モニタリング IoT プラットフォーム クラウド サービス ぼかし加 工 顔認識/画像加工 カメラ一体型デバイス 177
178. 178 Copyright © Interop Tokyo 2016 ShowNet NOC Team ご協力企業様 IoT 178
179. Copyright © Interop Tokyo 2016 ShowNet NOC Team その他の運用ツール
180. 180 Copyright © Interop Tokyo 2016 ShowNet NOC Team コミュニケーション Video Conference • NOC/STM/コントリビュー ター/事務局の待機場所に端 末を配置 • 期間中のコミュニケーション ツールとして活用させて頂き ました NOC Room NSC Room Contributor Room dx70/dx80 dx70/dx80 dx70/dx80 TelePresence DX70 4台 TelePresence DX80 6台 Business Edition 6000 Collaboration Meeting Rooms
181. 181 Copyright © Interop Tokyo 2016 ShowNet NOC Team プリンタ ShowNetを支えるツール • 理想科学工業様ご提供 の高速カラープリンタ • ホットステージ～展示 会最終日まで大変お世 話になりました 181
182. 182 Copyright © Interop Tokyo 2016 ShowNet NOC Team PR活動紹介
183. 183 Copyright © Interop Tokyo 2016 ShowNet NOC Team 今年のPR活動のポイント PR活動紹介 • ラックの裏側を公開 • 初めての方でもShowNetがわかるよう 「ShowNetとは？」コーナーを来場者入口に設置 • 公式WebサイトShowNetページがさらに見やす く、わかりやすく刷新 • 物理カタログコーナーの復活（カタログダウン ロードサービスは継続） • 際立つShowNet NOCブース、来場者入口の前！
184. 184 Copyright © Interop Tokyo 2016 ShowNet NOC Team ShowNetブース PR活動紹介 • ラックの裏側を公開 • 来場者にShowNet ファシリティを見せる ことができた
185. 185 Copyright © Interop Tokyo 2016 ShowNet NOC Team ShowNetブース PR活動紹介 • ShowNetを知らない人 でも、わかる、 ShowNetに興味を持っ てもらえるよう 「ShowNetとは？」 コーナー設置 • カタログコーナーも併 設した
186. 186 Copyright © Interop Tokyo 2016 ShowNet NOC Team ShowNetブース PR活動紹介 • 朝一NOCチームメン バーによるスペシャル ステージを行うことに より、朝早くから ShowNetブースには、 多くの来場者が集まり ました
187. 187 Copyright © Interop Tokyo 2016 ShowNet NOC Team ShowNetブース PR活動紹介 • 来場者を取り込みやす いレイアウト • ShowNetブースを一つ にまとめる事で、賑わ い感が一層強まった
188. 188 Copyright © Interop Tokyo 2016 ShowNet NOC Team ShowNetブース PR活動紹介 • 昨年同様3面特大スク リーン採用 • 「ここはなに？」と来 場者をひきつける効果 を発揮した
189. 189 Copyright © Interop Tokyo 2016 ShowNet NOC Team ShowNetの歩き方/Running on ShowNet PR活動紹介 • ShowNetの歩き方 • 昨年に引き続き2回目。昨年の反省を生かし、より見や すく、美しく制作 • ShowNetブースから、各出展ブースへの動線作りに貢 献できた • Running on ShowNet • ブースにおいてある製品が、ShowNetを 支えているという事を来場者へアピール • 来場者認知度を上げるため、来年以降も 継続的に実施
190. 190 Copyright © Interop Tokyo 2016 ShowNet NOC Team Web / SNS PR活動紹介 • ShowNet公式ウェブサイト • さらに見やすく、レイアウトを刷新 • ShowNetを知らない人でも、見たい！と 思ってくれるような内容で構成 • SNSの活用 • Facebookの活用 • 投稿リーチ数 ：13,067 • いいね！数 ：2,284
191. 191 Copyright © Interop Tokyo 2016 ShowNet NOC Team ShowNet Walking Tour PR活動紹介 • ShowNet • ShowNetツアーの65%の参加者が初参加 • 参加者の約6割が製品導入プロセスに関与 • ツアーはほぼすべて抽選（満席） • 1ツアー25名定員に対し、70名近くの応募
192. 192 Copyright © Interop Tokyo 2016 ShowNet NOC Team ShowNet Walking Tour PR活動紹介 369 270 251 200 116 113 76 51 40 10 0 50 100 150 200 250 300 350 400 興味をもたれた取り組み 411 268 235 165 82 37 35 7 0 100 200 300 400 500 参加目的
193. 193 Copyright © Interop Tokyo 2016 ShowNet NOC Team ShowNet Walking Tour PR活動紹介 【ShowNetの取組みの中で興味を持ったもの】 • WiFiケーブルが興味深かった • セキュリティやファリシティの解析データの次元摘出 • BGP Flowspec 【来年ShowNetで取り上げてほしいテーマ】 • AI ''Deep Learning'' を活用した復旧補助等 • IoTの通信にかかわるセキュリティ • 中～小規模のネットワークエリアを取り上げて欲しい（企業を想 定したNW） ShowNet Walking Tour アンケートから抜粋
194. 194 Copyright © Interop Tokyo 2016 ShowNet NOC Team ShowNetレポート PR活動紹介 • ShowNet 2016での取り組みをレポートし、来場 者がスポンサー企業に興味を持っていただけるよ うな内容にした • レポートの途中にカタログダウンロードへ誘導で きるような工夫を取り入れた
195. 195 Copyright © Interop Tokyo 2016 ShowNet NOC Team 来場者サービス PR活動紹介 • ShowNetアクセスコーナー • 様々なアクセスポイント、多くの来場者で賑わった • 無線LANサービス • 5GHz帯にて来場者へ、より美しく、快適な無線を提供
196. 196 Copyright © Interop Tokyo 2016 ShowNet NOC Team 前年度コントリビュータアンケートより（抜粋） PR活動紹介 前年度皆様から頂いたアンケートを参考に、今年取り組ませていただいた事項です（抜粋） 前年度アンケート内容 今年取り組ませていただいたこと 各種資料について、ある程度、ダウンロード期間及び、 メンバー公開期間を取って欲しい。 通常業務優先で、参加してい る面があり、即対応出来ない事が多く、資料等無いケースも多かっ た為、今回かなり色々悩みました。 コントリビュータ用資料一覧として、構築前日まで公開して欲しい と思います。 2016年度より、提出物サイトを作成しまいした 各フォームの提出や、今までのミーティングの資料もダウンロード できるようにしました。 センサ類は、ガラスケース越しに見えておらず、物理的な露出が出 来なかったのが少々残念であった。ソフトウェアでのモニタリング を行いましたが、実際にセンサやソフトウェアでShownet内のモニ タリングを行っていることが、臨場感を持って伝えれると尚良かっ たかなと思います。 ラック裏を見せ、ディスプレイを使ってソフトウェア等の動きを見 せるようにしました。 また、ソフトウェアの動きディスプレイを設けたので、なるほどタ イム、ツアーで案内しました。 ShowNetの歩き方は社名が小さすぎて、効果はほとんど得られな かったように思います 昨年の反省を生かし、フォントサイズを大きくしました。社名では なくロゴ一覧を掲載し、来場者が見やすいようにレイアウトを組み ました。 コントリビュートした製品のカタログなどの設置 展示会場来場者入口すぐの場所にカタログコーナーを設けました。 また、会期終了後もカタログダウンロードサービスを行っておりま す。
197. 197 Copyright © Interop Tokyo 2016 ShowNet NOC Team 2016年度総括 総括 • ShowNet全体の見せ方は、来場者から概ね好評。 コントリビューション製品/サービスへの大きな 関心を生むことができた • 来年度も、ShowNetブースから出展ブースへのさ らなる動線作りを考えたい • 他の展示会ではできない、ShowNetだからこそで きる見せ方で、2017年度も一緒にShowNetを構 築しましょう！
198. 198 Copyright © Interop Tokyo 2016 ShowNet NOC Team ShowNet Sponsor クレジット
199. 199 Copyright © Interop Tokyo 2016 ShowNet NOC Team ShowNet Co-Sponsor クレジット
200. 200 Copyright © Interop Tokyo 2016 ShowNet NOC Team ShowNet Supporter クレジット
201. 201 Copyright © Interop Tokyo 2016 ShowNet NOC Team ShowNet 特別協力 クレジット （株）IDCフロンティア （株）IIJイノベーションインスティテュート アルテリア・ネットワークス（株） インターネットマルチフィード（株） NTTセキュアプラットフォーム研究所 NTT西日本 倉敷芸術科学大学 慶應義塾大学 国立情報学研究所 さくらインターネット（株） （株）Xenlon 摂津金属工業（株） Top Out Human Capital Inc. トランスコスモス（株） 奈良先端科学技術大学院大学 ニフティ（株） 日本インターネットエクスチェンジ（株） （有）HUG BBIX（株） ビットアイル・エクイニクス（株） ラストライン（同） 理想科学工業（株） WIDE Project
202. 202 Copyright © Interop Tokyo 2016 ShowNet NOC Team 2016年度 ShowNet 動画集 クレジット • ShowNet 2016 Infinite Challenge • https://youtu.be/LykhmW0oJl4 • ShowNet 2016 図面ができるまで • https://youtu.be/6LAQO5BCcAE • ShowNet Team Member(STM) • https://youtu.be/BTwntGr8sDo
203. 203 Copyright © Interop Tokyo 2016 ShowNet NOC Team 本資料について クレジット • Copyright ©2016 Interop Tokyo NOC Team / NANO OPT Media, Inc • 記載されている各社の社名、商品名は各社の登録商標又は商標です。 • 本資料の文章・画像の無断転載・複製を禁止します。 ～本資料に関するお問い合わせ先～ Interop Tokyo ShowNet 運営事務局 株式会社ナノオプト・メディア ShowNet担当：鈴木、小野村、越野 Tel: 03-6431-7803 E-mail: shownet@f2ff.jp