2015-ShowNet-報告資料

Transcript

1. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc Interop Tokyo 2015 ShowNet報告書 - テクニカル編 - ShowNet 2015 NOCチームメンバー
2. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 目次 （スライド番号） ・ShowNetについて ・・・３ ・L2/L3 ・・・１１ ・SDN/NFV ・・・１４ ・External ・・・２３ ・RPKI ・・・３２ ・SDN IX / Box Switch ・・・３７ ・InterCloud / Server ・・・５２ ・Wireless ・・・７５ ・データセンタ ファシリティ ・・・９８ ・セキュリティ ・・・１１０ ・PTP相互接続実証実験 ・・・１２２ ・Management / Console ・・・１３３ ・モニタリング / データ解析 ・・・１３９ ・検証・測定 ・・・１５３ ・IoT ・・・１６０ ・その他運用ツール ・・・１６６ ・クレジット ・・・１７２
3. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc ShowNetについて
4. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc ShowNetについて ShowNetとは？ • 皆様が使われているインターネット接続です • ただし。。。大きな特徴があります – 最新の機材と最新の技術 – それを「動かし」ユーザが「使う」ネットワークを構 築する – 近未来のネットワークを実現 – “I know it works because I saw it at Interop.” • この言葉が ShowNet のプライドです
5. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc ShowNet2015の取り組み 2015年度のコンセプト 2年目となる今年は、昨年のテーマをさらに深化させ、 「Scratch & Re-build the Internet Phase.2 – ULTIMATE BALANCE - 」 というコンセプトでShowNetを構築しました。 簡潔性(simplicity)と柔軟性(flexibility)、高信頼性(reliability)といった一見 相反する要素をバランスよく実現した近未来のネットワーク、今年のShowNetはそれを 具体化しました。 Scratch & Re-build the Internet Phase2 ULTIMATE BALANCE ～簡潔性、柔軟性、高信頼性のバランスが 奏でる次のインターネットのカタチ～
6. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 2015年度の注力9カテゴリー 1. ネットワーク 2. クラウド・サーバ 3. セキュリティ 4. データセンターファシリティ 5. 無線 6. 運用監視 7. 測定・検証 8. STM（技術者育成プログラム） 9. IoT ShowNet2015の取り組み
7. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc Fact Sheet 1. 参加エンジニア数：409名 2. 参加企業・団体：91社 3. 提供機器、製品、サービス総額：74億円（前年72億） 4. 国内、世界初披露製品数：4社 ShowNet2015の取り組み
8. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc ShowNet2015の取り組み 世界初！日本初！ 日本初！PTP相互接続実証実験 日本初！商用網でのRPKIによる経路検証とトラフィック制御 日本初! VXLANをデータプレーンとしたEVPN相互接続検証 日本初! EVPN for VXLAN相互接続検証
9. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc
10. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 各カテゴリ報告書
11. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc L2L3
12. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc AS290バックボーン L2L3バックボーン コアルータ兼 ルートリフレクタ 出展社収容(NFV) 出展社収容(CGN) AS290コアルータ 100G/10Gで対外ルータに接続し、 フルルートのルートリフレクタとして動作 L2ブリッジングにより出展社向けに100G伝送 パスを提供 出展社収容バックボーン CGN, NFVの２種類の出展社収容ネットワーク を構築 Global, CGNによるPrivate、NFVによるPrivate の３種類の接続性を提供
13. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc AS290アクセス網 L2L3バックボーン AS290アクセス収容ルータ 今年は出展社、会議棟、DC・サーバ、生活線の ネットワークをL3で収容 出展社収容ネットワーク アクセス収容ルータと一体化した、スイッチ ポートとして動作する多ポート機器をPod IOT 下の出展社の収容機器として採用 その他の収容はL2ネットワークで構成 L2冗長構成の実現のため、複数の筐体を１台の スイッチとしてあつかえるStack機能や、複数の リンクをまとめるLink Aggregation機能を例年 通り採用
14. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc スケールアウトするNFV
15. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 今年のSDN/NFVの取り組み • スケールアウトするNFV • バックボーンにおいて、 • サーバを追加すればするほど、 ネットワーク全体の転送量の 上がるNFV • 容易なリソースの追加投入 • できるだけVMの構成を一元化 • コピーするだけでVM/サーバを 追加投入 SDN/NFV
16. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 16 SDN/NFV@ShowNet 2015 • スケールアウトできるNFV 1. 同一機能を複数のVAで構成 2. OpenFlowを用いた 複数VA間のロードバランス 3. 様々な高速化手法の利用に よる性能の向上 SDN/NFV
17. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 17 Traffic analysis VM-300 Firewall CSR1000V DDoSミチゲーション Thunder 6435-TPS vCPE (NAT/ToS) vSRX SDN/NFV概要 • ユーザごとにサービスチェインを選択 • vCPEでパケットにマーキング • 各サービスをToSの各bitに埋め込む 1. OpenFlowでサービスを適用するか判断 • ToSの特定bitをチェック • 1ならVNFへ、0なら迂回 2. 1つのサービスを構成する複数VAへ分散 • 送信元アドレスをハッシュしてパケットを 転送するVAを決定 • OpenFlowで決定したVAへOutput OpenFlow Switch OpenFlow Switch OpenFlow Switch OpenFlow Switch SDN/NFV
18. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 18 Web画面からサービスを選択 • Webポータル画面から、 ユーザごとにチェイン したいサービスを選択 • クリックすると、 コントローラがvCPEへ ToSへのマークを指示 SDN/NFV
19. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 19 サーバとVAの段階的追加による性能拡張 • OpenFlowスイッチでトラフィックを複数のVAに分散 • 同一設定のVAをコピー、またはサーバを追加投入していく ことで、トラフィックをバランスしてスケールアウトでき る • どうしても変更が必要な部分には様々な自動化技術で対応 ・・・ VNF n スケールアウト ユーザトラフィック Controller OpenFlow Switch SDN/NFV
20. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 20 Traffic analysis VM-300 Firewall CSR1000V DDoSミチゲーション Thunder 6435-TPS vCPE (NAT/ToS) vSRX SAMURAI連携 • DDoSの検知と防御 1. SAMURAIでShowNetに来るDDoSを検知 2. SAMURAIからの検知通知メールを受信 3. NOCが対象ユーザのDDoSサービスをON 4. Flowがミチゲーション装置経由に 5. A10 Th6435-TPSでDDoSを軽減 OpenFlow Switch OpenFlow Switch OpenFlow Switch OpenFlow Switch DDoS SAMURAI SDN/NFV
21. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 21 まとめ • スケールアウトするNFV • 通るべきサービスの識別子をパケットに埋め込み、 • パケットI/O高速化技術を用いつつ、 • なるべく多くの同じVMを並べて性能を スケールアウトする Openflow Switch Openflow Switch Openflow Switch Openflow Switch SDN/NFV
22. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 22 御協力ありがとうございました SDN/NFV
23. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc External / 伝送
24. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 24 ShowNet 2015の対外接続図 対外接続 専用線 インターネット・トランジット(ISP) インターネット・エクスチェンジ(IX) 複数の拠点と100Gおよび10G専用線により 合計230Gbpsで接続 5ISPからIPv4/IPv6フルルートを受信 クラウドASでもフルルート接続を実施 5つの国内大手IXの全てに接続 国内・国外のべ114の事業者とPeerを実施
25. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 25 エクスターナル 対外接続 • キャリアとクラウドを模した２つのASを構築 • 大手町・幕張をまたぐSDN-IXで自在なパスの設定 • 100G接続による対外8K伝送の実現
26. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 26 対外接続のコントリビューター 対外接続 トランジットの提供 AS番号 会社・組織名 サービス名 2516 KDDI株式会社 KDDIインター ネットゲートウェイ 2914 NTTコミュニケーションズ 株式会社 Global IP Network 4713 NTTコミュニケーションズ 株式会社 OCN 17676 ソフトバンクモバイル 株式会社 ULTINA Internet 2497 株式会社インターネット イニシアティブ インターネット 接続サービス IX接続ポートの提供 会社・組織名 IX名 サービス名 WIDE Project DIX-IE DIX-IE WIDE Project NSPIXP23 NSPIXP23 日本インターネット エクスチェンジ株式会社 JPIX IXポートサービス インターネット マルチフィード株式会社 JPNAP JPNAP東京Ⅰ サービス BBIX株式会社 BBIX IXコネクト サービス
27. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 27 回線のコントリビューター 対外接続 回線の提供 会社・組織名 サービス名 NTTコミュニケーションズ株式会社 Global IP Network NTTコミュニケーションズ株式会社 Arcstar Universal One イーサネット専用線 10Gbps アルテリア・ネットワークス株式会社 ダイナイーサ 100G BBIX株式会社 IXコネクトサービス
28. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 28 Interop Tokyo 2015 Peerのご協力 対外接続 DIX-IE&NSPIXP23 接続ネットワーク AS番号 会社名 サービス名 2500 WIDE Project WIDE 7671 NTTスマートコネクト株式会社 MCNET 7503 株式会社エアネット AIRnet 18125 農林水産省研究ネットワーク MAFFIN 7660 アジア太平洋高度ネットワーク 日本協議会(APAN-JP) Asia-Pacific Advanced Network(APAN) JPNAP東京Ⅰ 接続ネットワーク AS番号 会社名 サービス名 9595 株式会社エヌ・ティ・ティ エムイー XePhion/WAKW AK 2514 (株)NTTPCコミュニ ケーションズ InfoSphere 2510 富士通株式会社 INFOWEB 2518 ビッグローブ株式会社 ビッグローブ 15169 Google Inc. Google RouteFEEDサービスでの接続： 74 ネットワーク
29. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 29 Interop Tokyo 2015 Peerのご協力 対外接続 JPIX 接続ネットワーク (1/3) AS番号 会社・組織名 サービス名 17961 ミテネインターネット MITENE 2907 国立情報学研究所 SINET 7522 株式会社STNet STCN 4675 ユニアデックス株式会社 U-netSURF 18070 株式会社グローバルネットコア N-plus 7529 株式会社ネットアイアールディー NETIRDインター ネットサービス 18150 株式会社佐賀新聞社 佐賀新聞・長崎新聞イ ンターネット(S.N.I) 9354 ㈱コミュニティネットワークセン ター CNCI 23780 CTBメディア株式会社 CTB 18282 Tonami Transportation Co., Ltd. CoralNet 17534 株式会社ネスク NSKNET JPIX 接続ネットワーク (2/3) AS番号 会社・組織名 サービス名 10000 株式会社長崎ケーブルメディア NCM-NET 9595 株式会社エヌ・ティ・ティ エムイー XePhion/WAKW AK 2514 (株)NTTPCコミュニケーションズ InfoSphere 2515 一般社団法人日本ネットワークイン フォメーションセンター JPNIC 7679 九州通信ネットワーク株式会社 QCN 9370 さくらインターネット株式会社 SAKURA-B 23620 株式会社DMM.comラボ DooGA 18126 中部テレコミュニケーション株式会社 コミュファ光 /CTC EtherLINK 9355 国立研究開発法人 情報通信研究機構 NICT 2518 ビッグローブ株式会社 ビッグローブ
30. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 30 Interop Tokyo 2015 Peerのご協力 対外接続 BBIX 接続ネットワーク AS番号 会社名 サービス名 17686 アクセリア株式会社 Accelia 23780 CTBメディア株式会社 CTB 17707 テコラス株式会社 DATAHOTEL 17941 株式会社ビットアイル BIT-ISLE 18150 株式会社佐賀新聞社 佐賀新聞インターネッ ト新聞・長崎 (S.N.I) 23820 楽天株式会社 楽天市場 2518 ビッグローブ株式会社 ビッグローブ JPIX 接続ネットワーク (3/3) AS番号 会社・組織名 サービス名 4678 キヤノンITソリューションズ株式会社 FINE 38043 ソフィア総合研究所株式会社 SRINET
31. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 伝送装置 伝送装置 100G伝送 AS290の100Gバックボーンに採用 小型トランシーバCFP4を採用した本邦初公開機器 やデジタルコヒーレント技術による1波400G伝送に 対応した”Beyond 100G”機器も登場 10G伝送 出展社および生活線のアクセス収容部に採用 DC向け大容量・多回線収容機器の登場 100G伝送 10G伝送
32. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc RPKI相互接続実証実験
33. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc RPKI相互接続実証実験 概要 RPKI相互接続実証実験 ➤ 各ベンダ機器での個々のValidation挙動の差異の検証 ➤ マルチベンダ間でのValidation結果の伝搬の相互運用性を確認 ➤ Validation結果に基づくトラフィックエンジニアリングの実証実験を実施 ➤ 国内初となるISPサービス提供ネットワークでのRPKIの完全適用を実現 ➤ 不正な経路広告(経路ハイジャック)の影響をを受けないための仕組み ➤ BGPで受信した経路に対して、正当なアドレスの所有者のASからの経路広 告かどうかを判定する(Origin Validation) RPKIとOrigin Validationとは？ ShowNetでのRPKI
34. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc RPKI相互接続実証実験 検証項目 1. ROA CacheサーバとのRTRセッション確立 2. Validationの正常性 3. Invalid経路の破棄(Drop) 4. Invalid経路の広告(Advertise) 5. Validation結果に基づくCommunityおよびLP操作の有効性 1. LPの変更 2. LPの加算 6. Validation結果に基づくStandard Communityの付加 7. iBGP広告経路へのOrigin Validation Extended Communityの付加 8. eBGP広告経路へのOrigin Validation Extended Communityの付加(標準外) 9. Extended CommunityによるValidation結果のiBGP伝搬の相互接続性 10.Validationをdisableしたときの経路の評価 11.RTRセッションが全断したときの経路の評価 RPKI相互接続実証実験
35. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc Cisco CRS4/S ShowNetでのRPKI相互接続実証実験 RPKI相互接続実証実験 AS131154 AS290 RPKI対応 eBGPルータ ROA キャッシュサーバ Huawei NE5000E Cisco ASR9900 Juniper MX480 Mis-Origin経路 広告ルータ 不正な強い経路 AS18131 ShowNet JPNIC MF Validation結果に基づくトラフィックエンジニアリングの実証実験を実施 正しい経路 Validな経路の 優先的選択(LP) iBGPのCommunityによる Validation結果の伝搬
36. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 全対外接続点でOrigin Validation実施 RPKI相互接続実証実験 RPKI対応 eBGPルータ Huawei NE5000E Cisco ASR9900 Juniper MX480 ルートリフレクタ Cisco CRS4/S KDDI JPIX DIXIE WIDE OCN ntt.net IIJ NTTCom JGN JPNAP Cloud AS AS18131 AS290
37. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc SDNを活用した "次世代のIX” (Internet eXchange)
38. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 38 SDN 技術のIXにおける活用 • Software Defined Networking (SDN) 技術 • OpenFlowに代表されるソフトウェアを用い たネットワーク機能制御・管理技術 • SDN技術をIXの基盤に利用 • 細かな経路制御 (GRANULARITY) • 柔軟なパス交換 (FLEXIBILITY) • セキュリティ機能 (SECURITY) SDN IX
39. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 39 ShowNet 2015での挑戦 SDN IX • IXにおけるDoS/DDoS ミティゲーション機能 • 攻撃流入ポートでのミティゲーションを実施 • 攻撃トラフィックによる被害ASーIX間の帯域 圧迫を回避 • 分散IX • 大手町・幕張にOpenFlowスイッチを分散配置 • パス冗長化 • コントローラ冗長化
40. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 40 SDN IXの構成 • 大手町・幕張にスイッチと コントローラを分散配置 • ShowNet AS間／対外組織 を接続 大手町 幕張 ShowNet NEC PF5240 NEC PF5240 O3Project Lagopus O3Project Lagopus Dell PowerEdgeFX SDN IX
41. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 41 AS間レイヤ2パス構築 • 事業者間を跨ぐレイヤ2パスを OpenFlowを用いて自動でIX上 に構築 • 用途 クラウド事業者間や通信事業者 間での顧客ネットワークの接続 SDN IX
42. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 42 IXにおけるセキュリティ課題 SDN IX • 課題：DDoS攻撃によるIXと接続事業者間の帯域逼迫 • 現在：被害事業者内でのフィルタ →IXと事業者間の帯域逼迫を解消できない IXとの帯域を圧迫 被害事業者
43. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 43 SDN IXでのDDoS防御 • 被害事業者の運用者がコント ローラを介してフィルタ設定 • 攻撃トラフィックを流入口 で破棄 • IXと被害事業者間の帯域逼迫 を回避 • TestCenterとSAMURAIを用い たデモを実施 被害事業者 SDN IX
44. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 44 DDoS防御デモ (cont’d) SDN IX ②sFlowデータ収集 (pf5240-1, pf5240-2, ne5k) ③sFlowデータ解析 SAMURAI ④検知情報の通知 （担当NOC宛にメー ル） テスタ TestCenter ①擬似攻撃トラフィッ クをShow Net内部に送 信 (SYN Flood, DNS Amp) AS290 運用者 ShowNet NOC SynFlood 0.5Gbps DNS Amp 1.0Gbps
45. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 45 DDoS防御デモ SDN IX テスタ TestCenter SDN IXの流入口で攻撃トラ フィックを破棄し、IXと ShowNet間の帯域逼迫を回避 ⑤フィルタ設定要求 ⑤フィルタ設定投入 OpenFlowを利用 IX コントローラ
46. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 46 ShowNet2015での成果 SDN IX • 対外組織とShowNetを相互に接続 • 3 IX, 1 Transitを大手町にて収容 • 開催期間中安定した接続性を提供 • DDoS防御デモ • TestCenterとSAMURAIを用いてSDN IX上での DDoS防御機能をデモ • 分散IXを実現 • 4台のOpenFlowスイッチを用いた分散IXを構築 • PF5240, Lagopus合計4台を利用
47. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 47 御協力ありがとうございました SDN IX
48. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc Box switch
49. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 49 ShowNet2015を支える様々な場所で使用 マネージメントネットワーク 会議棟 生活ネットワーク プレスルーム パビリオン収容 無線収容 POD収容 ・ ・ ・ 各技術収容
50. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 50 ShowNetを支えるうえで必要不可欠 BOX型スイッチ 多くのコントリビューションを頂きました 皆様にご提供頂き、無事にShowNet構築と安定運用 が実現できました。 誠にありがとうございました。 来年もよろしくお願いいたします！！
51. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 51 Special Thanks! BOXスイッチ CIOプラス 10 HUAWEI 5 CISCO 1 HP 15 DELL 23 NEC 41 Extreme 2 日本ソルテッ ク 1 FXC 10 NOC 16 計：124台
52. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc InterCloud / Server
53. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 今年の主な取り組み ➢2種類のクラウド基盤 VMware によるマネージド・クラウド環境 OpenStack を用いたセルフサービス仮想マシン環境 ➢クラウド間連携 クラウド間のオープンな閉域網接続を目指す Multi Cloud Fablic ➢広域負荷分散 マルチクラウドxマルチベンダーで実現するGSLB BCP/DR・スケールア ウトソリューション ➢オーバーレイ マルチキャストプロトコルを使わないVXLAN相互接続検証 InterCloud / Server
54. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc クラウド基盤
55. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc マネージド・クラウド環境 • AS290にて出展社向け、来場者向けのコアサービスを提供 • ShowNetの構築・運用、およびインターネット接続に必要なサービスを提供 Vmware VSAN DELL Compllent DELL C6220 Cisco UCS NetOne EVO:RAIL DNS MODEL DHCP MODEL Moniter MODEL WLC MODEL InterCloud / Server
56. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc セルフサービス型クラウド • AS131154にて、OpenStackを使ったIaaSクラウドを構築 • セルフサービスによる仮想マシンのプロビジョニング InterCloud / Server
57. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 用途に応じた複数のストレージ • パフォーマンス重視 • SSD,HDDを組み合わせた階層型ストレージ • APIアクセス用 • OpenStack Cinderから直接操作 • 分散ストレージ • ブロックストレージ、オブジェクトストレージとしてCephを実験的に使用 HDD SSD InterCloud / Server
58. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 使用機器・ソリューション マネージド・クラウド Dell PowerEdge c6220 サーバ Compellent ストレージ Cisco 5108 Blade Chassis サーバ Net One Systems EVO:RAIL 仮想化インフラ VMware vSphere 仮想化インフラ セルフサービス型 クラウド Dell PowerEdge c6220 サーバ EqualLogic PS6010E Cinderストレージ Uniadex Big Cloud Fabric Neutronネットワーク Red Hat RHEL OpenStack Platform OpenStack Red Hat Ceph Storge Cinder/Glance/Swift用 分散ストレージ 東陽テクニカ Load DynamiX Swiftパフォーマンス計測 InterCloud / Server
59. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc クラウド基盤を支えるネットワーク 構成管理ツールを用い、イベントネットワークで求められる構築の効率化、及び運用の自動化を訴求 UCS5108 UCS6248UP S4810-ON S4810-ON S3048-ON S4810 UCSマネージャー で一括管理 “Cumulus Linux 搭載 スイッチ” + “Ansible” で 設定の自動化 storage SX1012 SX1024 ストレージプールには 高帯域で接続 InterCloud / Server
60. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc クラウド間連携 広域負荷分散
61. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc インタークラウド / マルチクラウド 様々なネットワークが接続可能なオープンな プライベートコネクトプラットフォームを目指して Multi Cloud Fabric オンプレミス クラウド モバイル エンター プライズ コンテンツ プロバイダ InterCloud / Server
62. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc ShowNet 2015マルチクラウド構成 InterCloud / Server
63. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc ShowNet内の構成 BBIX Private Connect ボーダ(ASBR) コア(P) エッジ(PE) Cisco Nexus7706 Juniper QFX10002 Huawei CE12800 Juniper MX240 古河電工 FITELnet FX1 サーバファーム AS131154 Red Hat Enterprise Linux OpenStack Platform InterCloud / Server
64. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc マルチクラウドオーケストレーション ワークロードの監視、スケーリング、負荷分散の自動化 クラウドB クラウドA Multi Cloud Fabric GSLB インターネット www.interop.jp オーケストレータ スケーリング InterCloud / Server
65. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 広域負荷分散（www.interop.jp） InterCloud / Server
66. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc オーバーレイ (VXLAN相互接続検証)
67. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 今年の取り組み RFCに則り、マルチキャストプロトコルを用いた VXLAN相互接続検証を実施 導入障壁と考えられるマルチキャストプロトコルを 排したVXLAN相互接続検証を実施 2014年 2015年 VXLANの導入を検討する多くのオペレータが思う事 マルチキャストの運用が不安… InterCloud / Server
68. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 3種類の構成モデル • マルチキャストプロトコルを使わず、VXLANが導入可能な3種類 の構成モデルを構築 • モデル別に、マルチベンダ間の相互接続性を確認 EVPN連携 OVSDB連携 Static ネクストホップ の解決方法 EVPN OVSDB (NSX controller) 設定投入 BUM(※1)の 処理方法 Ingress replication NSX Service Node replication Ingress replication マルチキャストに 頼っていた部分を 別方式で解決 (※1) Broadcast, Multicast, Unknown Unicast パケット InterCloud / Server
69. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 構成機器一覧 EVPN連携 Cisco Nexus 9504 Cisco Nexus 9508 Cisco Nexus 9396PX Cisco Nexus 9372TX Juniper MX80 Juniper QFX5100 NTT Communications GoBGP OVSDB連携 VMware NSX (Multi Hypervisor) / ESXi Juniper MX240 Juniper QFX5100 DELL S6000-ON Linux KVM Open vSwitch Static mode Alaxala AX4630S A10 TH930 InterCloud / Server
70. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc EVPN連携VXLAN構成モデル N9508 N9504 MX80 RR RR RR N9396px N9372tx QFX5100 QFX5100 GoBGP GoBGP VTEP VTEP VTEP VTEP VTEP VTEP BUMトラフィック EVPN BGP Peer 【ネクストホップ解決】 自身が保持する収容ホスト MACアドレスをEVPN NLRI で他VTEPに通知 EVPN NLRI を受信した 他VTEPは その情報を元に 転送テーブルを作成 【BUMの処理】 ホストからきたBUMは、 複製して他VTEPに転送 (転送が必要なVTEPは、EVPN NLRI で学習) InterCloud / Server
71. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc OVSDB連携VXLAN構成モデル ✓コントローラーと連携する集中管理型 ✓コントローラーとVTEP間でOVSDBプロトコ ルを使用 ✓コントローラーはVMware NSX を使用 ✓関連ドキュメント ー[RFC7407] The Open vSwitch Database Management Protocol https://tools.ietf.org/html/rfc7047 InterCloud / Server
72. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc OVSDB連携VXLAN構成モデル MX240 NSX Service Node S6000-ON NSX Control Cluster BUMトラフィック OVSDB Message 【ネクストホップ解 決】 コントローラーから 他VTEPの情報を学習 その情報を元に転送 テーブルを作成 【BUMの処理】 ホストからきたBUMは Service Nodeに転送 Service Node が複製して 他VTEPに転送 VTEP VTEP VTEP ESXi VTEP QFX5100 VTEP NSX vSwitch Open vSwitch Linux KVM InterCloud / Server
73. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc Static mode VXLAN構成モデル AX4630S BUMトラフィック 【ネクストホップ解決】 予め対向VTEPを静的設定し、 転送テーブルを作成 【BUMの処理】 ホストからきたBUMは 複製して他VTEPに転送 TH930 VTEP VTEP InterCloud / Server
74. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc ご協力企業様 多大なるご協力を賜り誠にありがとうございました。 InterCloud / Server
75. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 無線(Wireless)
76. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 一般的なイベント会場での電波環境 無線（Wireless） AP AP AP AP AP AP デバイス数とカバーエリアをメインに設計 AP AP AP AP AP AP AP AP AP AP AP AP 持ち込まれたデバイスと会場設置APの電波で、 通信に使える周波数帯が限られる
77. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc ShowNetでの電波環境 無線（Wireless） AP AP AP AP AP AP AP AP AP AP AP 1. ノイズ対策のためAP間隔をあけて余裕を持たせる 2. サービス提供したい場所には特殊アンテナを設置してより良い無線LAN環境を作る AP AP AP AP ShowNetの無線LAN設計 一般的な無線LAN設計
78. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc ShowNetでの電波環境 無線（Wireless） 3. サービス提供したい場所では特殊アンテナの特性を利用してカバレッジにメリハリをつける AP AP AP AP AP AP AP AP AP AP AP AP 本番環境 事前設計
79. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc ShowNet2015における 新たなSolution 無線（Wireless） • 特殊アンテナ ➢ LCX(漏洩同軸)ケーブル ✓アクセスコーナー ✓各ホールバルコニー ➢ スタジアムアンテナ ✓Hall 4-6 CatWalk • 無線環境の調査 ➢ QoE測定 ➢ ノイズ源の調査 ←スタジアムアンテナ(表) ← スタジアム アンテナ(裏) ↑LCX(漏洩同軸)ケーブル ↑無線環境の調査画面
80. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 今後の展望 無線（Wireless） • 混雑した環境で利用す るための新しい規格 • さらなるスループット の高速化 ➢ IEEE802.11ac ✓phase 1：1.3Gbps ✓phase 2：3Gbps超 ➢ IEEE802.11ad ： 1995 2000 2005 2010 2015 801.1 1 11b .11 a .11 g .11 n .11a d .11a c .11a x 100G 10G 1G 100M 10M 1M
81. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 81 クライアント数 無線（Wireless） SSID 用途 6月10日 6月11日 6月12日 2015ShowNet 会場内Wi-Fiサービス 1,472 1,954 1,805 2015ShowNet-L 会場内Wi-Fiサービス （LCX） 24 67 63 2015ShowNet-S 会場内Wi-Fiサービス（ス タジアムAP） 136 275 233 Total 1,632 2,296 2,101 NOC-Life-E NOC/STM/Contributor 向けWi-Fiサービス 183 235 227
82. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 82 無線LAN測定結果 無線（Wireless） 1. Ping練り歩き ➢ 試験内容 ✓ SSID:2015ShowNetに接続しPCから8.8.8.8にPingしながらHall4-7, 2F, 会議棟を練り歩き ➢ 試験目的 ✓ 通信品質の悪い場所の特定、スループット測定ポイントの決定 2. Hall4-7でのスループット測定 ➢ 試験内容 ✓ SSID:2015ShowNetに接続し、ホール4-7の計16箇所で速度計測サイト(http://www.musen- lan.com/speed/) にアクセス ➢ 試験目的 ✓ 一番混雑する来場者向けサービスの正常性確認、チューニング
83. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 83 3. Active Monitoring（IXIA IxChariot Pro） ➢ 試験内容 ✓ 会場内にHW Probe（IxChariot Pro Basic/XR2000）を設置し、以下4項目に対する調査を実施。 • RSSI(シグナリングの計測) • HTTP response time (Latency) • ICMP テスト/ ジッター（Jitter) • TCP Throughputテスト ➢ 試験目的 ✓ 無線環境における来場者QoE測定 無線LAN測定結果（Con’t） 無線（Wireless） IxChariot Pro Basic XR2000 Assoc （TCP Throughput測定用の対地）
84. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 84 4. Rogue AP検知（DELL Airwave） • 試験内容 • 会場内に設置したモニタリング専用APを用いて、Rougue APを検知 • 試験目的 • 持ち込まれたデバイスや会場設置APの調査 5. Wi-Fi以外のノイズ源の検出（DELL Airwave） • 試験内容 • 会場内に設置したモニタリング専用APを用いて、Non Wi-Fiによる干渉（周波数帯）を検出 • 試験目的 • 2.4G帯の品質評価 無線LAN測定結果（Con’t） 無線（Wireless）
85. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 85 測定1:Ping練り歩きの結果 無線（Wireless） Hall4- 6 Hall7 Acces s 2F Conf Life 6/10 10:0 0 ◦ ◦ ◦ ◦ ◦ ◦ 6/10 15:0 0 △ △ ◦ ◦ ◦ △ 6/11 10:0 0 ◦ ◦ ◦ ◦ ◦ ◦ 6/11 15:0 0 △ ◦ ◦ ◦ ◦ △ 6/12 10:0 ◦ ◦ ◦ ◦ ◦ ◦ ◦: 問題なし △: 一部不安定 ×: 通信不可
86. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 86 4B11 南口6 南口5 南口4 電気室 商談コーナー4 WC 男 WC 女 商談コーナー5 WC 女 WC 男 電気室 電気室 WC 女 WC 男 商談コーナー6 北口6 電気室 WC 女 WC 男 会議室6 M 多目的室6 主催者室6 WC 男 WC 男 WC 女 WC 女 電気室 会議室5 多目的室5 主催者室5 主催者室4 電気室 会議室4 M 北口5 北口4 EV EV June 10-12 , 2015 Makuhari Messe (Chiba Japan) As of MAY 1 2015 ShowNet NOC 4A01 (64.3) 4B14 4B17 4J11 12x6(8) Sky 4J16 9x6(6) Check Point McAfee 4H21 15x9(15) 4H27 10x9(10) Hitachi Metals Lounge 4G32 12x12(16) Soliton 4U32 9x15(15) Fujitsu 5D32 12x18(24) Nissho 4N27 9x12(12) Otsuka 4N21 14x8(12) A10 Networks 4U27 8x18(16) Fortinet 5D27 9x18(18) Marubun 4T21 6x9(6) 4T24 5A21 6x6(4) Toyo 5D21 6x6(4) Logic Vein 5B24 5H21 6x9(6) 5H24 6x9(6) Sky 4N11 24x12(32) 4U17 IBC 5B17 6x12(8) Mitsui Knowledge Macnica 5H17 6x9(6) Artiza 5J14 6x6(4) Networld 5J11 6x6(4) ZTE 5J07 YAMAHA/ SCSK 5G04 6x12(8) SCSK 5C04 6x6(4) Toyo 4Z04 6x6(4) ShowNet NOC 4N04 12x21(28) Furuno 4Z07 6x6(4) 5B07 4U10 6x12(8) PacificNet 5F07 INTEROP Pavilion ShowNet NOC 4P01 Bitrieve/Main Technology 5F01 5N04 9x6(6) 5N08 9x6(6) FKII FKII Mellanox/ Altima 5N12 9x6(6) Alaxala 5N16 9x12(12) Citrix 5U16 9x9(9) NEC 5N21 7.2x18.75(15) SHARP 5S07 6x6(4) 5S10 15x12(20) Connect Free 6A15 10x9(10) NEDO GUTP 6A11 9x6(6) 6A07 9x9(9) Comworth 5W04 6x6(4) ATEN 6B04 6x6(4) Macnica 6F16 9x15(15) NICT 6H12 9x9(9) NICT 6F12 9x4(4) 6F07 12x6(8) NTT-AT 6J08 9x6(6) 6F04 6x6(4) Plat' Home Zabbix 6J04 9x6(6) Comsquare 6F01 ZOHO 4P01 IoT World Arista Brocade 5Z21 9x12(12) 6F21 9x12(15) 5N25 15x54(90 SDI ShowCase HP 5N32 11x21(25.6) Cisco 5Z32 12x21+9x9(37) VMWare 6N32 10x15(16) Lounge 6W32 12x5(6.6) Huawei 6N21 27x12.34(37) 6U21 11x7(8.5) Lounge Huawei Huawei Huawei Huawei Huawei Palo Alto 6N16 9x15(15) Seiko Solutins 6N12 9x6(6) DLink 6N08 9x6(6) DIT 6N05 6x12(8) O'reilly 6P01 6x9(6) 6U05 6S12 6S08 6W12 ( ) Hall6 Hall5 Hall4 6W16 4N32 12x12(16) NOC Storage 4A11 18x5(10) 4T25 4W24 4W25 5B25 5D24 5D25 5B08 5F08 5K07 5J09 6W05 6T08 6S10 6T12 6S14 Class RoomB OpenStage 4F10 9x6(6) DELL Class RoomA 4B21 18x15+9x14(44) 4Y21 Napatech 4F17 6x6(4) 4U18 4Z17 Extreme 4B13 4B15 4B16 4B18 Academic Pavilion 4W17 Anritsu AimEle Huawei JPRS 6W17 Denso Fluke HARADA DYDEN DataControls 5B10 5B11 5F11 5F10 4G31 15x8(13.3) JAIST Fiber26 5J08 5G07 IBsol Raritan FXC 5G15 5F13 5F14 5B13 5B14 5C14 4U15 4U13 4W13 4Y14 4U24 Orizon 4Y25 SunEle 5F25 Jupiter 6W08 CoreConputance 5G14 TokyoUniv KanagawaUniv NAIST CANON SAS 4F14 6x6(4) Niscom Computer Education Quanta ViaScope 5G08 TOMEN 5C10 FIT QNAP GetIT KEIO Univ Sonet Business Panduit Flextronics IoT Pavilion IoT Pavilion FujiFilm NVC 5F24 WaveEle JOHO KOBO 6T10 FFRI DAIWA Technical 5C15 ShowNet APPS Japan 7C32 (76) Hall7 APPS Pavilion 7B28 9x9+7x7(14.3) 7P22 12x6(8) Class RoomD PDC 7F18 6x6(4) SONY 7F15 7G15 7G13 Broad Caster's Innovation 7F13 7P01 7U01 7P04 12x6(8) Socionext Fanfactory 7P09 9x6(6) 7P17 9x6(6) Imagenics/ Videotron Class RoomC Digital Signage Japan DSJ Pavilion 7T25 15x12(20) Positioning Tech ShowCase 7G22 9x15(15) 7B22 7J28 6x6+6x3(6) APPS Pavilion 7J26 Google Newphoria 7G29 7B29 7B32 7H32 6x12(8) KDDI/ YOSHIDUMI/ UNIXON NTT 7K04 7L04 7K06 7P13 7R13 7R15 7J27 7R27 7J29 南口7 電気室 商談コーナー7 WC 男 WC 女 電気室 南口8 ーナー8 WC 男 WC 女 北口7 電気室 WC 男 WC 女 多目的室7 主催者室7 会議室7 M 北口8 電気室 WC 男 WC 女 室8 者室8 会議室8 7G01 RS 8K Signage Theater 7D04 9x12(12) 7K08 12x6(8) 7J13 9x9(9) 7J17 9x8(8) 7T13 7B09 7F08 7F10 7G11 Location Business Japan 7B24 LBJ Pavilion 7B26 Japan material 7T19 15x12(20) 7T15 9x12(12) 7T09 7Y11 Mitsubishi Electric 7F22 7F23 7F24 7F26 7G26 7H26 CHIEF Artesyn ADTech Comnet SDS Nextep Platease Cybernetec 7G14 7G16 ITAccess Dynacom Limelight LancerLink KOBUNDO TOUCHPANEL Intel Musashi HIBINO A-CUBE Sofnet 7Y04 SanTek SKNet 7H10 7G10 ASTRO 7U05 Yasukawa 7W01 Lacima HAYAMI TSUDUKI 7Y12 7Y13 7H09 7G08 7T04 7T07 7Y03 Connected Media Tokyo 7U04 7U07 7T11 7U11 7Y07 7K29 Will Smart ELIVISION Micro Display 7R01 TOSHINAER 7Y09 eVision Kyoei Micro AD DSC7U12 ESRI AS-LOCAS DT Resarch Nexway 7U08 Ngen 測定2：スループット測定 無線（Wireless） 1 2 3 4 5 6 7 8 9 10 11 13 12 14 15 acc ess スループット測定実施ポイント
87. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 87 測定2：スループット測定（6/10 15:00） 無線（Wireless） 測定場所 スループット (bps) 測定場所 スループット (bps) 1 12M/9M 9 8M/8M 2 5M/7M 10 14M/12M 3 6M/6M 11 10M/14M 4 15M/18M 12 7M/5M 5 2M/3M 13 8M/6M 6 6M/7M 14 3M/4M 7 21M/18M 15 7M/6M 8 11M/9M Access 9M/11M コメント No.5のホール6の中央やや北と、No14のホール7の中央東で 動画再生時に画像が乱れることがある
88. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 88 測定2：スループット測定（6/11 15:00） 無線（Wireless） 測定場所 スループット (bps) 測定場所 スループット (bps) 1 10M/8M 9 6M/5M 2 7M/8M 10 10M/11M 3 6M/7M 11 10M/8M 4 14M/13M 12 7M/7M 5 6M/5M 13 8M/7M 6 2M/1M 14 6M/7M 7 12M/14M 15 8M/6M 8 9M/10M Access 8M/9M コメント No.6ホール5中央南で動画再生は厳しい、通常のWEBブラウジングでも遅い
89. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 89 測定2：スループット測定（6/12 15:00） 無線（Wireless） 測定場所 スループット (bps) 測定場所 スループット (bps) 1 8M/8M 9 7M/8M 2 5M/6M 10 9M/9M 3 5M/7M 11 8M/7M 4 2M/3M 12 7M/5M 5 5M/6M 13 8M/8M 6 6M/6M 14 6M/5M 7 11M/9M 15 7M/8M 8 8M/7M Access 8M/7M コメント No.4のホール6の出口前で動画再生時に画像が乱れることがある
90. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 90 測定3：Active Monitoring 無線（Wireless） • RSSI(シグナリングの計測) ✓ dB値として-60を前後している様子を観測 ✓ シグナリングの品質としては安定していると考えられる
91. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 91 測定3：Active Monitoring 無線（Wireless） • HTTP response time (Latency), ICMP テスト / ジッター（Jitter) ✓ 外部サイト（www.interop.jp, www.ixia.com など）に対し、計測を実施 ✓ 11〜15時をピークにレイテンシ、ジッターが上昇する様子を観測 HTTP response time (Latency) ICMP テスト / ジッター（Jitter)
92. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 92 測定3：Active Monitoring 無線（Wireless） • TCP Throughputテスト ✓ 無線<->有線間でTCP Bidirectional Throughputを測定（パケットサイズ：1M ✓ 外部サイトを利用した測定（前項）とほぼ同様の傾向となった
93. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 93 測定4：Rogue AP検知(ホール) 無線（Wireless）
94. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 94 測定4：Rogue AP検知(2F) 無線（Wireless）
95. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 95 測定4：Rogue AP検知(会議棟) 無線（Wireless）
96. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 96 測定5：Wi-Fi以外のノイズ源の検出結果 無線（Wireless） • 検出した主なノイズ源(2.4GHz only) • Bluetoothデバイス • コードレス電話/トランシーバ • 電子レンジなどで使われている Microwaveインバータ
97. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 97 ご協力企業様 無線（Wireless） 多大なるご協力をいただき有り難うございました！
98. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc データセンタ・ファシリティ
99. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 99 ShowNetでのファシリティ課題 データセンタ・ファシリティ • ShowNetはイベントネットワークであり “見せるラック搭載”が必要となる →エアフロー方向や電源構成が複雑になる 熱溜ま り！ エアフロー 方向 各ラック前面 下部から冷却中 エアフロー方 向が複雑な ラック
100. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 100 今年のキーワード：”監視・解析・制御” • ラック内温度の監視 • 使用電力の監視 • 実環境での熱量解析 • ラック内熱溜まり箇所での気流制御 データセンタ・ファシリティ
101. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 101 温湿度・電流監視 温湿度 センサー 温度 センサー 電流 センサー ご提供 ATEN JAPAN様 明京電機様 ニスコム様 Seiko Solutions様 Zabbix Japan様 • ラック内の温度情報や消費電力をNOCより遠隔監視 • 温度急変等の異常発生時は緊急送風、電源振替等の対応 温湿監視画面 データセンタ・ファシリティ
102. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 102 気流解析・制御 ラックの隙間を埋める 気流制御パネル ラックの隙間を埋める 気流制御パネル 現地データを基に発熱量を シミュレーション • 現地データを基に発熱箇所をシミュレーションし可視化 • 気流制御パネルをラック内に配置し、冷気・暖気を分離 ご提供:Tileflow Japan様 データセンタ・ファシリティ
103. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 103 縁の下の力持ち ラックマウントタイプPDU ATENジャパン様 明京電機様 ニスコム様 抜け防止電源ケーブル エイム電子様 プラガブル光トランシーバ (SFP/SFP+/SFP-T) エイム電子様 ネットワーク/サーバラック ゲットイット様 シュナイダーエレクトリック様 センターピア様 摂津金属様 ケーブルテスター Fluke Networks様 原田産業様 サーバーリフター 都築テクノサービス様 コマザワくん （ケージナット取付/取外用治具） センターピア様 データセンタ・ファシリティ
104. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 104 interface （Backbone及び、各エリア間接続機器） SMF 39% MMF 43% Copper 18% Cable Type 100G- LR4 4% 10G-LR 35% 40G-SR4 19% 10G-SR 24% 40G-DAC 1% 1000T 13% 10G-T 4% Media Type データセンタ・ファシリティ
105. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 105 interface （Backbone及び、各エリア間接続機器） 100G- LR4 25% 10G- LR 61% 10G- SR 14% backbone 10G- LR 59% 1000 T 41% Life 10G- LR 97% 1000 T 3% Hall/会議棟 10G- LR 69% 10G- SR 22% 40G- DAC 9% NFV 10G- LR 11% 40G- SR4 11% 10G- SR 51% 10G-T 27% AS290 Server 10G- LR 5% 40G- SR4 45% 10G- SR 27% 1000 T 23% vfes 10G- LR 40% 1000 T 60% inter cloud データセンタ・ファシリティ
106. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 106 interface （Backbone及び、各エリア間接続機器） SMF 86% MMF 14% backbone SMF 59% Copp er 41% Life SMF 97% Coppe r 3% Hall/会議棟 SMF 63% MMF 29% Coppe r 8% NFV SMF 11% MMF 62% Coppe r 27% AS290 Server SMF 4% MMF 73% Coppe r 23% vfes SMF 40% MMF 0% Coppe r 60% intercloud データセンタ・ファシリティ
107. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 107 interface （Backbone及び、各エリア間接続機器） • ここ数年10G-SR/40G-SR4などの、MMFの採用ケースが増加傾向 • 100G-LR4の採用増加 昨年比 減少 増加 Cable Type 2014 2015 Interface Type 2014 2015 SMF 45.8% 38.5% 100G-LR4 1.8% 4.0% MMF 33.8% 43.1% 40G-LR4 0.0% 0.0% Copper 20.4% 18.4% 10G-LR 42.3% 34.6% 1000-LX 2.8% 0.0% 100G-SR10 3.9% 0.0% 40G-SR4 13.4% 18.7% 10G-SR 16.2% 23.2% 40G-DAC - 1.1% 1000-SX 0.7% 0.0% 1000T 10.9% 13.0% 10G-T 9.5% 4.2% データセンタ・ファシリティ
108. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 108 電源関連 データセンタ・ファシリティ 100V回路数(回路) 開催年 場所 回路数 合計 対前年増減 対前年比 2011年 4NOC 51 92 30 148% DC NOC（ShowNet） 17 DC NOC（VDC） 24 2012年 NOC_BB 72 98 6 107% NOC_DC1 15 NOC_DC2 11 2013年 NOC#01-10 62 124 26 127% NOC#11-20 62 2014年 NOC#01-15 88 88 -36 71% 2015年 NOC#01-16 97 97 9 110％ 200V回路数(回路) 開催年 場所 回路数 合計 対前年増減 対前年比 2011年 4NOC 7 16 -2 89% DC NOC（ShowNet） 2 DC NOC（VDC） 7 2012年 NOC_BB 9 14 -2 88% NOC_DC1 3 NOC_DC2 2 2013年 NOC#01-10 8 15 1 107% NOC#11-20 7 2014年 NOC#01-15,NCS 22 22 7 147% 2015年 NOC#01-16 16 16 -6 73％ 消費電力（VA） 開催年 場所 VA 合計 対前年増減 対前年比 2011年 4NOC 36,560 64,890 10,960 120% DC NOC（ShowNet） 9,540 DC NOC（VDC） 18,790 2012年 NOC_BB 42,530 59,160 -5,730 91% NOC_DC1 9,580 NOC_DC2 7,050 2013年 NOC#01-10 41,350 79,560 20,400 134% NOC#11-20 38,210 2014年 NOC#01-15,NCS 61,480 61,480 -18,080 77% 2015年 NOC#01-16 62,120 62,120 640 101% NOCラック コンセント数 5-15：440個 5-20：8個 L6-20：34個 L6-30：5個 C-13 ：4個
109. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 109 ラック／機器台数 データセンタ・ファシリティ NOCラック本数(本) 開催年 場所 本数 合計 対前年増減 対前年比 2011年 4NOC 12 21 2 111% DC NOC（ShowNet） 3 DC NOC（VDC） 6 2012年 NOC_BB 14 20 -1 95% NOC_DC1 3 NOC_DC2 3 2013年 NOC#01-10 10 20 0 100% NOC#11-20 10 2014年 NOC#01-15 15 15 -5 75% 2015年 NOC#01-16 16 16 1 107% 機器台数 開催年 場所 合計 対前年増減 対前年比 2012年 NOC_BB、NOC_DC 270 - - 2013年 NOC_BB 320 50 119% 2014年 NOC#01-15,NCS 230 -90 72% 2015年 NOC#01-16 301 71 131% NOCラック 使用オプション 棚板 ：23組
110. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc セキュリティ
111. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc サイバーキルチェーンの断絶
112. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc サイバーキルチェーンの断絶 セキュリティ（運用によるサイバーキルチェーンの断絶） (1)計画立案 (2)攻撃準備 (3)初期潜入 (4)基盤構築 (5)内部浸入・ 調査 (6)目的遂行 (7)再浸入 ✓ 攻撃目標設定 ✓ 事前調査 ✓ C&Cサーバ ✓ 標的型メール の作成 ✓ 水飲み場攻撃 ✓ 標的型メール の送信 ✓ バックドア構築 ✓ ボットネットへ の参加 ✓ データの外部送 信や破壊活動 ✓ 業務妨害 ✓ 内部拡散 ✓ 共有サーバへの 浸入 ✓ バックドアから の再浸入 ✓ 情報の再搾取 ※IPAより抜粋 (https://www.ipa.go.jp/security/vuln/newattack.html) • 活動フェーズのどこかで対策を打つことで、それ以降の活動を遮断 • 更に、早い段階で対策を打てば、被害拡大を防ぐことが可能
113. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc ShowNet2015 セキュリティのポイント セキュリティ ファイア ウォール TAP Layer1 Aggregation IPS/IDS ファイア ウォール Sandbox Sandbox Mail Srv Email Sandbox DDoS防御 TAP フォレンジック SIE M 2014年→2015年 • インライン • 多層防御 • フォレンジック • SIEMの運用
114. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 構築からIRまで適用範囲を拡大 セキュリティ Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 8 サイバー攻撃対策 The Internet 5タプル制御 浸入 入 防 御 やアプリ ケーション制御 サンドボックス アンチウイルス • 昨年 年 に 引 き続き多層防御を実装 • 既知の脅威向け • ファイアウォール • IPS • 未知の脅威向け • サンドボックス Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 10 サイバー攻撃対策 • 出⼝ 口 対 策 と し てサンド ボッ ク ス • ⼊ 入 ⼝ 口 対 策 と し てのサンド ボッ ク スで 、 コ ールバッ ク や悪意あるサイ ト への アク セスを検知 • サンド ボッ ク スでの解析結果や各社 のイ ンテリ ジェ ンスで登録さ れてい るサイ ト へのアク セスを検知 Sandbox 各社の インテリジェンス Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 13 SI EM による相関分析 ソリューション IDS/IPS Sandbox Firewall • SIEMに各種セキュリティ 装置のログを集約 • ログの相関分析により、個 別のログの関係性を解析・ 検知 • マルウェアの異 異 な る フェー ズを捉えて検知 SIEM ※SIEM: Security Information & Event Management Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 14 ソリューション • インターネット向けのパ ケットを収集・保存してお くことで、 • MD5解析などで同じマル ウェアへの感染や同じサイト へのアクセスの有無を確認 • 検体を再構成することで、更 更 なる解析やシグネチャ生 生 成 へ の活用 用 サイバーキルチェーンを 断絶する、 セキュリティ オーケストレーション
115. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc DDoS対策の最適分散配置
116. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 116 DDoS対策機能の最適分散配置 セキュリティ（DDoS対策） 課題：インターネット基盤を揺るがす大規模DDoS攻撃 対策：IX, トランジット, 自AS内での対策機能を分散配置 2. SDN IX IX攻撃流入口での攻撃トラフィック破棄 1. 緩和サービス BGP経路操作による攻撃緩和装置への 誘導・破棄 3. BGP Flowspec 網内緩和装置への誘導攻撃トラフィック の制限・破棄 自組織 IX トランジット
117. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 117 ISP Free Mitigation SDN- IX BGP Flowspec + 緩和装置 NF V
118. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc トランジットと連携したDDoS防御 セキュリティ（トランジット連携防御） サーバA life/来場者端末等 出展社 Transit xFlowサンプル ShowNet External コレクタ 攻撃者 Dest IP:サーバA Source IP: B Dest port : 80 Source port :1900 1.攻撃判定 3.攻撃防御 正常者 Dest IP:サーバA Source IP: B Dest port : 80 Source port :2345 連携装置 防御指示 2.防御連携 防御指示
119. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc IXにおけるセキュリティ課題 セキュリティ（SDN IX） • 課題：DDoS攻撃によるIXと接続事業者間の帯域逼迫 • 現在：被害事業者内でのフィルタ →IXと事業者間の帯域逼迫を解消できない IXとの帯域を圧迫 被害事業者
120. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 120 SDN IXでのDDoS防御 セキュリティ（SDN IX） • 被害事業者の運用者がコント ローラを介してフィルタ設定 • 攻撃トラフィックを流入口 で破棄 • IXと被害事業者間の帯域逼迫 を回避 被害事業者
121. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 2015年もありがとうございました ※順不同 セキュリティ
122. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc PTP相互接続実証実験 PTP（Precision Time Protocol）
123. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 123 高精度な時刻を得るための手段と課題 PTP（Precision Time Protocol） • 高精度な時刻を得るための手段 • 高精度な時刻ソース：GNSS（GPS,GLONASSなどの衛星） • GNSSから時刻を得るための手段 • 専用アンテナをオープンスカイ（見晴らしのよい）な場所に 設置する • アンテナと機器間は同軸ケーブル（10D-FBなど）で接続する • 課題 • モバイルLTE-Aの普及により、時刻同期を実施しなければならない デバイスの数の増加 • 時刻同期のためには、GNSSから直接時刻を得るため専用アンテナ 〜同軸ケーブルを敷設する必要がありコスト増加
124. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 124 課題解決手法 PTP（Precision Time Protocol） • GNSSアンテナ敷設数が多い＝運用、メンテナン スコスト高 • 敷設数を減らすための技術手法 • 同軸分配器の利用 • 同軸分配器の分配数分の機器収容となるた め、数に限りがあり柔軟性に欠ける • IP/イーサネットワーク経由で高精度な時刻を 配信する＝PTPの利用
125. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 125 IP/イーサ上でのマイクロ秒オーダ同期技術の実現 PTP（Precision Time Protocol） •IEEE 1588：Precision Time Protocol (PTP) •IEEE1588-2008(v2) •NTPと同様パケットベースのプロトコル •NTPはミリオーダー •時刻源はGNSSを想定 •同期精度 •マイクロ秒以下のオーダ •誤差の主要因である伝送遅延の影響を排除 •PTP機器はパケットが物理層を通過した時刻を打刻 •図のPHY部 •NW機器全てがPTP対応(L2/L3スイッチ)を想定 •パケット送受信頻度を上げ統計情報処理精度UP •STPなどで、ループを除去してあることを想定 ネット ワーク PTP UDP IP MAC PHY Slave Clock Grand Master Clock PTP UDP IP MAC PHY A A B A：プロトコルスタックにおける遅延・ ジッター B：ネットワークにおける遅延・ジッタ 遅延：計測可能なデータ転送の流れ ジッタ：遅延のばらつき
126. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 126 新しい分野へ適応が期待される 標準化技術 PTP（Precision Time Protocol） • Cisco Systems : ASR901(B), ME1200(B) • Extreme Networks : Summit-x670-DC(B) • Huawei Technologies : NE20E-S2E(B) • Ixia Communications : Anue3500(A) • Juniper Networks : ACX500(G) / ACX2100(B) • Marubun • S350(G) / PTP Translator(S) / TCG-02- G(S) / Sentinel(A) / Paragon-x(A) • Seiko Solutions : TS-2950(G) Default Profile • Cisco Systems : ASR901(B) • Huawei Technologies : NE20E-S2E(S) • Ixia Communications : Anue3500(A) • Juniper Networks • ACX500(G) / ACX2100(B) / MX480(B) • Marubun • TP2700(G) / PTP Translator(S) / TCG- 02-G(S) / Sentinel(A) / Paragon-x(A) • Seiko Solutions : TS-2910(G) Telecom Profile 凡例：G:Grand Master Clock, B:Boundary Clock , S:Slave Clock, A:Analyzer Bitrieve : Exalink Fusion(Low Latency Media Converter) テレコムに特化した時刻同期 標準化技術
127. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 127 相互接続実験概要 PTP（Precision Time Protocol） Grand Master Clock (GMC) Boundary Clock (BC) Slave Clock (Slave) Global Positioning System（GPS) 確認ポイント GMC-BC-Slaveのプロトコル接続性 →GMC/BC/Slave側で確認 GMCとBCの時刻精度の差分 →Analyzer側で確認 GMCとSlaveの時刻精度の差分 →Analyzer側で確認 同軸ケーブル Analyzer PTP EVC Freq. link Time/Phase link 今後想定される様々な業界へのPTP適用＝PTP NWのマルチベンダー化 の加速を見据え、複数のGMC / Slave製品と主要なネットワーク製品 (BC) の相互接続を実施 • Default Profileでは、新しい分野での応用のための実験を実施 • Telecom Profileでは、テレコムモバイルでの適応領域の実験を実施
128. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 128 PTPによってもたらされる恩恵 PTP（Precision Time Protocol） • PTPが様々な業界に適応されていくための Interoperability実験を実施しています。
129. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 129 会期構成1：Telecom Profile PTP（Precision Time Protocol） (Boundary Clock) mx480 A10 A12 xe1/0/0 /192.168.1.2 xe1/0/1 /192.168.2.1 A2 ge 1 /192.168.2.2 ge 1 /192.168.1.1 ge 1 /192.168.1.2 ge 1 /192.168.1.1 構成1 (Telecom) ge 1 ge 2 B7 ge 1 /192.168.2.2 ge 2 /192.168.2.1 1PPS Out 1PPS In GNSS In GNSS In GNSS In GNSS 同軸 分配器 GNSS Out GNSS Out GNSS Out GNSS In GNSS Out 1PPS In 1PPS Out 1PPS Out 1PPS In (Grand Master Clock) ts-2910 (Analyze) ixia3500 (L1SW) exalink-fusion (Slave Clock) qulser-1 (Slave Clock) qulser-2 (Boundary Clock) tp2700 (Grand Master Clock) acx-500-ac 1step 1step 1step 1step 1step
130. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 130 会期構成2：Default Profile PTP（Precision Time Protocol） ge 3 /192.168.3.1 ge 1 ge 2 ge 1 /192.168.5.2 ge 1 /192.168.1.1 構成2(Default) ge 1 /192.168.1.2 ge 2 /192.168.2.1 ge 2 /192.168.2.2 GNSS In GNSS 同軸 分配器 GNSS Out 1PPS In 1PPS Out 1PPS Out 1PPS In (Boundary Clock) NE20E (Boundary Clock) ASR901 ge 2 /192.168.4.1 ge 1 /192.168.3.2 (Boundary Clock) ME1200 1step ge 1/0/1 /192.168.5.1 ge 1/0/0 /192.168.4.2 (Boundary Clock) ACX2100 1step (Analyze) Paragon-X (Slave Clock) tcg-02-g (Grand Master Clock) ts-2950 1step 1step 1step
131. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 会期構成3：Default Profile PTP（Precision Time Protocol） GNSS 同軸 分配器 ge 1 /192.168.1.1 ge 1 /192.168.1.2 GNSS In GNSS Out 1PPS In 1PPS Out (Grand Master Clock) s350 (Slave Clock) ptp-translator 2step
132. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 132 ご協力企業様 PTP（Precision Time Protocol） 多大なるご協力をいただき有り難うございました！
133. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc マネジメント / コンソール
134. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 134 Management & Console Concept Management & Console Loop Free Management • ループフリーなL2フラットネットワークを早期に構築する Management Network Management • マネジメントネットワークを構成する機器から始まり、コンソールサーバ、マネジメン トに属する機器全ての死活監視を行う Console Management • コンソールサーバ全20台の接続機器管理とオペレーション一元化のため集約サーバを導 入する
135. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc Loop Free Management Management & Console Head SW(2set)に、HP IRF (Intelligent Resilient Framework) を採用し、運用の効率化 にチャレンジ。 全SWのBUMフレーム (※1) の転送レートリ ミットを「10Mbps」に指定し、Loop発生時の 影響を最小限に。 •(※1) Broadcast, Unknown unicast, Multicast Frame By 日本ヒューレット・パッカード、デル、シーアイオープラス（順不同）
136. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 136 Management Network Management Management & Console マネジメントネットワークを構成するマ ネジメントスイッチとコンソールサーバ • 機器単体毎に監視 各ネットワークセグメント（例： 172.16.0.X：Core Router群）に属す る機器 • 監視対象数が多いため、各機器の応答回数などに閾 値を設けて監視 By 富士通九州ネットワークテクノロジーズ
137. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 137 Console Management Management & Console By セイコーソリューションズ ・・・ ShowNet機器のコンソールポートを コンソールサーバで集約 コンソールサーバ集約サーバで、 複数のコンソールサーバを集約し てアクセスを提供 コンソールサーバ 集約サーバ コンソールサーバ
138. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 138 ご協力企業様 Management & Console 多大なるご協力をいただき有り難うございました！
139. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 運用監視
140. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 140 Monitoring Issue 運用監視（Monitoring） • Layer別監視元年 • 今年はLayer1からLayer3に注力した監視を実施 • Layer 1 • 多層化するインフラ • 熱・電源をはじめとした物理層との乖離 • Layer 2-3 • 論理構成におけるState変化を把握しきれていない • 繰り返される通知における危機意識の低下
141. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 141 Layer 1 運用監視（Monitoring） • 課題 • 多層化するインフラ • 熱・電源をはじめとした物理層との乖離 • 解決策 • 熱・電源センサーを多数配備し、空調が完全では ないイベントネットワークにおけるL1監視に改め てチャレンジ • 詳細はファシリティ報告をご参照のこと
142. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 142 Layer 2-3 運用監視（Monitoring） • ShowNetを運用監視する際の課題 • 複数製品を短期間で運用フェーズに載せる難しさ • 特にその時のShowNetに必要充分な、NW運用要件の 設定が重要ポイント • 解決策 • 成熟技術であるSNMP MIBとSyslogベースの監視ツー ルを用いて、基盤となる運用監視環境を短期間で構築 • ShowNetサービス構築直後に明確になるNW構築サイ ドの監視項目が、早期適用できるための手法を準備
143. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 143 運用要件の早期適用例(1) 運用監視（Monitoring）/L2-3 FB イメージ画面（System AnswerG2） Google KDDI NTT 巡回監視 時期：ネットワーク構築中 事象：グローバルアクセス障害が頻発 監視要件：グローバルサイト（FaceBook, Google, KDDI, NTT）への IPv4/v6, ICMP/HTTPアクセス可否を簡単に確認したい（NOCリクエス ト） 対応：FB→ Google→ KDDI→ NTTを自動的に巡回監視するウィンドウ機 能の追加（コントリビュータ様にてご対応） 作業期間：1時間（追加リクエスト〜リリースまで） 課題解決：ShowNet構築時のトラ ブル早期検知に利活用
144. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 144 運用要件の早期適用例(2) 運用監視（Monitoring）/L2-3 イメージ画面（Zabbix） 時期：ネットワーク構築中 事象：複数機器のCPU利用率の向上 監視要件：ShowNet全機器のCPU使用率の可視化（NOCリクエスト） 対応：同じカテゴライズの機器のCPU使用率を見える化（コントリビュータ様に てご対応）※カテゴライズ毎：1.Core Router, 2.Core Switch のイメージ 作業期間：3時間（追加リクエスト〜リリースまで） 課題解決：ShowNet構築時のトラ ブル早期検知に利活用 同じカテゴライズ機器のCPU使用率 （まとめて表示）
145. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 145 Syslog監視 運用監視（Monitoring）/ Syslog監視 • Syslogを用いた状況把握 • L2ストーム検知 • ネットワークトラブル検知 • Syslogを用いたトラブル分析 • ログの急増による機器異常分析 • ログ種別による機器状態の分析
146. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 146 Syslog監視（L2ストーム検知） 運用監視（Monitoring）/ Syslog監視 L2ストーム の検知
147. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 147 Syslog監視（ネットワークトラブル検知） 運用監視（Monitoring）/ Syslog監視 BGP&OSPF down の検知
148. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 148 Syslog監視（ログの急増による機器の異常） 運用監視（Monitoring）/ Syslog監視 特定機器の Interface異常 によるログの急増
149. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 149 Syslog監視（ログの種別） 運用監視（Monitoring）/ Syslog監視 ログ種別による 異常の分析
150. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 150 トラブルシュート 運用監視（Monitoring） • ポータブルなパケットキャプチャ装置の利用 • 10G(LR,SR)/10G(Copper/3speed,SX,LX) ダッシュボードで キャプチャ情報を可視化
151. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 151 コンフィグ管理 運用監視（Monitoring） コンフィグ取得 可否の可視化 コンフィグ変更 有無の可視化 コンフィグ取得 状況の一覧表示
152. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 152 ご協力企業様 運用監視（Monitoring） 多大なるご協力をいただき有り難うございました！
153. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 検証・測定
154. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 154 Shownetの検証・測定箇所 検証・測定 VxLAN相互接続 仮想マシンによる機能試験 HTTP2.0 新プロトコルの動作試 験 NFV 仮想マシンによる 負荷試験 セキュリティ マルウェア検知試験 SDNIX&100Gバックボーン スループット測定・負荷試験 BGP Flowspec 動作試験
155. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 155 負荷試験・パケット転送性能計測 検証・測定 • SDNIX/バックボーンにて負荷試験、 パケットロス率計測等を実施 • Shownetのバックボーン安定化に貢献 IXIA XGS12-HS IXIA XGS12-HS SDNIX 10Gbpsでのスループット測定 100Gバックボーン 負荷試験 IXIA XGS12-HS
156. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 156 最新技術の検証 検証・測定 • BGP Flowspecの動作検証を実施 • 経路広告、トラフィック生成の両方に テスターを使用 東陽テクニカ Spirent Testcenter 経路広告 Huawei NE5000-X16B Cisco ASR9904 Juniper MX480 東陽テクニカ Spirent Testcenter 東陽テクニカ Spirent Testcenter
157. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 157 テスターによる特殊な状況の再現と検証 検証・測定 • マルウェアの動作をテスターによって再現 • Shownetでは実環境投入前に検知性能を測定 マルウェアの再現トラフィック IXIA XGS12-HS IXIA XGS12-HS 東陽テクニカ AvalancheNEXT 東陽テクニカ AvalancheNEXT DELL Super Massive 9800 Fortinet FortiGate-3700D Cisco ASA 5585-X Palo Alto PA-5060 Aeroflex TeraVM Aeroflex TeraVM IXIA XGS12-HS IXIA XGS12-HS
158. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 158 仮想マシン型のテスターを実戦投入 検証・測定 • VxLAN/NFVの検証 • 実際の仮想化環境を想定した計測を実施 • 物理配線等を簡略化したテストが可能に IXIA IXVM IXIA IXVM IXIA IXVM VxLANノード（VTEP）を 経由するトラフィックを生成 フラグメント処理・MACラーニング数を計測 富士通九州 ネットワークテクノロ ジーズ NXS VG/X NFV負荷試験 仮想マシン型テスター
159. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 159 ご協力企業様 検証・測定 • 多大なるご協力を賜り 誠にありがとうございました
160. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc IoT(Internet of Things)
161. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 161 IoTの世界を取り巻く現状 IoT(Internet of Things) 1. デバイスによる情報収集 • センサー • スマートフォン 2. ゲートウェイによる 情報集約と送信 • Wi-Fi • 3G/LTE SIM 3. クラウドを利用した ソリューション • 遠隔監視 • データマイニング スマートフォン センサーデバイス IoT ゲートウェイ クラウドからの 遠隔監視 データ通信SIM
162. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 162 ShowNetにおける実証実験機器 IoT(Internet of Things) • デバイス • IoTスマートゴミ箱（富士通九州ネットワークソリューショ ンズ様） • ゲートウェイ • OpenBlocks IoT（ぷらっとホーム株式会社様） • M2M-GW（富士通九州ネットワークソリューションズ様） • 3G/LTE SIM • IIJ mio SIM（株式会社インターネットイニシアティブ様） • OCNモバイルOne for Business（NTTコミュニケーション ズ様）
163. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 163 今後の課題 IoT(Internet of Things) センサー数と送信データ量の増大 デバイスとGatewayのセキュリティ データ処理/マイニングコスト
164. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 164 IoTからIoEの世界へ IoT(Internet of Things) 1. デバイスの進化 • IoE(Internet of Everything) • エナジーハーベスト(環境発電) 2. ゲートウェイの進化 • データ量のシェーピング • デバイス/ゲートウェイ セキュリティの実現 3. クラウド • ストリーミング処理 • 高速なビックデータ処理 全てのものがインターネットへ接続 シェーピングによる データ送信量の制御/ 端末とGatewayの セキュリティの実現 エナジーハーベスト （環境発電） クラウドによる高速な処理
165. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 165 ご協力企業様 IoT(Internet of Things) 多大なるご協力をいただき有り難うございました！
166. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc その他運用ツール
167. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 167 運用ツールとして活用 コラボレーションツール • HotStage、会期中のNOC、コントリビュー タ、STM、事務局のコミュニケーションツー ルとして活用 • MCU機能をクラウド上で提供いただくことに よる、web会議を活用しNSCカウンターでの 円滑なサービスを実現 来年もよろしくお願いいたします！！
168. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 168 エンドポイント端末の配置 モデル 台数 MX300 2 MX80 5 MX70 7 SX80 1 NOCルーム STMルーム コントリビュータ ルーム 事務局 会議棟 NSCカウンター STMルームの様子 ディスパッチャそれぞれに1台 STMルームから NOCルームの様子 STMディスパッチャとNSCカウンター クラウドで同時接続
169. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 169 その他運用ツール スマートフォンやタブレット端末にインストールした「InteropTokyo公式ア プリ」を通じて、ラックに展示されたShowNetの機器にまつわるガイド、見 どころ情報などを配信しました。 • ラックやステージ、2F通路のShowNetツアーカウンターなど、ShowNetの みどころの近くに、BLE（Bluetooth LowEnergy）の技術を利用したビー コンを設置 • ビーコンに近づくとアプリにラックの見どころメッセージをプッシュ通知 プッシュ型情報配信サービス・来場者向け特別企画 「ShowNetナビ」 Special Thanks
170. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 170 その他運用ツール プッシュ型情報配信サービスの特別企画 「ShowNetナビ」 ラック横に設置した ビーコンに近づくと ビーコンから来場者の タブレット/スマホにプッシュ通知 見どころ解説
171. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 171 その他運用ツール IP無線「Aldio」 WiFiや3G/LTE回線を用いたトランシーバアプリ STMがメンバ間やディスパッチャとの連絡として活用 距離等の問題で従来のトランシーバでは難のあった会議棟との 円滑なコミュニケーションを実現 STM/NOCのコミュニケーションツールとして活用 Special Thanks スクリーンショット
172. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc クレジット
173. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc クレジット 各分科会お問い合わせ Facility & Facility Management: interop15-noc-facility@f2ff.jp Wireless / Mobile Cloud Computing : interop15-noc-wireless@f2ff.jp Tester / Debugging / Hardening : interop15-noc-tester@f2ff.jp Console / Monitoring / Logging : interop15-noc-mon@f2ff.jp HyperVisor / Server / Cloud / Display / PC-Tablet-Mobile : interop15-noc-server@f2ff.jp Entertainment / Show Up / Application :interop15-noc-app@f2ff.jp Human Resource / Education / Training :interop15-noc-ctm@f2ff.jp Others : interop15-noc-zin@f2ff.jp
174. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc クレジット Special Thanks
175. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc クレジット Special Thanks
176. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc クレジット Special Thanks 【特別協力】 株式会社IDCフロンティア アルテリア・ネットワークス株式会社 株式会社IIJイノベーションインスティテュート インターネットマルチフィード株式会社 NTTセキュアプラットフォーム研究所 NTT西日本 倉敷芸術科学大学 国立情報学研究所 さくらインターネット株式会社 株式会社Xenlon 摂津金属工業株式会社 センターピア株式会社 テコラス株式会社 株式会社デジタルハーツ トランスコスモス株式会社 日本インターネットエクスチェンジ株式会社 有限会社HUG BBIX株式会社 ブルーコートシステムズ合同会社 株式会社ミクシィ モンストスタジオ 理想科学工業株式会社 レッドハット株式会社 WIDE/NECOMA Project
177. Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc クレジット 本資料について Copyright (C) 2015 Interop Tokyo NOC Team / NANO OPT Media, Inc 記載されている各社の社名、商品名は各社の登録商標又は商標です。 本資料の文章・画像の無断転載・複製を禁止します。 本資料に関するお問い合わせ先 Interop Tokyo ShowNet 運営事務局 株式会社ナノオプト・メディア ShowNet担当：鈴木、小野村、大嶋 Tel: 03-6431-7803 Email: shownet@f2ff.jp