2013-ShowNet-Highlight

もっと近づいて見て!! 見えない場所で ShowNetを支える機
材展示ラック・１９インチラックと関連部材・PDU（監視制御機能付きコンセント）・UPS（無停電電源装置）・電力モニター・無線アクセスポイント etc

きれいな無線を目指して。。。 2 : クライアントのキックアウト 3 : チャネル割り当ての分散化と均一化 4 : 高い位置で使おう
!!! それでもダメなら。。。 1 : 適切な基地局密度 • しきい値以下の電波強度クライアントを排除 • 2.4Ghz => 5Ghz • 電波出力の調整によるマイクロセルの形成 • 基地局による電波伝搬範囲特性の差異 • 周波数帯特性に応じた配置と密度 • 電波干渉を避けるチャネル割り当て • あえてぶつけるチャネル割り当て

Switch/Routed Network ネットワークコントロールシステム PI(Prime Infrastructure) • 3点測位で端末の位置を把握し、その位置情報をMSEに蓄積 • MSEのAPIを使い位置情報を活用したアプリ開発が可能
• 位置を特定してのコンテンツ配信 • 現在位置を表示し、目的地へのナビゲーショ • 端末トラッキングによるマーケ情報収集などモビリティサービスエンジン（MSE) 無線LAN（3点測位）による位置特定ソリューション 3点測位端末位置情報 API提供様々なアプリケーションに利用可能無線LANコントローラ Wireless LAN Controllers Cisco Connected Mobile Experience = CMX シスコシステムズ合同会社三井情報株式会社株式会社ナビタイムジャパン協力企業無線LAN（3点測位）による位置特定ソリューション様々なアプリケーションに利用可能

Copyright © 2013 Interop Tokyo NOC Team. All rights reserved.
DataCenter Backbone 出展者 L2TP L2TP L2TP broadcast multicast server server DHCPサーバーのセグメントをL2TP経由の OSPFで学習し、DHCPパケットのみを中継 Stack L2TP broadcast multicast L2TPによる制御系データコントロール L2TPは、離れた場所と同一セグメントを作り、バックボーンのネットワーク構成に依存せず、ネットワークを構築可能です。 YAMAHA RTX5000/3500/1200

Using BGP for routing in Data Center ここ数年データセンタ内ネッワークでは、Fabric技術が注目されていました。この技術は、レイヤ2ネットワークが苦手としていた耐障害性や冗長性、または拡張性を克服し、ユーザに柔軟なネットワーク設計の機会を与えました。しかしこの性質は元々、レイヤ3 ルーティングプロトコルが得意とする部分でもあります。今年のShowNetデータセンタネットワークでは、サーバを収容する ToR (Top of Rack) まで、通常はISP間の経路交換プロトコルとして利用される “BGP” を用い、マルチベンダ環境における”レイヤ 3 Spine-leaf ネットワーク”*[1]の構築に挑戦しています。 Using VXLAN for Multi-tenant Service on top of Layer3 Network しかしながら、データセンタ内においてサービスを展開する場合、カスタマー毎のレイヤ2ネットワーク延伸が要望される事は、容易に想像されるのも事実です。その為今年は、レイヤ3オーバーレイ技術の一つである “VXLAN” 用い、レイヤ3ネットワーク上のマルチテナントサービスにも挑戦しています。 HV VM VTEP HV VM VTEP HV VM VTEP [1] IETF Internet-Draft : Using BGP for routing in large-scale data centers draft-lapukhov-bgp-routing-large-dc-04 Data Center Backbone

Data Center • Oil (仮想出展社) – マイクロサーバ – PCIe over Ethernet • 広帯域DC内ネットワーク – 40G Ethernet TOR スイッチ – 40G NIC – 10G Breakout ケーブル • サーバ仮想化 – ほとんどのサーバは仮想化 – 仮想アプライアンスも活用仮想化で高集約しても高速なI/Oをさばける広帯域仮想出展社として ShowNet構築時に活用構築は楽ちんだが、VM数が増えた時の運用は工夫が必要

VXLAN draft4 Interoperability @INTEROP Tokyo June 2013 Cisco / ARISTA / Vmware / Linux ShowNet NOC team

Top of Rack Fabric Management Network & Console Management • 運用・監視用途に利用するL2ネットワークの基幹系を、Ethernet Fabric技術（ジュニパーネットワークス・日商エレクトロニクス／QFabric , 富士通／CNV TRILL)で初構築。安定したネットワークを提供します • 最後のライフラインであるシリアルコンソールのリモートアクセスのため、コンソールサーバ（エスアイアイ・ネットワーク・システムズ／SmartCS）を活用。1機器への複数コンソールアクセスも可能です (敬称略)(ABC順)

Link OAM設定箇所コア機器間のイーサネットレイヤ監視に活用しています Link OAM (IEEE802.3ah)

Connectivity Fault Management (IEEE802.1ag) 出展社収容SWまでのイーサネットレイヤ監視に活用しています • 収容SW脇に、専用機器を配備 • OpenFlow SWや Stack SW配下にも配備

3dtvができるまで (CFM MAP)

2d→3dtv生成の流れ概要トポロジー図レイヤに分ける（平面×N）平面(2d)画面生成平面(2d)間のパス生成し3d化 3d画面完 Step1： Step2： Step3: Step4： Step5: ：専用ツール

step1: トポロジー図

step2: レイヤに分ける(平面×N) 最上位層第２層第３層最下位層

step3: 平面(2d)画面生成ノードパスエリア

Step4: 平面(2d)画面間パス生成し3d化レイヤ間パス

Step5: 3d画面完成（簡易イメージ）準備中

Step5-2: 3d画面完成（最終版。MEP全点灯版）

出展者向けネットワークの提供と管理 OpenFlowとクラウドサービスアプライアンスによる ShowNetアクセスサービスの仮想化 ShowNetのバックボーントラフィック解析・セキュリティ監視任意のバックボーントラフィックの抽出セキュリティ機器との連携によるリアルタイム監視 SDNによる柔軟なコンテンツトラフィック制御 Cacheと連携した効率的なネットワークサービスの実現 SDN Security SDN 出展者収容サービス SDN Cache連携 ShowNet SDNの取り組み世界初！！ OpenFlow Spec 1.3.1でインターネットへのアクセスを体験 OpenFlow Spec 1.3.1 Test&Service

➢ バックボーントラフィックの任意選出 ✓ 定常時Security Farmへ ✓ 任意のトラフィクを選択的にOperation roomや解析装置へ抽出 ShowNetのバックボーントラフィック解析・セキュリティ監視任意のバックボーントラフィックの抽出セキュリティ機器との連携によるリアルタイム監視 SDN Security 使用したコントローラは RISE Controller トラフィックアグリゲータ PF5820 10Gタップ光スイッチ PF5240 Appliance Security Farm Appliance Appliance Operation room packet capture server EX4550 S4810 HP6600 PF5220 10Gタップ 10Gタップ任意のトラフィックを選択的に抽出 DPI Nirvana Security機器へ送信しつつ、マルチポートアクションにて、フローをコピーマルチポートアクション

➢ Dynamic security incident inspection ✓ セキュリティ機器からの情報をNirvanaが収集 ✓ インシデントを検知し、コンローラへ通知し対象フローをNirvanaへ転送させる ✓ Nirvanaでインシデントを見える化 ShowNetのバックボーントラフィック解析・セキュリティ監視任意のバックボーントラフィックの抽出セキュリティ機器との連携によるリアルタイム監視 SDN Security 使用したコントローラは RISE Controller トラフィックアグリゲータ PF5820 10Gタップ光スイッチ PF5240 Appliance Security Farm Appliance Appliance Operation room packet capture server EX4550 S4810 HP6600 PF5220 10Gタップ 10Gタップ任意のトラフィックを選択的に抽出 DPI Nirvana マルチポートアクション

dynamic security incident inspection SAMURAI Nirvana & Dell Sec Works FireEye Seiko WAF JNPR WAF JNPR SRX Fortigate Sonicwall 情報収集 RISE controller Nirvana of switch of switch of switch of switch OF switch ShowNet Interop IPアドレスを Sourceとするインシデントが発生した場合にコントローラーへ通知コントローラーはインシデントが発生したSource IPのトライフィックをNirvanaに曲げるフローをスイッチに投入インシデント対象トラフィックを Nirvanaへ転送し、インシデント見える化を実現

出展者向けネットワークの提供と管理 OpenFlowとクラウドサービスアプライアンスによる ShowNetアクセスサービスの仮想化 SDN 出展者収容サービス ➢ SDNによるネットワークの仮想化とプロビジョニング ➢ 仮想ルータ(Virtual Appliance)によって、出展者ごとに柔軟なL3制御を実現 ➢ OpenFlowによって、L2ネットワークの動的なテナントの追加や削除を実現 ➢ 全てがソフトウェアで抽象化されたネットワーク ➢ Software Defined Networkの1つの形 ➢ VAのConfig生成とHVへのデプロイ ➢ NEC ProgrammableFlow ControllerのAPIを用いた OpenFlowによるL2ネットワークの生成 ➢ NOCお手製ソフトウェアを用いて出展者ネットワークを動的に生成！！使用したコントローラは ProgrammableFlowController

➢ SDN Content Traffic Based Routing ✓ Cache Applianceと連携して自動的にコンテンツトラフィックのフローを制御 ✓ コンテンツトラフィックのフローを効率的に選択・分散処理することでQoEを向上 SDNによる柔軟なコンテンツトラフィック制御 Cacheと連携した効率的なネットワークサービスの実現 SDN Cache連携 ➢ ネットワークサービスリソースを有効活用 ✓ サービスを意識せずに利用可能 ✓ 必要な機能をオンデマンドで提供 ➢ 対象コンテンツトラフィックフローを識別 ✓ Hashによるロードバランス ✓ Output port指定 ✓ Ethernet destinationをset ➢ SDN Controller !pox! ✓ NOCメンバお手製 ✓ オープンソースたった250行! 使用したコントローラは POX

世界初！！ OpenFlow Spec 1.3.1でインターネットへのアクセスを体験 OpenFlow Spec 1.3.1 Test&Service プログラマブルフロー(OpenFlow)v1.0 ネットワーククラウドサービスアプライアンス (ルーター &セキュリティ) 5900 PF5240 PF5248 endnode endnode OpenFlow v1.3.1 ネットワーク OpenFlow v1.3.1 アクセスコーナー

OpenFlow v1.3.1 Interoperability @INTEROP Tokyo • June 2013 • HP/IXIA/NEC/TOYO+SPIRENT • ShowNet NOC team

Test Bed Topology • Cntrol-Plane • Data-Plane XM2 HP5900 PF5240 PF5248 TestCenter XM2 HP5900 PF5240 PF5248 TestCenter PF6800

Test Case 1. OF protocol version negotiation message exchange 2. Feature Request message 3. Multipart message Request capability 4. Barrier Request message 5. Overlap flow_mod 6. Multiple controller connection 7. Flow Setup/Perform discovery 8. Metering objects and rate limitting 9. IP forwarding/spoofing/NAT

C-Plane Connection Result • Spirent TestCenterから3台のスイッチへの接続、フロー投入が正常に行われた

D-Plane Connection PF5248 PF5240 hp5900 Generator Spirent TestCenter 1/0/1 1/0/2 0/50 0/49 0/1 0/2 1/0/4 0/9 Port 1/1 Port 1/2 MAC 00:10:94:10:00:01 ~ 00:10:94:20:00:64 MAC 00:10:94:20:00:01 ~ 00:10:94:20:00:64

Spirent トラフィック＆Flow設定 • トラフィック設定 – MACアドレス100の組み合わせを持つL2トラフィック • OpenFlow設定

Flow設定詳細 • Stream 1：dl_src, dl_dst, – 100Flowエントリ • Stream 2：In_port, – 1Flowエントリ PF5248 PF5240 hp5900 Generator Spirent TestCenter 1/0/1 1/0/2 0/50 0/49 0/1 0/2 1/0/4 0/9 Port 1/1 Port 1/2 Stream 1 Stream 2

OpenFlow v1.3.1 test scene OpenFlow version Flow Entry Traffic Statistics

OpenFlow version Flow Entry Rx Rate OpenFlow v1.3.1 test scene

世界初！ShowNetの実トラフィックを OpenFlow v1.3.1 ネットワークにて伝送中プログラマブルフロー(OpenFlow)v1.0 ネットワーククラウドサービスアプライアンス (ルーター &セキュリティ) 5900 PF5240 PF5248 endnode endnode OpenFlow v1.3.1 ネットワーク OpenFlow v1.3.1 アクセスコーナー

IPv6マイグレーションの現在 IPv4グローバルアドレス枯渇が進行・グローバルIPv4アドレス接続サービスの有料オプション化・事業者間でのアドレス移転の活発化 IPv6による通信接続サービスが登場 T-Mobile SingTel Comcast などデュアルスタック運用にも課題・これまでと比べて2倍の運用コストが発生・ IPv4/IPv6の2重のスキルセットが必要、ドキュメント化に苦労 IPv6バックボーンを利用したIPv4提供技術(464技術)も標準化が進展

ShowNetで提供するIPv4枯渇対策/IPv6移行技術 MAP-E DS-Lite 464XLAT SA46T BR AFTR B4 PLAT CLAT SA46T SA46T IPv6ﾈｯﾄﾜｰｸユーザユーザユーザユーザ CGN DNS64/NAT64 CE IPv4ｲﾝﾀｰﾈｯﾄユーザユーザ IPv6ﾈｯﾄﾜｰｸ IPv6ﾈｯﾄﾜｰｸ IPv6ﾈｯﾄﾜｰｸ IPv6ﾈｯﾄﾜｰｸ IPv4ﾈｯﾄﾜｰｸ IPv4ﾈｯﾄﾜｰｸ IPv4ﾈｯﾄﾜｰｸ IPv4ﾈｯﾄﾜｰｸ IPv4ﾈｯﾄﾜｰｸ IPv4ﾈｯﾄﾜｰｸ IPv4ｲﾝﾀｰﾈｯﾄ IPv4ｲﾝﾀｰﾈｯﾄ IPv4ｲﾝﾀｰﾈｯﾄ IPv4ｲﾝﾀｰﾈｯﾄ IPv4ｲﾝﾀｰﾈｯﾄ 44NAT 64NAT 46NAT 44NAT 64NAT 44NAT 44NAT カプセル化カプセル化カプセル化

MAP-Eの概要と特徴 • “Mapping of Address and Port with Encapsulation”の略で、IPv6ネイティブネットワークを越えてIPv4サービスを提供するための方式の一つです。 • IPv4、IPv6共に広帯域のアドレス空間を配備可能な大規模ISPなどの環境に適しています。 • キャリア側機器をステートレスにできます。 – スケーラビリティが高く冗長化が容易です。 – NAT処理はユーザ側機器CEで実施します。 • メッシュトポロジをサポートしています。 – ユーザ同士は低レイテンシで直接通信することが可能です。 – トラフィックはIPv6網内で折り返すため、キャリア側機器のリソースを消費せずに済みます。

MAP-E BR シスコシステムズ ASR9000 MAP-E CE インターネットイニシアティブ SEIL/x86 MAP-E BR 古河電工 FX5000 ShowNetで使われている MAP-E対応機器

DS-Lite、464XLATの概要 • IPv6ネイティブネットワークを越えてIPv4サービスを提供するための方式です。 • IPv4アドレス(ポート)をダイナミックに割り当てるため、アドレス利用効率が高く、広帯域のIPv4アドレス空間を持っていない事業者でも導入しやすいのが特長です。 • DS-Liteはトンネルにより、464XLATはプロトコル変換によりIPv4パケットをIPv6ネットワークを越えて転送します。

DS-Lite AFTR & 464XLAT PLAT ジュニパーネットワークス SRX5600 DS-Lite AFTR & 464XLAT PLAT A10ネットワークス AX5630 DS-Lite B4 & 464XLAT CLAT NECアクセステクニカ Atermシリーズ ShowNetで使われている DS-Lite、464XLAT対応機器 464XLAT PLAT セイコーソリューションズ iX-3740

NAT64/DNS64の概要 • IPv6アドレスのみ割り当てられたIPv6端末から、 IPv4端末へ通信するためのアドレス変換技術です。 • IPv4端末のIPアドレスはDNS64によってIPv6アドレスに変換され、IPv6端末は変換されたIPv6アドレス向けにパケットを送信します。 • 送信されたパケットはNAT64でIPv4アドレス変換され、 IPv4端末と通信します。

SA46T, -PR, -PTの概要ステートレスIPv4 -> IPv6変換によりIPv6網でIPv4通信を実現する技術です。バックボーン側をデュアルスタックにすることなく、端末間のIPv4通信を行うことが可能です。バックボーンネットワークベースのソリューションであるSA46Tと、スタブネットワークベースのソリューションであるSA46T-PR、SA46TとSA46T-PRを相互接続するSA46T-PTで構成しています。

会議棟で使用している IPv6移行技術 NAT64 セイコーソリューションズ iX-3740 DNS64、DHCP、DHCPv6 Infoblox Trinzic 820/100 富士通 SA46T/SA46T-PR/SA46T-PT

2013-ShowNet-Highlight

2013-ShowNet-Highlight

More Decks by ShowNet

Other Decks in Technology

Featured

Transcript