ShowNet 2023伝送報告 ShowNet 伝送担当 伊藤/加藤

伝送・基本コンセプトとチャレンジ 今できる限りの光ネットワーク All Photonics Network化が進むネットワーク • ROADM、FOADM、光スイッチを駆使した伝送網設計 • 「多重化」以外の効率化を目的とした光ネットワーク ShowNet を支える光ネットワークを作る • IPバックボーンは「光ネットワーク全体の一部」他の接続を見込めるネットワーク 新しい形の伝送装置 • 100G から 800Gまでの多彩な伝送 • IP over DWDM (ネットワーク装置と伝送トランシーバ) の 伝送網組み込み 伝送 2 大テーマ「高速・大容量・多様化し続ける光伝送網」

ShowNet伝送網とは

伝送装置の基本構成 ファイバに対して異なる波長の光を通すことで回線を重畳する 伝送 4 増幅器 (EDFA) -Booster Amp- 増幅器 (EDFA) -Pre Amp- 回線切替え器 (OLP) TX RX TX RX WDM装置 一式 • 回線切替え器 (OLP) • 増幅器 (EDFA) • 光合波/分波器 (MUX/DEMUX) • 光送受信器 (OEO) • その他 • 可変減衰器 (VOA) • 分散補正器 (DCM) • Etc… TX RX 光合分波器 (MUX/DEMUX) 光送受信器 (OEO Transponder) 可変減衰器 (VOA) 伝送を組む際には、 各種光の機器を通して、実現をする

ShowNet伝送網の位置づけ MDF ファイバ配線 (スター型) ShowNet伝送網 (多種の伝送網) ShowNet L2/L3バックボーン (ラダー型) 設計に伝送網を挟むことで • 光を多重して回線容量を増強 • トポロジやメディアに依存しない配線設計 • 長距離の接続が理屈的に可能 伝送 5

これまでのShowNet伝送網

伝送2021 7 2021年 Interop全ホールにてのリング型伝送網の構築

伝送2022 8 2022年 ShowNet インターネットバックボーンと融合 NOCラック間でリング型伝送網を構築し IPバックボーン間リンクを全て伝送装置へ

2023年 ShowNet 伝送網

伝送2023 10 2023年ShowNetバックボーンおよび、セキュリティ、出展者収容 ほぼ全ての接続を伝送網に乗せる＋多種の伝送方法でデモンストレーション

Huawei WDM ShowNet伝送構成 WDM NEC ROADM ROADM ROADM ROADM ROADM WDMs WDMs WDMs WDMs WDMs External/Core WDMs WDMs WDMs WDMs Core/Edge (dc/srv/Exhibitor-Head) Exhibitor-End #1 #2 #3 #4 多種化した伝送 • #1: RING+OLS • #2: C-Band + L-Band Alien • #3: BiDirectional • #4: Passive Solution WDMs WDMs RING#2 (ShowNet) FOADM FOADM FOADM FOADM 伝送 11

NOC Passive RING + inline Analyzer (PL1000D) Nexus cat9300 出展者収容/Life (VTEPs of EVPN/VxLAN) s5732 IOWN PA-5430 FG-4801F Thunder 7440- 11 CFW L1+伝送設計 NE8000-M4 PA-5430 Thunder 7440- 11 CFW DC908(L) DC908(L) WX-T WX-T SmartTune10G SmartTune10G SmartTune10G NE8000-M4 ACX7100-48L DCOTN PL-4000M 多種化した伝送設計 • #1: RING+OLS • #2: C-Band + L-Band Alien • #3: BiDirectional • #4: Passive WDM Huawei C＋L Band WDM BZR+ 100G-LR/LR4 400G-FR4/LR4 SmartTune10G SmartTune10G SmartTune10G ZR+ ZR+ Ciena 5166 Nexus cat9300 s5732 Ciena 5166 DC908(C) DC908(C) PL-4000M ACCESS100 DN100GE PTX10001.core DN100GE NEC RING DCOTN LE410T-B LE410T-A LEX3704A LEX3704B 会議棟 MX204 MX204 OSN9800M24 Waveserver5 Waveserver5 OSN9800M24 .conf .wifi Cisco8608.core LEX30881 LEX3881 ACCESS100 ACX7509.srv NCS-57B1.srv NE8000-M4.exhib fx2.dc Kamuee.dc MX10004.exhib Polatis LEX3881 LEX3881 伝送 12 (最終版)

2022年ShowNetとの差分 総伝送量 2021年 : 400+400+200+100+40Gbps = 1.15Tbps 2022年 : 800+400+400+400+200+200+100+100Gbps = 2.2Tbps • (RING#1: 1.2Tbps、 RING#2: 1.0Tbps) 今年は・・・？ 伝送

今年のShowNet 伝送網は・・・ !! 6.65Tbps !! (前年比約3倍！) 伝送 14

ShowNet伝送チャレンジ (1) IOWN ShowNet 400G Bright ZR+ 400G Bright ZR+ IOWNの光波長をShowNet伝送網に通して、コア設備へ接続 異なる組織間の伝送網が開通 伝送 15 Tokyo Makuhari Router Cisco8608

ShowNet伝送チャレンジ (1) IOWN 400G Bright ZR+ 400G Bright ZR+ 直結で安定して動作を確認したうえで、 ShowNet伝送網経由のお願いをさせて頂きました 伝送 16 Tokyo Makuhari Router Cisco8608 (Conf限定: 実は最初は…)

ShowNet伝送チャレンジ (2) EXFO FTB-4 Pro Viavi OneAdvisor Acacia社 400G ZR+ (TX: -10dBm) Coherent社 400G HighPower ZR+ (TX: ±0dBm → PowerTune -6dBm ) Attenuator 5dB Coherent WA200A TAP 別仕様・異DSP間・異なるテスタ間による 400GBase-ZR+の相互接続と試験 (波長変更/出力調整/Application切替え (100G-CAUI2、400G-CAUI8明示設定) 伝送 17 Short Packet (64Byte) 一方向BERTテスト

ShowNet伝送チャレンジ (2) EXFO FTB-4 Pro Viavi OneAdvisor Acacia社 400G ZR+ (TX: -10dBm) Coherent社 400G HighPower ZR+ (TX: ±0dBm → PowerTune -6dBm ) Attenuator 5dB Coherent WA200A TAP テスト時のデフォルトのApplication Codeが異なっていた為、 Application Codeを一致させる必要があった 伝送 18 (Conf限定: 実は最初は…)

今年の伝送網構成

Huawei WDM ShowNet 伝送網全体概要図 WDM NEC ROADM ROADM ROADM ROADM ROADM WDMs WDMs WDMs WDMs WDMs External/Core WDMs WDMs WDMs WDMs Core/Edge (dc/srv/Exhibitor-Head) Exhibitor-End #1 #2 #3 #4 多種化した伝送 • #1: RING+OLS • #2: C-Band + L-Band Alien • #3: BiDirectional • #4: Passive Solution WDMs WDMs Passive WDM FOADM FOADM FOADM FOADM 伝送 20 ShowNet内のバックボーン・サービス・お客様が繋がる接続を全て伝送装置に収容

WDM#1 (RING) 伝送設計 λi IOWN λ1 λ2 λ1 λ4 λ5 λ6 λi λ3 λ2 λ3 λ4 λ5 λ6 800G 400G 100G Turnback※ turnback ※Turnback＝ROADM装置内折り返しの接続 総伝送量: 3.6Tbps 伝送 21 WX-D WX-D WX-D WX-D WX-S WX-S dc908-c-2 dc908-c-1 dcotn pl-4000m le410ta Waveserver5-2 waveserver5-1 dcotn pl-4000m le410ta cisco8608 cisco8608 cisco8608 OpenROADM準拠RINGに • 高速 • 多数 トランスポンダを接続 ROADM側にて光出力を -10～-15dBに調整 安全に装置の追加が出来ていた (最終版) λi = 1560.20nm (ch80) λ1 = 1547.72nm (ch37) λ2 = 1545.32nm (ch40) λ3 = 1542.94nm (ch43) λ4 = 1540.56nm (ch46) λ5 = 1538.19nm (ch49) λ6 = 1535.82nm (ch52) λ7 = 1533.47nm (ch55)

伝送 22 WDM#1 (RING) 注目点  400Gbps Overの光を大量に通している 100 – 800Gbps が同じ伝送網に混在 Disaggregatedな装置の組み合わせによるCDC-ROADM Colorless (波長制限がない ≒ 任意の波長) Directionless (方路制限がない ≒ 任意の方路線) Contentionless (競合がない ≒ 任意の同一波長) TurnbackのROADM的新概念  通常折り返しが困難 ⇒ WX-SによるTurnbackを実装 (https://github.com/OpenROADM/OpenROADM_MSA_Public/blob/master/model/Network/org-openroadm-network-types.yang)

i λ1 λ1 λ2 λ1 = 1540.56nm (ch46) λ2 = 1535.82nm (ch52) λL = any nm (L-Band ch) WDM#2 (C+L Band) 伝送設計 λL λ2 1.2T 400G 総伝送量: 2.0Tbps 伝送 23 dc908-l-2 wx-t-2 dc908-r-2 osn9800m24-2 dc908-r-1 dc908-l-2 wx-t-2 osn9800m24-2 λL ROADMの伝送網に • C-Band (1530～1565nm) • L-Band (1565～1625nm) 全く違う波長帯の伝送を混合 (L-Band) (C-Band) (C-Band) C、L帯同時利用はそれぞれに適したAMPが必要となるが、共存は基本問題が無い (最終版)

伝送 24 WDM#2 (C+L Band) 注目点 C-Band、L-Bandを混在させてた伝送網  通年「Alien Wavelength」C-Band波長を混在  今年は波長は異なるが、新しい「波長帯」を混在 • L-Band用の伝送機器を別途組み込んだ伝送網となる ROADMに対し、複数企業の伝送装置を接続  １社のROADMに、他社Transponderを接続 ShowNet最大 1波 1.2Tbps の伝送装置 (C Band) の登場  6月時点で世界に数枚しか無いボードをご提供いただいた

LEX3704A λ1 λ4,6 λ2 λ3 λ1 = 1541.35 nm λ2 = 1560.61 nm λ3 = 1567.10 nm λ4 = 1560.61 nm λ5 = 1559.79 nm λ6 = 1558.98 nm λ7 = 1558.17 nm WDM#3 (BiDirectional) 伝送設計 λ3 400G 100G 10G LEX3321 LEX3321 λ4 λ6 λ5 λ7 λ5,7 LEX3704B Circulator Circulator 総伝送量: 520Gbps サーキュレータによる 1心伝送 (パッシブ装置経由) TX/RX 異なる波長による 1心伝送 (通常のIM-DD) TX/RX波長による 1心伝送 (RX波長変更可能CFP2-DCO) 伝送 25 le410ta le410tb lex3882-2-1 lex3882-2-2 lex3882-2-1 lex3882-2-2 dn100ge-2 dn100ge-1 1心伝送を多種の方法で実現 TX/RX波長変更による1芯化が基本だが、Coherent対応やCirculatorによる方法が増えている (最終版)

伝送 26 WDM#3 (BiDirectional) 注目点 1心 (芯) 伝送はTX/RXをどう混合するかが基本 案1: TX と RX の光の波長を分ける 案2: 同じ波長の光を偏光することで分ける 案1: Coherentの要件を覆すトランスポンダの登場  Coherent TXとRXは同じ波長の物が殆どであったが、 RXの波長を変更することが出来るトラントランシーバが存在 案2: Circulatorの利用ケースが増えてきている  同じ波長でも光を偏光することでTX/RXを分けることが可能 • 近距離の開放端でループバックする事に注意 後述 DC 分科会チャレンジの元 Google Jupiter、等

λ1 = 1537.40nm (ch50) λ2 = 1536.61nm (ch51) λ3 = 1535.82nm (ch52) λ4 = 1534.25nm (ch54) λ5 = 1535.04nm (ch55) WDM#4 (Passive Solution) 伝送設計 400G 10G 100G 総伝送量: 530Gbps 伝送 27 SmartTunable λ1,2,3 λ1 λ2 λ3 λ4 λ4 λ5 λ5 ciena5166-1 ne8000m4-2.noc FOADM (ch54-57) FOADM (ch54-57) ciena5166-1 access10g mx10004.noc FOADM (ch50-53) FOADM (ch50-53) pl1000d access100g-1 access100g-2 cts mc cts mc cts mc cat9300-2 nexus-2 s5732-2 cat9300-2 nexus-2 s5732-2 FlexE FlexE Passive装置の伝送網に • SmartTunable • WDM+FlexEthernet • 100G-PAM4 • 全方路にOSAを導入 多種の伝送を構築 SmartTunableの利便性や、WDM+FlexEの柔軟性を見ることが出来きる伝送網となった (最終版)

伝送 28 WDM#4 (Passive Solution) 注目点 PassiveなOADM (Fixed OADM) によるRING構成  Colored, Directed, Contended なパッシブRING  シンプルに扱いやすい光伝送RING SmartTunable による波長を意識しない伝送  SFP側で光を走査し合って、自動でチューニングする  独自規格ではなく MSA (MultiSourceAgreement) として存在 WDMとFlexEthernetの相性の良さ  開通した帯域を切り出してユーザへ払い出すモデル 100G-PAM4を混在  PassiveのRING (主にContentionlessが無い) 伝送での共存

ShowNet伝送網を支える トランスポンダ画面

Ciena Waveserver 5 Slot組み込み ライン側 800G #D-5 #D-4 #D-3 #D-2 #D-1 #N-11 #N-10 #N-9 #N-8 #N-7 #N-6 #N-5 #N-4 #N-3 #N-2 #N-1 ShowNetラック MDF/ShowNet光トランスポート 対外接続ルータ/伝送 1Slot 800Gbps x2 トランスポンダ  400GBase-FRx1、100GBase-LR4 x1 を使用 WebUI/REST API対応 伝送網#1 30

iLand6 PL-4000M L1暗号化にて通信中 #D-5 #D-4 #D-3 #D-2 #D-1 #N-11 #N-10 #N-9 #N-8 #N-7 #N-6 #N-5 #N-4 #N-3 #N-2 #N-1 ShowNetラック 出展社ブース向けセキュリティサービス ホール向けネットワーク 600Gbps ADM/マックスポンダ  タイムスロットで10G/25G/100Gを設定  100GBase-LR4 x2 を使用 L1暗号化機能 伝送網#1 31

DataControls DCOTN-16-HF-AA ライン側 400G x 4 Slot #D-5 #D-4 #D-3 #D-2 #D-1 #N-11 #N-10 #N-9 #N-8 #N-7 #N-6 #N-5 #N-4 #N-3 #N-2 #N-1 ShowNetラック ホール向けネットワーク 対外接続回線/対外接続ルータ  400Gbps x4搭載可能トランスポンダ  ライン側: CFP2-DCO 400G x1  クライアント側: QSFP28 x 4  100GBase-LR4 x2 を使用  専用NMSにて操作 (日本語対応) 伝送網#1 32

FXC LE410TA,B RX側波長設定が可能 #D-5 #D-4 #D-3 #D-2 #D-1 #N-11 #N-10 #N-9 #N-8 #N-7 #N-6 #N-5 #N-4 #N-3 #N-2 #N-1 ShowNetラック 出展社ブース向けセキュリティサービス ホール向けネットワーク 400Gbps 1心伝送トランスポンダ  1芯伝送可能なコンポーネントを搭載  400GBase-FR4 x1 を使用 400Gbps 2心伝送も可 伝送網 兼任 #1, #3 33

Huawei DC908 組み込みライン側 800G #D-5 #D-4 #D-3 #D-2 #D-1 #N-11 #N-10 #N-9 #N-8 #N-7 #N-6 #N-5 #N-4 #N-3 #N-2 #N-1 ShowNetラック ホール向けネットワーク MDF/ShowNet光トランスポート コンテナルータ/サービスメッシュ  800Gbpsトランスポンダ  400G-FR4 x 2  スロット構成によって役割が変わる  ShowNetではC-Band, L-Band, ROADM構成  3役割を合計6台にて展開 伝送網#2 34

Huawei OSN9800M24 TBD (NMS画面) #D-5 #D-4 #D-3 #D-2 #D-1 #N-11 #N-10 #N-9 #N-8 #N-7 #N-6 #N-5 #N-4 #N-3 #N-2 #N-1 ShowNetラック コアネットワーク/伝送 対外接続ルータ/伝送 1.2Tbpsトランスポンダ スロット構成により役割が変わる  ShowNetではC-Bandトランスポンダ構成 専用NMSにて操作 伝送網#2 35

NEC WX-T #D-5 #D-4 #D-3 #D-2 #D-1 #N-11 #N-10 #N-9 #N-8 #N-7 #N-6 #N-5 #N-4 #N-3 #N-2 #N-1 ShowNetラック 出展社ブース向けセキュリティサービス ホール向けネットワーク 400Gbpsトランスポンダ ホワイトボックストランスポンダ  OSSの伝送OSの派生を搭載 CLI/Ansibleによる操作 伝送網#2 36

FXC LEX-3020/3930/3321/3704A,B AGC/APC アンプ設定 #D-5 #D-4 #D-3 #D-2 #D-1 #N-11 #N-10 #N-9 #N-8 #N-7 #N-6 #N-5 #N-4 #N-3 #N-2 #N-1 ShowNetラック Wi-Fi/オペレータ用ネットワーク 会議棟向け メディアコンバータシャシー  10Gのメディアコンバータを2台搭載  アンプ・1心用Mux/Demuxを搭載 CLI/Webによる操作 伝送網#3 37

Dyden DN100GE + Circulator Circulator越し1心伝送 #D-5 #D-4 #D-3 #D-2 #D-1 #N-11 #N-10 #N-9 #N-8 #N-7 #N-6 #N-5 #N-4 #N-3 #N-2 #N-1 ShowNetラック MDF/ShowNet光トランスポート 光DCネットワーク 100Gbps用メディアコンバータ  100G CFP2-ACO による長距離100G伝送 サーキュレータを外付け  光特性を用いたファイバ1心化 伝送網#3 38

Ciena 5166 WDM+ FlexEthernet による回線設定 #D-5 #D-4 #D-3 #D-2 #D-1 #N-11 #N-10 #N-9 #N-8 #N-7 #N-6 #N-5 #N-4 #N-3 #N-2 #N-1 ShowNetラック コアネットワーク/伝送 対外接続ルータ/伝送  400Gbps の伝送装置  伝送装置＋αのIP機能を持った装置  ShowNetではFlexEthernetにて利用  複数のホール向け10G伝送を1波で提供  REST API対応 伝送網#4 39

NEL プラスレピータACCESS 100G + Color-Z (100G-PAM4) Color-Z特有の受光レベル #D-5 #D-4 #D-3 #D-2 #D-1 #N-11 #N-10 #N-9 #N-8 #N-7 #N-6 #N-5 #N-4 #N-3 #N-2 #N-1 ShowNetラック 光DCネットワーク コアネットワーク/伝送 • メディアコンバータシャシー • 100Gのメディアコンバータ • Pre/Booster EDFA (AMP) を搭載 • 100G-PAM4による100G伝送 伝送網#4 40

NEL プラスレピータACCESS XG + Dyden/CTS SmartTunable 10/25G 自動で波長設定 #D-5 #D-4 #D-3 #D-2 #D-1 #N-11 #N-10 #N-9 #N-8 #N-7 #N-6 #N-5 #N-4 #N-3 #N-2 #N-1 ShowNetラック ホール向けネットワーク • メディアコンバータシャシー • 10Gのメディアコンバータ • 複数のホール向け10G伝送 • SmartTunableによる波長設定不要の伝送 • 伝送網を通る光を走査して、自動設定 Dyden様 提供 CTS様 提供 伝送網#4 41

現場で活躍した測定器

iLand6 PL-1000D 挟んだファイバをモニタ可能 10G 10G 10G 400->100G • スペクトラムアナライザ― • 伝送路インラインにてファイバをモニタ • 伝送路内の光の波長を可視化 • 電源がOFFでもパススルー可能 FOADM (ch54-57) FOADM (ch54-57) FOADM (ch50-53) FOADM (ch50-53) pl1000d

ShowNet伝送網 測定機器 EXFO FTB-4 Pro VIAVI ONA800 Coherent WA200A (スペアナ) 400G-ZR+検証中 400Gbps BERT用テスタ • QSFP56-DD x 1 • QSFP28 x 4 400Gbps BERT用テスタ • QSFP56-DD x 1 • OSFP x 1 VIAVI OSA800 (スペアナ) 400G開通時の適切なクライアントはトラフィックテスタ

伝送分科会 x 他分科会 コラボレーション

ファシリティ 光技術コラボレーション + 46 SNコネクタ + 400GBase-DR4 の採用 伝送路のトランシーバ調整から、SNコネクタ用のDR4の提案と採用

s6805 nexus93180 Circulator Circulator Circulator Circulator Circulator Circulator Circulator Circulator DC Polatis周り (BiDi+光スイッチ) による L3ファブリックの近代化 1 3 33 35 4 2 34 36 nexus9336c s6805 rgs6300 nexus93180 nexus9336c rgs6930 100G-LR4 Transceiver tx rx tx+rx 1 2 3 2心ファイバ区間 1心ファイバ区間 polatis6k L2/L3 トポロジ サーキュレータの動作 DC内 ファイバ配線図 データセンタ 光技術 コラボレーション + 47 光スイッチを節約しつつ、柔軟な構成 切り替えの簡素化を実現 CirculatorとIP-CLOSの相性は良い

総括

ShowNet 伝送網 総括 400Gbps以上の伝送装置が伝送の主戦場となる バックボーン接続の400Gbpsの要求の高さ • 今回のIPバックボーンはほぼほぼ400Gbpsであった • 伝送装置で400Gbpsを拾える場所が限られていた • 高速、高収容の伝送装置が求められる 伝送網構築のためのパーツについて Mux/Demux、Add/Drop (ROADM/FOADM)、Circulatorの登場 伝送装置自体のメーカーの設計思想が全く違う • その為の OpenROADM の存在か 伝送装置管理方法が変わってきている WebUI、REST API、CLI (Dockerコンテナベース) 伝送 49

参考) ShowNet 2023 伝送スケジュール 6/1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 木 (day0) 金 土 日 月 火 水 木 金 土 日 月 火 水 木 金 土 機材搬入 HotStage 終了 会期 ラック設置 電源設置 ラック間ファイバ配線 ケーブルショップ展開 MDF作成 伝送機器マウント WDM#1 (RING) 予備 WDM#2 (C+L Band) 予備 WDM#3 (BiDi) 予備 WDM#4 (Passive) 予備 HotStage期間調整 随時L2L3借用＋印加試験 予備 予備 予備 会期期間微調整 ケーブル整線 撤収 バックボーン利用の為 各社様集合＋集中で構築 伝送網の品質試験 調整時コントリビュータ様へ相談 安定運用+伝送装置の 回線追加等の要望の随時受付 実際: 構成調整 実際: チャレンジ 伝送 50 スケジュール変更はありつつも、無事に大きな障害なく伝送網が完成

コントリビューション企業様 (アルファベット順・敬称略) 伝送 51