【ShowNet Stage 2026】800G/1.6T時代の分散・セキュアAIデータセンター

2026年6月に幕張メッセで実施されたInterop Tokyo ShowNetブース内ステージでのNOCチームメンバーによる講演資料

NOC チームメンバー
岡 大貴

NOC チームメンバー
織 学

Transcript

1. 800G/1.6T時代の分散・セキュア AIデータセンター ShowNet NOC DC/Cloudチーム 織学
2. DC/Cloud 今年のテーマ 800G/1.6T時代の分散・セキュアAIデータセンター 800G/1.6T接続と長距離RDMAで実現する分散AI基盤 多様なサービスを支えるセキュアなデータセンターネットワーク SRv6バックボーンと一体化したマルチテナントコンテナサービス 基盤 2
4. GPU Over APN Testbed GPU基盤 800G/1.6T RoCEv2 ネットワーク 分散推論コンテナ基盤 SRv6 によるマルチテナント コンテナサービス DPUスイッチ サービス仮想化基盤 4
5. 800G/1.6T DC ネットワーク 1.6T 相互接続検証 1.6T 水冷スイッチ テスター機器との相互接続 1.6T負荷試験 800G IPファブリック 800G Breakout • 1x800G • 2x400G (800G-DR8 to 2x400G-DR4) • 8x100G (400G-DR4 to 100G-DR1) Fiber: 2xMPO12 / MPO-16 Transceiver: OSPF(RHS/IHS), QSFP 800G Spine/Leaf SW 5
6. 長距離RoCEv2 over SRv6 GPUサーバ向けRoCEv2トラフィックを SRv6 Backbone上で収容 AI/HPCワークロードを想定し、SRv6 Backbone上でRDMA通信の実証実験 今年のShowNetでは首都圏の他拠点と RoCEv2トラフィックを実際に流す 実験を実施 この範囲がRoCEv2 over SRv6 6
7. 長距離RoCEv2検証  ShowNetのSRv6バックボーンを経由したRoCEv2 通信を検証  Inner IPv4ヘッダのECN bitがOuter IPv6 SRHにコ ピーされることを確認  RDMAパフォーマンスの確認  チューニングなしでも帯域: 50Gbps 遅延: 500usec程 度でRDMA自体は成立  最適化のためにはチューニングが必要 GPU over APN Testbed (札幌, 三鷹, 横浜, 福岡) Inner IPv4 Header ECN bit = 11 輻輳検知 RoCEv2通信 RoCEv2 UDP/IB ヘッダ IOWN APN ShowNet SRv6 Backbone Outer IPv6 Header ECN bit = 11 輻輳検知 ECN: 11 Congestion Experienced CNP Congestion Notification ShowNet DC NW GPU基盤 7
8. ShowNetサービスを支える仮想化基盤&NW Apstraによる統合管理 EVPN/VXLAN による L2/L3 VPN VRFごとにサービスを提供 HCI 仮想化基盤  Nutanix: Cisco UCS C240 M7 x 3台のクラスタ SD-WAN によるクラウド連携  Cisco 8550  NTTドコモビジネスSDPF NW機器の可視化  Nexus Dashboard NTPサーバ  ShowNet全機器の時刻同期元
9. 分散推論コンテナ基盤 GoAT: GPU over APN Testbed 札幌、三鷹、横浜、福岡のデータセンター をIOWN APNで接続 Sterna: RDMA加速装置 HPE VM Essentialsによる仮想化基盤 Proliant DL380 Gen12 x 3 Alletra Storage MP 推論サービス ShowNetのGPUサーバと各データセンター のGPUサーバをまとめて一つのOpenShiftク ラスタを構築 vLLM/llm-dによる分散推論基盤 9
10. 分散推論基盤のGPU ShowNetの各種GPUサーバとGoAT拠点のGPUサーバに OpenShiftコンテナ基盤を構築 ShowNetのGPUサーバ NEC ExpEtherサーバ: GPUを搭載したIO BoxとExpEtherホスト アダプタを搭載したサーバをPCIe over 100G Ethernetで接続 HPE Proliant DL380 Gen12: 仮想マシンに対してGPUとRoCE NICをPCI Passthroughで接続 GoATのGPUサーバ 横浜拠点: NVIDIA B200 x 10, ConnectX-7 x 10 福岡拠点: NVIDIA RTX PRO 6000 x 2, ConnextX-7 x 2 GPU over APN Testbed (札幌, 三鷹, 横浜, 福岡) IOWN APN ShowNet SRv6 Backbone ShowNet DC NW
11. vLLM + llm-dによる分散推論  オープンソースの推論エンジン  主要なオープンモデルの実行をサポート  最新の推論技術を統合  幅広いアクセラレーターのサポート  推論に関する様々な機能を網羅:  Text, Embeddings, Multimodal, Reward Modeling  Quantization: INT8, FP8, GPTQ, AWQ, KV Cache  Chunked Prefill, Automatic Prefix Caching, Multi LoRA, Speculative Decoding, Disaggregated Prefill  Tool/Function Calling, Structured Outputs  Tensor Parallelism, Pipeline Parallelism  Prefill/decode disaggregation  KV Cache distribution, offloading and storage hierarchy  AI-aware router 11
12. PrefillとDecodeの分離 LLMの推論時の処理は大きくPrefillとDecodeに分かれる Prefill 入力されたプロンプトを元に出力に必要な モデルの中間状態（KV Cache）を計算する 大量の入力をまとめて処理するため アクセラレーターの計算能力が重要 （=Compute Bound） PrefillとDecodeを一 つのGPUで処理 Decode 保存されたKV Cacheを元に、逐次的にトー クンのアウトプットを行う アクセラレーターのメモリに保存された KV Cacheを効率的に利用することが重要 （=Memory Bound） PrefillとDecodeを別 々のGPUで処理 12
13. 生成AI Agentの利用デモ@ShowNet 2026 AI Agent (OpenClawベース)をShowNetにて提供 OpenClaw: オープンソースのAI Agentのいち実装 Local LLM OpenClawへのExtension 人間はCisco Webex経由でAIとやりとり Cisco NSOとNOC作成MCPサーバ経由で ShowNet機器のCLIを操作できる Stella Cyber MCPでセキュリティ ケースの確認 Guardrailによる AI Agentへの攻撃対策 ShowNet側装置 Inference Engine REST API AI Guardrail StellaCyber Cloud Prompt/ Tool Result Agent (Gateway) Cisco NSO CLI MCP Servers Response/ Tool Call Tool Call IDENTITY, SOUL, SKILL OpenClaw Shell Webex 13
15. AI Guardrail 悪性プロンプトの検知と遮断 入力時：Prompt Injection、禁止トピック、危険な指示など 出力時：認証情報の漏洩など 4種類のAIガードレールを並列で実装 One-arm型: Prisma AIRS, DefenseClaw Gateway型: PromptSecurity, AI Guardrails 入出力を検査 悪性なものはブロック Operator Webex Chat Bot OpenClaw Guardrail LLM 15
16. 仮想化基盤  Nutanix: Cisco UCS C240 M7 x 3台のクラスタ  モニタリング、セキュリティ等の様々なVMが稼働  144コア, メモリ1.5TB, ストレージ287TB, VM48台  HPE Morpheus VM Essentials: ProLiant DL380 Gen12 x 3台のクラスタ  Nvidia GPUを搭載し、分散推論基盤としても稼働  NutanixやAzure、OpenShiftのリソースも統合管理  144コア, メモリ1.5TB, ストレージ29TB, VM18台 16
17. 多様なサービスを支えるセキュリティ製品 Paloalto • Cortex Cloud: コンテナの脆弱性検査やアノマリ検知 • VM-Series: 各種サービスへの通信のフィルタリング Cisco • N9348Y2C6D-SE1U • DPU 搭載: HyperShield連携によるFWルールの適用 HPE • CX10000 • DPU搭載: 仮想マシン間のマイクロ セグメンテーション 17
18. SRv6バックボーンと一体化したマルチテナント コンテナサービス基盤 SRv6 uSIDバックボーンとコンテナ基盤 が直接接続 c i s c o8 711- 32f h ISIS で SID を広告  マルチテナントサービス Cilium/JCNRによるマルチベンダー構成 いろんな技術で相互接続  ISIS: frr/JCNR(crpd)  BGP: Cilium/JCNR(crpd)  データプレーン: Cilium/JCNR(vRouter)  コンテナ基盤: OpenShift DHCP/DNS サービスを展開 Pt x100 02- 36qdd c i l i um c r pd xr d BGP で VPN 経路を広告 BGP で VPN 経路を広告 j c nr uc s - c 2 40- m5- 1. . 3  VRF ごとにサービスを提供  JCNR: DHCP, DNS Authority  Cilium: DNS cache, Speedtest 18
19. Cilium/JCNR SRv6 Kubernetes Service SRv6 uSIDによるL3VPN構成 コンテナ内までVRFによるマルチテナントサービスを提供 2種類のCNIプラグインによるサービス提供 JCNR 19
20. コントリビュータ企業様一覧 20