Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
【ShowNet Stage】コンピューティング資源を統合した分散コンテナ基盤の進化
Search
ShowNet
PRO
June 12, 2024
Technology
0
21
【ShowNet Stage】コンピューティング資源を統合した分散コンテナ基盤の進化
2024年6月に幕張メッセで実施されたInterop Tokyo ShowNetブース内ステージでのNOCチームメンバーによる講演資料
ShowNet
PRO
June 12, 2024
Tweet
Share
More Decks by ShowNet
See All by ShowNet
【shownet.conf_】ShowNet 2024 ~ Inter * Network ~
shownet
PRO
0
2.2k
【shownet.conf_】ShowNet伝送改めShowNet APN 2024
shownet
PRO
0
1.8k
【shownet.conf_】コンピューティング資源を統合した分散コンテナ基盤の進化
shownet
PRO
0
1.6k
【shownet.conf_】ShowNet x 宇宙ネットワーク
shownet
PRO
0
1.6k
【shownet.conf_】多様化するネットワーク環境を柔軟に統合するルーティングテクノロジー
shownet
PRO
0
1.5k
【shownet.conf_】3Dアプローチで守るセキュリティ
shownet
PRO
0
1.5k
【shownet.conf_】トポロジ図の歩き方
shownet
PRO
0
3.2k
【shownet.conf_】AI技術とUX監視の応用でShowNetの基盤を支えるモニタリングシステム
shownet
PRO
0
1.5k
【shownet.conf_】ローカル5Gを活用したウォーキングツアーの体感向上
shownet
PRO
0
1.4k
Other Decks in Technology
See All in Technology
エンジニア向け技術スタック情報
kauche
1
270
2025-06-26_Lightning_Talk_for_Lightning_Talks
_hashimo2
2
100
【TiDB GAME DAY 2025】Shadowverse: Worlds Beyond にみる TiDB 活用術
cygames
0
1.1k
Welcome to the LLM Club
koic
0
190
Liquid Glass革新とSwiftUI/UIKit進化
fumiyasac0921
0
230
Windows 11 で AWS Documentation MCP Server 接続実践/practical-aws-documentation-mcp-server-connection-on-windows-11
emiki
0
1k
Oracle Audit Vault and Database Firewall 20 概要
oracle4engineer
PRO
3
1.7k
20250625 Snowflake Summit 2025活用事例 レポート / Nowcast Snowflake Summit 2025 Case Study Report
kkuv
1
310
A2Aのクライアントを自作する
rynsuke
1
190
Lambda Web Adapterについて自分なりに理解してみた
smt7174
4
120
Claude Code Actionを使ったコード品質改善の取り組み
potix2
PRO
6
2.4k
Oracle Cloud Infrastructure:2025年6月度サービス・アップデート
oracle4engineer
PRO
2
260
Featured
See All Featured
Build The Right Thing And Hit Your Dates
maggiecrowley
36
2.8k
RailsConf 2023
tenderlove
30
1.1k
Reflections from 52 weeks, 52 projects
jeffersonlam
351
20k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
34
3k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
31
1.2k
Product Roadmaps are Hard
iamctodd
PRO
54
11k
Optimising Largest Contentful Paint
csswizardry
37
3.3k
Practical Orchestrator
shlominoach
188
11k
We Have a Design System, Now What?
morganepeng
53
7.7k
Done Done
chrislema
184
16k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
252
21k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
130
19k
Transcript
コンピューティング資源を統合した 分散コンテナ基盤の進化 ShowNet NOC DC/Cloudチーム 明石 邦夫 織学
ShowNet 2024 DC-Cloudチームのテーマ コンピューティング資源を統合した分散コンテナ基盤の 進化 クラウドネイティブな次世代サービス基盤 多拠点間に分散するコンテナマネージメント 複雑化するインフラ基盤のためのオブザーバビリティ 2
今年のDC/Serviceセグメント 3
今年のDC/Serviceセグメント 4 クラウドネイティブな次世代 サービス基盤 複雑化するインフラ基盤のため のオブザーバビリティ 多拠点間に分散する コンテナマネージメント
今年の仮想化基盤・コンテナ基盤 仮想化基盤 vSphere • CPUコア数: 168 • メモリ: 2.5TB •
ストレージ: 2PB • 仮想マシン: 35 Nutanix • CPUコア数: 144 • メモリ: 1.5TB • ストレージ: 15TB • 仮想マシン: 35 5 コンテナ基盤 クラスタ数: 8 • Ocp, ocp2, ntnx, vanilla, sdpf, jk8s, jocp, eks 総ノード数: 54 Pod: 990 Deployment+DaemonSet +StatefulSets: 346 Azure Stack HCI • CPUコア数: 72 • メモリ: 512GB • ストレージ: 7.5TB
Apstra によるネットワークの統合管理 ECMP でのコンテナアプリのスケールアウト Service 全体設計 6 Exos-corvault ucs-c240m7 qfx5120
qfx5120 nexus93180yc nexus93180yc nexus9332c nexus9332c NSX apstra nexus9300v panoptica zabbix openshift 仮想化基盤向けの EVPN VXLAN コンテナ基盤向けの eBGP によるL3 接続 ucs-c240m7
RoCEファブリックの相互接続、ECN/PFCのテスト HCIとAKSのAzure連携、コンテナ脆弱性の可視化 DC 全体設計 7 nexus-dashboard qfx5120 nexus93180yc nexus9332d nexus9408
dl380-gen11 Azure Kubernetes Service Prisma-cloud
ネットワークの統合管理 Apstra によるインテントネットワーク 8 テレメトリによる監視 IP アドレス、AS番号などの リソース管理 EVPN VXLAN
での L2 延伸 VXLAN Stiching による DC Interconnect コンテナ基盤向けの eBGP 接続 ECMP によるコンテナアプリの スケールアウト
Nutanix IaaS 基盤 Nutanix 仮想化基盤 Cisco UCS C240M7 3 台でのクラスタ構成
Kubernetes も多数動作 Cisco Intersight と連携も可能 イメージデプロイ ハードウェア管理など 9
vSphere IaaS 基盤 仮想アプライアンスが多数動作 OpenShift、Tanzu なども NSX による分散Firewall 仮想アプライアンスの防御 ストレージに
Exos CORVAULT 4U サイズで 2PB の高密度ストレージ 10
DoH/DoT 今年の ShowNet は DNS cache サーバで DoH/DoT を有効に 証明書は
kubernetes で管理 Discovery of Designated Resolvers 11 nexus93180yc nexus93180yc unbound unbound unbound ShowNet Backbone サーバへは ECMP で分散 unbound.conf 証明書 k8s の etcd から VolumeMount
DoH/DoT の割合 12 DoH は 3~4 割、DoT は 1 割程度
コンテナルータ クラウドネイティブルータを kubernetes へ Service アドレスは BGP でアドバタイズ コンテナネットワークを VRF
で作成 Worker Node 間は SR-MPLS で構成 13
TestCenter A1 から 100Gbps のトラフィックを送信 RoCEv2 エミュレーション 各スイッチが DCQCN によって
トラフィックを抑制できるかの検証 輻輳制御によって送信レートが 22Gbps まで調整されることを確認 ロスレスネットワーク検証 14
コンテナセキュリティ コンテナ基盤上で動くアプリのトラフィックやイメージの 脆弱性検査 15
Kubernetesマルチクラスタ 構成/用途に応じてSubmariner(L3)とSkupper(L7)を使い分けてクラスター間接続 Advanced Cluster Management for Kubernetesでマルチクラスタを一元管理 16 submariner-gw skupper-router
submariner-gw submariner-gw skupper-router skupper-router open-cluster- mgmt-hub DL380 Gen11 prisma-cloud Azure Kubernetes Service
ShowNet/Cloud 連携 (1) ShowNet と SDPF クラウドを L2 接続 Kubernetes
のマルチクラスタを構築 17 control-plane control-plane control-plane worker worker worker c8000v c8000v c8500 c8500 control-plane worker control-plane worker ShowNet
ShowNet/Cloud 連携 (2) Azure Arcでハイパーバイザ、仮想マシン、コンテナを統合 管理 18 ShowNet Azure Stack
HCI opsramp-agent twistlock submariner-gw Azure Virtual Desktop HPE Deployment Automation Windows Admin Center Azure Kubernetes Service HPE DL380 Gen11
Special Thanks 19