Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
【ShowNet Stage】コンピューティング資源を統合した分散コンテナ基盤の進化
Search
ShowNet
PRO
June 12, 2024
Technology
0
21
【ShowNet Stage】コンピューティング資源を統合した分散コンテナ基盤の進化
2024年6月に幕張メッセで実施されたInterop Tokyo ShowNetブース内ステージでのNOCチームメンバーによる講演資料
ShowNet
PRO
June 12, 2024
Tweet
Share
More Decks by ShowNet
See All by ShowNet
【展示会場内説明スライド】Security_ゼロトラストで支える広帯域セキュリティサービスと脅威監視基盤 ShowNet 2025
shownet
PRO
0
560
【展示会場内説明スライド】DC・クラウド_AIと既存サービスを融合したマルチテナント対応コンテナ基盤 ShowNet 2025
shownet
PRO
0
570
【展示会場内説明スライド】ファシリティ ShowNet 2025
shownet
PRO
0
810
【展示会場内説明スライド】mobile_ShowNet初!キャリア5G連携への挑戦 ShowNet 2025
shownet
PRO
0
480
【展示会場内説明スライド】Media over IP ShowNet Media-X ShowNet 2025
shownet
PRO
0
450
【展示会場内説明スライド】L2/L3 ShowNet 2025
shownet
PRO
0
840
【展示会場内説明スライド】モニタリング ShowNet 2025
shownet
PRO
0
380
【展示会場内説明スライド】伝送_ShowNetAPN 2025概要 ShowNet 2025
shownet
PRO
0
720
【展示会場内説明スライド】Tester_AI基盤からエッジまで多様化するネットワークとテストの進化 ShowNet 2025
shownet
PRO
0
500
Other Decks in Technology
See All in Technology
Flutter向けPDFビューア、pdfrxのpdfium WASM対応について
espresso3389
0
120
生まれ変わった AWS Security Hub (Preview) を紹介 #reInforce_osaka / reInforce New Security Hub
masahirokawahara
0
420
Zephyr RTOSを使った開発コンペに参加した件
iotengineer22
1
190
MUITにおける開発プロセスモダナイズの取り組みと開発生産性可視化の取り組みについて / Modernize the Development Process and Visualize Development Productivity at MUIT
muit
1
13k
「良さそう」と「とても良い」の間には 「良さそうだがホンマか」がたくさんある / 2025.07.01 LLM品質Night
smiyawaki0820
1
490
改めてAWS WAFを振り返る~業務で使うためのポイント~
masakiokuda
2
230
生成AI時代の開発組織・技術・プロセス 〜 ログラスの挑戦と考察 〜
itohiro73
1
410
AIの全社活用を推進するための安全なレールを敷いた話
shoheimitani
2
320
Glacierだからってコストあきらめてない? / JAWS Meet Glacier Cost
taishin
1
140
使いたいMCPサーバーはWeb APIをラップして自分で作る #QiitaBash
bengo4com
0
1.5k
Geminiとv0による高速プロトタイピング
shinya337
0
230
Connect 100+を支える技術
kanyamaguc
0
180
Featured
See All Featured
Facilitating Awesome Meetings
lara
54
6.4k
How to Think Like a Performance Engineer
csswizardry
24
1.7k
Stop Working from a Prison Cell
hatefulcrawdad
270
21k
Being A Developer After 40
akosma
90
590k
Measuring & Analyzing Core Web Vitals
bluesmoon
7
500
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
233
17k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
18
960
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
45
7.5k
[RailsConf 2023] Rails as a piece of cake
palkan
55
5.6k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
34
5.9k
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
Transcript
コンピューティング資源を統合した 分散コンテナ基盤の進化 ShowNet NOC DC/Cloudチーム 明石 邦夫 織学
ShowNet 2024 DC-Cloudチームのテーマ コンピューティング資源を統合した分散コンテナ基盤の 進化 クラウドネイティブな次世代サービス基盤 多拠点間に分散するコンテナマネージメント 複雑化するインフラ基盤のためのオブザーバビリティ 2
今年のDC/Serviceセグメント 3
今年のDC/Serviceセグメント 4 クラウドネイティブな次世代 サービス基盤 複雑化するインフラ基盤のため のオブザーバビリティ 多拠点間に分散する コンテナマネージメント
今年の仮想化基盤・コンテナ基盤 仮想化基盤 vSphere • CPUコア数: 168 • メモリ: 2.5TB •
ストレージ: 2PB • 仮想マシン: 35 Nutanix • CPUコア数: 144 • メモリ: 1.5TB • ストレージ: 15TB • 仮想マシン: 35 5 コンテナ基盤 クラスタ数: 8 • Ocp, ocp2, ntnx, vanilla, sdpf, jk8s, jocp, eks 総ノード数: 54 Pod: 990 Deployment+DaemonSet +StatefulSets: 346 Azure Stack HCI • CPUコア数: 72 • メモリ: 512GB • ストレージ: 7.5TB
Apstra によるネットワークの統合管理 ECMP でのコンテナアプリのスケールアウト Service 全体設計 6 Exos-corvault ucs-c240m7 qfx5120
qfx5120 nexus93180yc nexus93180yc nexus9332c nexus9332c NSX apstra nexus9300v panoptica zabbix openshift 仮想化基盤向けの EVPN VXLAN コンテナ基盤向けの eBGP によるL3 接続 ucs-c240m7
RoCEファブリックの相互接続、ECN/PFCのテスト HCIとAKSのAzure連携、コンテナ脆弱性の可視化 DC 全体設計 7 nexus-dashboard qfx5120 nexus93180yc nexus9332d nexus9408
dl380-gen11 Azure Kubernetes Service Prisma-cloud
ネットワークの統合管理 Apstra によるインテントネットワーク 8 テレメトリによる監視 IP アドレス、AS番号などの リソース管理 EVPN VXLAN
での L2 延伸 VXLAN Stiching による DC Interconnect コンテナ基盤向けの eBGP 接続 ECMP によるコンテナアプリの スケールアウト
Nutanix IaaS 基盤 Nutanix 仮想化基盤 Cisco UCS C240M7 3 台でのクラスタ構成
Kubernetes も多数動作 Cisco Intersight と連携も可能 イメージデプロイ ハードウェア管理など 9
vSphere IaaS 基盤 仮想アプライアンスが多数動作 OpenShift、Tanzu なども NSX による分散Firewall 仮想アプライアンスの防御 ストレージに
Exos CORVAULT 4U サイズで 2PB の高密度ストレージ 10
DoH/DoT 今年の ShowNet は DNS cache サーバで DoH/DoT を有効に 証明書は
kubernetes で管理 Discovery of Designated Resolvers 11 nexus93180yc nexus93180yc unbound unbound unbound ShowNet Backbone サーバへは ECMP で分散 unbound.conf 証明書 k8s の etcd から VolumeMount
DoH/DoT の割合 12 DoH は 3~4 割、DoT は 1 割程度
コンテナルータ クラウドネイティブルータを kubernetes へ Service アドレスは BGP でアドバタイズ コンテナネットワークを VRF
で作成 Worker Node 間は SR-MPLS で構成 13
TestCenter A1 から 100Gbps のトラフィックを送信 RoCEv2 エミュレーション 各スイッチが DCQCN によって
トラフィックを抑制できるかの検証 輻輳制御によって送信レートが 22Gbps まで調整されることを確認 ロスレスネットワーク検証 14
コンテナセキュリティ コンテナ基盤上で動くアプリのトラフィックやイメージの 脆弱性検査 15
Kubernetesマルチクラスタ 構成/用途に応じてSubmariner(L3)とSkupper(L7)を使い分けてクラスター間接続 Advanced Cluster Management for Kubernetesでマルチクラスタを一元管理 16 submariner-gw skupper-router
submariner-gw submariner-gw skupper-router skupper-router open-cluster- mgmt-hub DL380 Gen11 prisma-cloud Azure Kubernetes Service
ShowNet/Cloud 連携 (1) ShowNet と SDPF クラウドを L2 接続 Kubernetes
のマルチクラスタを構築 17 control-plane control-plane control-plane worker worker worker c8000v c8000v c8500 c8500 control-plane worker control-plane worker ShowNet
ShowNet/Cloud 連携 (2) Azure Arcでハイパーバイザ、仮想マシン、コンテナを統合 管理 18 ShowNet Azure Stack
HCI opsramp-agent twistlock submariner-gw Azure Virtual Desktop HPE Deployment Automation Windows Admin Center Azure Kubernetes Service HPE DL380 Gen11
Special Thanks 19