Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
【ShowNet Stage】コンピューティング資源を統合した分散コンテナ基盤の進化
Search
ShowNet
PRO
June 12, 2024
Technology
0
11
【ShowNet Stage】コンピューティング資源を統合した分散コンテナ基盤の進化
2024年6月に幕張メッセで実施されたInterop Tokyo ShowNetブース内ステージでのNOCチームメンバーによる講演資料
ShowNet
PRO
June 12, 2024
Tweet
Share
More Decks by ShowNet
See All by ShowNet
【shownet.conf_】ShowNet 2024 ~ Inter * Network ~
shownet
PRO
0
1.1k
【shownet.conf_】ShowNet伝送改めShowNet APN 2024
shownet
PRO
0
890
【shownet.conf_】コンピューティング資源を統合した分散コンテナ基盤の進化
shownet
PRO
0
840
【shownet.conf_】ShowNet x 宇宙ネットワーク
shownet
PRO
0
790
【shownet.conf_】多様化するネットワーク環境を柔軟に統合するルーティングテクノロジー
shownet
PRO
0
770
【shownet.conf_】3Dアプローチで守るセキュリティ
shownet
PRO
0
770
【shownet.conf_】トポロジ図の歩き方
shownet
PRO
0
1.1k
【shownet.conf_】AI技術とUX監視の応用でShowNetの基盤を支えるモニタリングシステム
shownet
PRO
0
770
【shownet.conf_】ローカル5Gを活用したウォーキングツアーの体感向上
shownet
PRO
0
720
Other Decks in Technology
See All in Technology
ABWGのRe:Cap!
hm5ug
1
120
0→1事業こそPMは営業すべし / pmconf #落選お披露目 / PM should do sales in zero to one
roki_n_
PRO
1
1.4k
ゼロからわかる!!AWSの構成図を書いてみようワークショップ 問題&解答解説 #デッカイギ #羽田デッカイギおつ
_mossann_t
0
1.5k
20250116_JAWS_Osaka
takuyay0ne
2
200
アジャイルチームが変化し続けるための組織文化とマネジメント・アプローチ / Agile management that enables ever-changing teams
kakehashi
3
3.4k
あなたの知らないクラフトビールの世界
miura55
0
120
Git scrapingで始める継続的なデータ追跡 / Git Scraping
ohbarye
5
490
2025年のARグラスの潮流
kotauchisunsun
0
790
【JAWS-UG大阪 reInvent reCap LT大会 サンバが始まったら強制終了】“1分”で初めてのソロ参戦reInventを数字で振り返りながら反省する
ttelltte
0
140
RubyでKubernetesプログラミング
sat
PRO
4
160
「隙間家具OSS」に至る道/Fujiwara Tech Conference 2025
fujiwara3
7
6.4k
JuliaTokaiとJuliaLangJaの紹介 for NGK2025S
antimon2
1
110
Featured
See All Featured
For a Future-Friendly Web
brad_frost
176
9.5k
YesSQL, Process and Tooling at Scale
rocio
170
14k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
44
7k
Facilitating Awesome Meetings
lara
51
6.2k
Automating Front-end Workflow
addyosmani
1366
200k
Agile that works and the tools we love
rasmusluckow
328
21k
Fashionably flexible responsive web design (full day workshop)
malarkey
406
66k
Adopting Sorbet at Scale
ufuk
74
9.2k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
28
9.2k
How STYLIGHT went responsive
nonsquared
96
5.3k
What’s in a name? Adding method to the madness
productmarketing
PRO
22
3.2k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
3
180
Transcript
コンピューティング資源を統合した 分散コンテナ基盤の進化 ShowNet NOC DC/Cloudチーム 明石 邦夫 織学
ShowNet 2024 DC-Cloudチームのテーマ コンピューティング資源を統合した分散コンテナ基盤の 進化 クラウドネイティブな次世代サービス基盤 多拠点間に分散するコンテナマネージメント 複雑化するインフラ基盤のためのオブザーバビリティ 2
今年のDC/Serviceセグメント 3
今年のDC/Serviceセグメント 4 クラウドネイティブな次世代 サービス基盤 複雑化するインフラ基盤のため のオブザーバビリティ 多拠点間に分散する コンテナマネージメント
今年の仮想化基盤・コンテナ基盤 仮想化基盤 vSphere • CPUコア数: 168 • メモリ: 2.5TB •
ストレージ: 2PB • 仮想マシン: 35 Nutanix • CPUコア数: 144 • メモリ: 1.5TB • ストレージ: 15TB • 仮想マシン: 35 5 コンテナ基盤 クラスタ数: 8 • Ocp, ocp2, ntnx, vanilla, sdpf, jk8s, jocp, eks 総ノード数: 54 Pod: 990 Deployment+DaemonSet +StatefulSets: 346 Azure Stack HCI • CPUコア数: 72 • メモリ: 512GB • ストレージ: 7.5TB
Apstra によるネットワークの統合管理 ECMP でのコンテナアプリのスケールアウト Service 全体設計 6 Exos-corvault ucs-c240m7 qfx5120
qfx5120 nexus93180yc nexus93180yc nexus9332c nexus9332c NSX apstra nexus9300v panoptica zabbix openshift 仮想化基盤向けの EVPN VXLAN コンテナ基盤向けの eBGP によるL3 接続 ucs-c240m7
RoCEファブリックの相互接続、ECN/PFCのテスト HCIとAKSのAzure連携、コンテナ脆弱性の可視化 DC 全体設計 7 nexus-dashboard qfx5120 nexus93180yc nexus9332d nexus9408
dl380-gen11 Azure Kubernetes Service Prisma-cloud
ネットワークの統合管理 Apstra によるインテントネットワーク 8 テレメトリによる監視 IP アドレス、AS番号などの リソース管理 EVPN VXLAN
での L2 延伸 VXLAN Stiching による DC Interconnect コンテナ基盤向けの eBGP 接続 ECMP によるコンテナアプリの スケールアウト
Nutanix IaaS 基盤 Nutanix 仮想化基盤 Cisco UCS C240M7 3 台でのクラスタ構成
Kubernetes も多数動作 Cisco Intersight と連携も可能 イメージデプロイ ハードウェア管理など 9
vSphere IaaS 基盤 仮想アプライアンスが多数動作 OpenShift、Tanzu なども NSX による分散Firewall 仮想アプライアンスの防御 ストレージに
Exos CORVAULT 4U サイズで 2PB の高密度ストレージ 10
DoH/DoT 今年の ShowNet は DNS cache サーバで DoH/DoT を有効に 証明書は
kubernetes で管理 Discovery of Designated Resolvers 11 nexus93180yc nexus93180yc unbound unbound unbound ShowNet Backbone サーバへは ECMP で分散 unbound.conf 証明書 k8s の etcd から VolumeMount
DoH/DoT の割合 12 DoH は 3~4 割、DoT は 1 割程度
コンテナルータ クラウドネイティブルータを kubernetes へ Service アドレスは BGP でアドバタイズ コンテナネットワークを VRF
で作成 Worker Node 間は SR-MPLS で構成 13
TestCenter A1 から 100Gbps のトラフィックを送信 RoCEv2 エミュレーション 各スイッチが DCQCN によって
トラフィックを抑制できるかの検証 輻輳制御によって送信レートが 22Gbps まで調整されることを確認 ロスレスネットワーク検証 14
コンテナセキュリティ コンテナ基盤上で動くアプリのトラフィックやイメージの 脆弱性検査 15
Kubernetesマルチクラスタ 構成/用途に応じてSubmariner(L3)とSkupper(L7)を使い分けてクラスター間接続 Advanced Cluster Management for Kubernetesでマルチクラスタを一元管理 16 submariner-gw skupper-router
submariner-gw submariner-gw skupper-router skupper-router open-cluster- mgmt-hub DL380 Gen11 prisma-cloud Azure Kubernetes Service
ShowNet/Cloud 連携 (1) ShowNet と SDPF クラウドを L2 接続 Kubernetes
のマルチクラスタを構築 17 control-plane control-plane control-plane worker worker worker c8000v c8000v c8500 c8500 control-plane worker control-plane worker ShowNet
ShowNet/Cloud 連携 (2) Azure Arcでハイパーバイザ、仮想マシン、コンテナを統合 管理 18 ShowNet Azure Stack
HCI opsramp-agent twistlock submariner-gw Azure Virtual Desktop HPE Deployment Automation Windows Admin Center Azure Kubernetes Service HPE DL380 Gen11
Special Thanks 19