Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ICTSC2020 バックボーン紹介スライド
Search
proelbtn
March 09, 2021
Technology
0
1.9k
ICTSC2020 バックボーン紹介スライド
ICTSC2020の会期中に協賛・参加者向けに行われたバックボーン紹介スライドです。
proelbtn
March 09, 2021
Tweet
Share
More Decks by proelbtn
See All by proelbtn
prob_code: k8s
proelbtn
0
73
Other Decks in Technology
See All in Technology
対話型音声AIアプリケーションの信頼性向上の取り組み
ivry_presentationmaterials
1
280
OpenTelemetryセマンティック規約の恩恵とMackerel APMにおける活用例 / SRE NEXT 2025
mackerelio
2
360
OSSのSNSツール「Misskey」をさわってみよう(右下ワイプで私のOSCの20年を振り返ります) / 20250705-osc2025-do
akkiesoft
0
170
VS CodeとGitHub Copilotで爆速開発!アップデートの波に乗るおさらい会 / Rapid Development with VS Code and GitHub Copilot: Catch the Latest Wave
yamachu
2
160
60以上のプロダクトを持つ組織における開発者体験向上への取り組み - チームAPIとBackstageで構築する組織の可視化基盤 - / sre next 2025 Efforts to Improve Developer Experience in an Organization with Over 60 Products
vtryo
2
370
Delegating the chores of authenticating users to Keycloak
ahus1
0
160
DatabricksにOLTPデータベース『Lakebase』がやってきた!
inoutk
0
120
Model Mondays S2E04: AI Developer Experiences
nitya
0
190
Contributing to Rails? Start with the Gems You Already Use
yahonda
2
100
CDKTFについてざっくり理解する!!~CloudFormationからCDKTFへ変換するツールも作ってみた~
masakiokuda
1
170
Yahoo!しごとカタログ 新しい境地を創るエンジニア募集!
lycorptech_jp
PRO
0
130
shake-upを科学する
rsakata
6
560
Featured
See All Featured
Build your cross-platform service in a week with App Engine
jlugia
231
18k
The Cult of Friendly URLs
andyhume
79
6.5k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
35
2.4k
Producing Creativity
orderedlist
PRO
346
40k
Building Better People: How to give real-time feedback that sticks.
wjessup
367
19k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
8
690
Into the Great Unknown - MozCon
thekraken
40
1.9k
Become a Pro
speakerdeck
PRO
29
5.4k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
50k
Embracing the Ebb and Flow
colly
86
4.7k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
48
2.9k
Transcript
インフラリーダー 齋藤遼河 バックボーン紹介
目次 • 会場・機材等協力 • 物理構成 / 論理構成 • 数字で見る今年のトラコン •
今年の見どころ ◦ ネットワーク編 ◦ 仮想化基盤編 ◦ 監視基盤編
会場・機材等協力
会場・機材等協力 ネットワーク系機材 • NEC UNIVERGE IX3110 • Juniper MX5 •
Juniper SRX1500 • Mellanox Spectrum SN2410 • Edgecore Wedge100BF-32X • Cisco Catalyst 4948 サーバ系機材 • Fujitsu PRIMERGY RX100 S7 x2 • IBM System x3650 M4 x2 • Huawei RH1288 V2 x4 その他機材 • 10G NIC x6 • SFP+ DAC x15 • OM3 光ケーブル x2 • 100GBASE-SR4 トランシーバ x4
物理構成
None
論理構成
数字で見る 今回のトラコン
初!本戦20チーム開催! • 問題VMリソース(2日間合計) ◦ VM数: 1218 VM(135%) ◦ vCPU: 1540
vCPU(139%) ◦ Memory: 2.4 TiB(184%) ◦ Storage: 22.4 TiB(128%)
今年の見どころ (ネットワーク編)
対外接続冗長化 & フルルート • HomeNOCとマルチホーム接続 ◦ POP03 : 東京拠点 ◦
NOC53 : 大阪拠点 • 両方からフルルートを受け取る構成
対外接続冗長化 & フルルート
NAVT with P4 Switch • NAVT: Network Address VLAN Translation
◦ トラコンの問題環境を支える変換プロトコル IP: src=172.16.2.1, dst=10.1.0.1 Ethernet: src=xxx, dst=yyy TCP: src=19485, dst=22 IP: src=172.16.2.1, dst=192.168.0.1 Ethernet: src=xxx, dst=yyy TCP: src=19485, dst=22 VLAN: vid=100
NAVT with P4 Switch 192.168.4.1 192.168.4.1 10.1.4.1 10.20.4.1
NAVT with P4 Switch • NAVT: Network Address VLAN Translation
◦ トラコンの問題環境を支える変換プロトコル IP: src=10.7.4.1, dst=160.16.73.123 Ethernet: src=xxx, dst=yyy TCP: src=58193, dst=443 IP: src=192.168.4.1, dst=160.16.73.123 Ethernet: src=xxx, dst=yyy TCP: src=58193, dst=443 VLAN: vid=700
NAVT with P4 Switch • 今年はP4を用いてNAVTの実装を行った ◦ https://github.com/takehaya/p4-navt • ハードウェアのP4スイッチをお借りした
◦ Edgecore Wedge 100BF-32X
NAVT with P4 Switch
WireGuard • 様々なOSで動作するL3VPN ◦ Linux Kernel 5.6にマージされた • 今年の利用例 ◦
DCや会場とのVPN ◦ さくらのクラウドとのサイト間接続
BGP over WireGuard
BGP over WireGuard
BGP over WireGuard
今年の見どころ (仮想化基盤編)
• 今回の仮想化基盤の実装 ◦ https://github.com/ophum/humstack • リソースを宣言することでVMやネットワークが作成される ◦ > influenced by
n0stack, kubernetes… humstack
humstack dashboard
humstack dashboard
Ceph RDB • 会場のサーバー8台でCephクラスタを組んでいる • ioDrive 6枚 + HDD 3個でOSDが動作している
• Snapshotを利用しているため、チーム数が増えても 使用するストレージサイズを劇的に抑えることができる ◦ 1日目の問題VMの全展開で3.1 TiB ▪ レプリカ数 3で展開している
Ceph RBD
Ceph RBD
今年の見どころ (監視基盤編)
監視構成 syslog, sFlow syslog SNMP IPMI node-exporter ceph-exporter
監視構成
まとめ 今回のトラコンも、新しい挑戦をしつつ 安定したインフラを提供できたと思います! 会場・機材等を提供いただいた企業・団体のみなさま 本当にありがとうございました!