Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ICTSC2020 バックボーン紹介スライド
Search
proelbtn
March 09, 2021
Technology
0
1.9k
ICTSC2020 バックボーン紹介スライド
ICTSC2020の会期中に協賛・参加者向けに行われたバックボーン紹介スライドです。
proelbtn
March 09, 2021
Tweet
Share
More Decks by proelbtn
See All by proelbtn
prob_code: k8s
proelbtn
0
73
Other Decks in Technology
See All in Technology
生成AIによるソフトウェア開発の収束地点 - Hack Fes 2025
vaaaaanquish
35
16k
Cloud WANの基礎から応用~少しだけDeep Dive~
masakiokuda
4
130
Rethinking Incident Response: Context-Aware AI in Practice - Incident Buddy Edition -
rrreeeyyy
0
120
Exadata Database Service on Dedicated Infrastructure セキュリティ、ネットワーク、および管理について
oracle4engineer
PRO
1
330
PFEM Online Feature Flag @ newmo
shinyaishitobi
2
180
生成AI利用プログラミング:誰でもプログラムが書けると 世の中どうなる?/opencampus202508
okana2ki
0
170
アカデミーキャンプ 2025 SuuuuuuMMeR「燃えろ!!ロボコン」 / Academy Camp 2025 SuuuuuuMMeR "Burn the Spirit, Robocon!!" DAY 1
ks91
PRO
0
150
開発と脆弱性と脆弱性診断についての話
su3158
0
130
React Server ComponentsでAPI不要の開発体験
polidog
PRO
1
350
いま、あらためて考えてみるアカウント管理 with IaC / Account management with IaC
kohbis
2
470
Claude Codeは仕様駆動の夢を見ない
gotalab555
23
7.3k
どこで動かすか、誰が動かすか 〜 kintoneのインフラ基盤刷新と運用体制のシフト 〜
ueokande
0
100
Featured
See All Featured
Understanding Cognitive Biases in Performance Measurement
bluesmoon
29
1.8k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
Java REST API Framework Comparison - PWX 2021
mraible
33
8.8k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
139
34k
KATA
mclloyd
32
14k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
36
2.5k
Adopting Sorbet at Scale
ufuk
77
9.5k
Fantastic passwords and where to find them - at NoRuKo
philnash
51
3.4k
Being A Developer After 40
akosma
90
590k
Building Applications with DynamoDB
mza
96
6.6k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
161
15k
VelocityConf: Rendering Performance Case Studies
addyosmani
332
24k
Transcript
インフラリーダー 齋藤遼河 バックボーン紹介
目次 • 会場・機材等協力 • 物理構成 / 論理構成 • 数字で見る今年のトラコン •
今年の見どころ ◦ ネットワーク編 ◦ 仮想化基盤編 ◦ 監視基盤編
会場・機材等協力
会場・機材等協力 ネットワーク系機材 • NEC UNIVERGE IX3110 • Juniper MX5 •
Juniper SRX1500 • Mellanox Spectrum SN2410 • Edgecore Wedge100BF-32X • Cisco Catalyst 4948 サーバ系機材 • Fujitsu PRIMERGY RX100 S7 x2 • IBM System x3650 M4 x2 • Huawei RH1288 V2 x4 その他機材 • 10G NIC x6 • SFP+ DAC x15 • OM3 光ケーブル x2 • 100GBASE-SR4 トランシーバ x4
物理構成
None
論理構成
数字で見る 今回のトラコン
初!本戦20チーム開催! • 問題VMリソース(2日間合計) ◦ VM数: 1218 VM(135%) ◦ vCPU: 1540
vCPU(139%) ◦ Memory: 2.4 TiB(184%) ◦ Storage: 22.4 TiB(128%)
今年の見どころ (ネットワーク編)
対外接続冗長化 & フルルート • HomeNOCとマルチホーム接続 ◦ POP03 : 東京拠点 ◦
NOC53 : 大阪拠点 • 両方からフルルートを受け取る構成
対外接続冗長化 & フルルート
NAVT with P4 Switch • NAVT: Network Address VLAN Translation
◦ トラコンの問題環境を支える変換プロトコル IP: src=172.16.2.1, dst=10.1.0.1 Ethernet: src=xxx, dst=yyy TCP: src=19485, dst=22 IP: src=172.16.2.1, dst=192.168.0.1 Ethernet: src=xxx, dst=yyy TCP: src=19485, dst=22 VLAN: vid=100
NAVT with P4 Switch 192.168.4.1 192.168.4.1 10.1.4.1 10.20.4.1
NAVT with P4 Switch • NAVT: Network Address VLAN Translation
◦ トラコンの問題環境を支える変換プロトコル IP: src=10.7.4.1, dst=160.16.73.123 Ethernet: src=xxx, dst=yyy TCP: src=58193, dst=443 IP: src=192.168.4.1, dst=160.16.73.123 Ethernet: src=xxx, dst=yyy TCP: src=58193, dst=443 VLAN: vid=700
NAVT with P4 Switch • 今年はP4を用いてNAVTの実装を行った ◦ https://github.com/takehaya/p4-navt • ハードウェアのP4スイッチをお借りした
◦ Edgecore Wedge 100BF-32X
NAVT with P4 Switch
WireGuard • 様々なOSで動作するL3VPN ◦ Linux Kernel 5.6にマージされた • 今年の利用例 ◦
DCや会場とのVPN ◦ さくらのクラウドとのサイト間接続
BGP over WireGuard
BGP over WireGuard
BGP over WireGuard
今年の見どころ (仮想化基盤編)
• 今回の仮想化基盤の実装 ◦ https://github.com/ophum/humstack • リソースを宣言することでVMやネットワークが作成される ◦ > influenced by
n0stack, kubernetes… humstack
humstack dashboard
humstack dashboard
Ceph RDB • 会場のサーバー8台でCephクラスタを組んでいる • ioDrive 6枚 + HDD 3個でOSDが動作している
• Snapshotを利用しているため、チーム数が増えても 使用するストレージサイズを劇的に抑えることができる ◦ 1日目の問題VMの全展開で3.1 TiB ▪ レプリカ数 3で展開している
Ceph RBD
Ceph RBD
今年の見どころ (監視基盤編)
監視構成 syslog, sFlow syslog SNMP IPMI node-exporter ceph-exporter
監視構成
まとめ 今回のトラコンも、新しい挑戦をしつつ 安定したインフラを提供できたと思います! 会場・機材等を提供いただいた企業・団体のみなさま 本当にありがとうございました!