Slide 1
Slide 1 text
インフラリーダー 齋藤遼河
バックボーン紹介
Slide 2
Slide 2 text
目次
● 会場・機材等協力
● 物理構成 / 論理構成
● 数字で見る今年のトラコン
● 今年の見どころ
○ ネットワーク編
○ 仮想化基盤編
○ 監視基盤編
Slide 3
Slide 3 text
会場・機材等協力
Slide 4
Slide 4 text
会場・機材等協力
ネットワーク系機材
● NEC UNIVERGE IX3110
● Juniper MX5
● Juniper SRX1500
● Mellanox Spectrum SN2410
● Edgecore Wedge100BF-32X
● Cisco Catalyst 4948
サーバ系機材
● Fujitsu PRIMERGY RX100 S7 x2
● IBM System x3650 M4 x2
● Huawei RH1288 V2 x4
その他機材
● 10G NIC x6
● SFP+ DAC x15
● OM3 光ケーブル x2
● 100GBASE-SR4 トランシーバ x4
Slide 5
Slide 5 text
物理構成
Slide 6
Slide 6 text
No content
Slide 7
Slide 7 text
論理構成
Slide 8
Slide 8 text
数字で見る
今回のトラコン
Slide 9
Slide 9 text
初！本戦20チーム開催！
● 問題VMリソース（2日間合計）
○ VM数: 1218 VM（135%）
○ vCPU: 1540 vCPU（139%）
○ Memory: 2.4 TiB（184%）
○ Storage: 22.4 TiB（128%）
Slide 10
Slide 10 text
今年の見どころ
（ネットワーク編）
Slide 11
Slide 11 text
対外接続冗長化 & フルルート
● HomeNOCとマルチホーム接続
○ POP03 : 東京拠点
○ NOC53 : 大阪拠点
● 両方からフルルートを受け取る構成
Slide 12
Slide 12 text
対外接続冗長化 & フルルート
Slide 13
Slide 13 text
NAVT with P4 Switch
● NAVT: Network Address VLAN Translation
○ トラコンの問題環境を支える変換プロトコル
IP: src=172.16.2.1, dst=10.1.0.1
Ethernet: src=xxx, dst=yyy
TCP: src=19485, dst=22
IP: src=172.16.2.1, dst=192.168.0.1
Ethernet: src=xxx, dst=yyy
TCP: src=19485, dst=22
VLAN: vid=100
Slide 14
Slide 14 text
NAVT with P4 Switch
192.168.4.1 192.168.4.1
10.1.4.1 10.20.4.1
Slide 15
Slide 15 text
NAVT with P4 Switch
● NAVT: Network Address VLAN Translation
○ トラコンの問題環境を支える変換プロトコル
IP: src=10.7.4.1, dst=160.16.73.123
Ethernet: src=xxx, dst=yyy
TCP: src=58193, dst=443
IP: src=192.168.4.1, dst=160.16.73.123
Ethernet: src=xxx, dst=yyy
TCP: src=58193, dst=443
VLAN: vid=700
Slide 16
Slide 16 text
NAVT with P4 Switch
● 今年はP4を用いてNAVTの実装を行った
○ https://github.com/takehaya/p4-navt
● ハードウェアのP4スイッチをお借りした
○ Edgecore Wedge 100BF-32X
Slide 17
Slide 17 text
NAVT with P4 Switch
Slide 18
Slide 18 text
WireGuard
● 様々なOSで動作するL3VPN
○ Linux Kernel 5.6にマージされた
● 今年の利用例
○ DCや会場とのVPN
○ さくらのクラウドとのサイト間接続
Slide 19
Slide 19 text
BGP over WireGuard
Slide 20
Slide 20 text
BGP over WireGuard
Slide 21
Slide 21 text
BGP over WireGuard
Slide 22
Slide 22 text
今年の見どころ
（仮想化基盤編）
Slide 23
Slide 23 text
● 今回の仮想化基盤の実装
○ https://github.com/ophum/humstack
● リソースを宣言することでVMやネットワークが作成される
○ > influenced by n0stack, kubernetes…
humstack
Slide 24
Slide 24 text
humstack dashboard
Slide 25
Slide 25 text
humstack dashboard
Slide 26
Slide 26 text
Ceph RDB
● 会場のサーバー8台でCephクラスタを組んでいる
● ioDrive 6枚 + HDD 3個でOSDが動作している
● Snapshotを利用しているため、チーム数が増えても
使用するストレージサイズを劇的に抑えることができる
○ 1日目の問題VMの全展開で3.1 TiB
■ レプリカ数 3で展開している
Slide 27
Slide 27 text
Ceph RBD
Slide 28
Slide 28 text
Ceph RBD
Slide 29
Slide 29 text
今年の見どころ
（監視基盤編）
Slide 30
Slide 30 text
監視構成
syslog, sFlow
syslog
SNMP
IPMI
node-exporter
ceph-exporter
Slide 31
Slide 31 text
監視構成
Slide 32
Slide 32 text
まとめ
今回のトラコンも、新しい挑戦をしつつ
安定したインフラを提供できたと思います！
会場・機材等を提供いただいた企業・団体のみなさま
本当にありがとうございました！