Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ICTSC2020 バックボーン紹介スライド
Search
proelbtn
March 09, 2021
Technology
0
1.9k
ICTSC2020 バックボーン紹介スライド
ICTSC2020の会期中に協賛・参加者向けに行われたバックボーン紹介スライドです。
proelbtn
March 09, 2021
Tweet
Share
More Decks by proelbtn
See All by proelbtn
prob_code: k8s
proelbtn
0
73
Other Decks in Technology
See All in Technology
反脆弱性(アンチフラジャイル)とデータ基盤構築
cuebic9bic
2
120
生成AI時代におけるAI・機械学習技術を用いたプロダクト開発の深化と進化 #BetAIDay
layerx
PRO
0
320
マルチモーダル基盤モデルに基づく動画と音の解析技術
lycorptech_jp
PRO
2
320
「育てる」サーバーレス 〜チーム開発研修で学んだ、小さく始めて大きく拡張するAWS設計〜
yu_kod
1
210
生成AIによる情報システムへのインパクト
taka_aki
1
220
【2025 Japan AWS Jr. Champions Ignition】点から線、線から面へ〜僕たちが起こすコラボレーション・ムーブメント〜
amixedcolor
1
110
Tableau API連携の罠!?脱スプシを夢見たはずが、逆に依存を深めた話
cuebic9bic
2
170
AI時代の経営、Bet AI Vision #BetAIDay
layerx
PRO
0
420
2025新卒研修・HTML/CSS #弁護士ドットコム
bengo4com
2
4.1k
【CEDEC2025】『ウマ娘 プリティーダービー』における映像制作のさらなる高品質化へ!~ 豊富な素材出力と制作フローの改善を実現するツールについて~
cygames
PRO
0
100
東京海上日動におけるセキュアな開発プロセスの取り組み
miyabit
0
210
Perlアプリケーションで トレースを実装するまでの 工夫と苦労話
masayoshi
0
260
Featured
See All Featured
RailsConf 2023
tenderlove
30
1.2k
Building an army of robots
kneath
306
45k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
10
1k
Build your cross-platform service in a week with App Engine
jlugia
231
18k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
45
7.5k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
Scaling GitHub
holman
461
140k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
53
2.9k
Statistics for Hackers
jakevdp
799
220k
Site-Speed That Sticks
csswizardry
10
730
Fantastic passwords and where to find them - at NoRuKo
philnash
51
3.3k
Transcript
インフラリーダー 齋藤遼河 バックボーン紹介
目次 • 会場・機材等協力 • 物理構成 / 論理構成 • 数字で見る今年のトラコン •
今年の見どころ ◦ ネットワーク編 ◦ 仮想化基盤編 ◦ 監視基盤編
会場・機材等協力
会場・機材等協力 ネットワーク系機材 • NEC UNIVERGE IX3110 • Juniper MX5 •
Juniper SRX1500 • Mellanox Spectrum SN2410 • Edgecore Wedge100BF-32X • Cisco Catalyst 4948 サーバ系機材 • Fujitsu PRIMERGY RX100 S7 x2 • IBM System x3650 M4 x2 • Huawei RH1288 V2 x4 その他機材 • 10G NIC x6 • SFP+ DAC x15 • OM3 光ケーブル x2 • 100GBASE-SR4 トランシーバ x4
物理構成
None
論理構成
数字で見る 今回のトラコン
初!本戦20チーム開催! • 問題VMリソース(2日間合計) ◦ VM数: 1218 VM(135%) ◦ vCPU: 1540
vCPU(139%) ◦ Memory: 2.4 TiB(184%) ◦ Storage: 22.4 TiB(128%)
今年の見どころ (ネットワーク編)
対外接続冗長化 & フルルート • HomeNOCとマルチホーム接続 ◦ POP03 : 東京拠点 ◦
NOC53 : 大阪拠点 • 両方からフルルートを受け取る構成
対外接続冗長化 & フルルート
NAVT with P4 Switch • NAVT: Network Address VLAN Translation
◦ トラコンの問題環境を支える変換プロトコル IP: src=172.16.2.1, dst=10.1.0.1 Ethernet: src=xxx, dst=yyy TCP: src=19485, dst=22 IP: src=172.16.2.1, dst=192.168.0.1 Ethernet: src=xxx, dst=yyy TCP: src=19485, dst=22 VLAN: vid=100
NAVT with P4 Switch 192.168.4.1 192.168.4.1 10.1.4.1 10.20.4.1
NAVT with P4 Switch • NAVT: Network Address VLAN Translation
◦ トラコンの問題環境を支える変換プロトコル IP: src=10.7.4.1, dst=160.16.73.123 Ethernet: src=xxx, dst=yyy TCP: src=58193, dst=443 IP: src=192.168.4.1, dst=160.16.73.123 Ethernet: src=xxx, dst=yyy TCP: src=58193, dst=443 VLAN: vid=700
NAVT with P4 Switch • 今年はP4を用いてNAVTの実装を行った ◦ https://github.com/takehaya/p4-navt • ハードウェアのP4スイッチをお借りした
◦ Edgecore Wedge 100BF-32X
NAVT with P4 Switch
WireGuard • 様々なOSで動作するL3VPN ◦ Linux Kernel 5.6にマージされた • 今年の利用例 ◦
DCや会場とのVPN ◦ さくらのクラウドとのサイト間接続
BGP over WireGuard
BGP over WireGuard
BGP over WireGuard
今年の見どころ (仮想化基盤編)
• 今回の仮想化基盤の実装 ◦ https://github.com/ophum/humstack • リソースを宣言することでVMやネットワークが作成される ◦ > influenced by
n0stack, kubernetes… humstack
humstack dashboard
humstack dashboard
Ceph RDB • 会場のサーバー8台でCephクラスタを組んでいる • ioDrive 6枚 + HDD 3個でOSDが動作している
• Snapshotを利用しているため、チーム数が増えても 使用するストレージサイズを劇的に抑えることができる ◦ 1日目の問題VMの全展開で3.1 TiB ▪ レプリカ数 3で展開している
Ceph RBD
Ceph RBD
今年の見どころ (監視基盤編)
監視構成 syslog, sFlow syslog SNMP IPMI node-exporter ceph-exporter
監視構成
まとめ 今回のトラコンも、新しい挑戦をしつつ 安定したインフラを提供できたと思います! 会場・機材等を提供いただいた企業・団体のみなさま 本当にありがとうございました!