Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ICTSC2020 バックボーン紹介スライド
Search
proelbtn
March 09, 2021
Technology
0
1.7k
ICTSC2020 バックボーン紹介スライド
ICTSC2020の会期中に協賛・参加者向けに行われたバックボーン紹介スライドです。
proelbtn
March 09, 2021
Tweet
Share
More Decks by proelbtn
See All by proelbtn
prob_code: k8s
proelbtn
0
60
Other Decks in Technology
See All in Technology
疲弊しない!AWSセキュリティ統制の考え方 #devio_osakaday1
masahirokawahara
6
5.9k
アプリがつくるNOT A HOTELブランド
hokuts
1
450
エンタープライズ環境下での Active Directory の運用 TIPS
tamaiyutaro
1
1.5k
ChatGPT for IT Service Management (IT Pro)
dahatake
2
120
レガシーをぶっ壊せ。AEONで始めるDevRelの話 / Qiita Night 2024-2-22
aeonpeople
3
150
小さな開発会社がWebサービスを作る理由
polidog
PRO
1
150
元インフラエンジニアに成る / Human Resources to Human Relations
bobtani
3
770
Algyan イベント振り返り
linyixian
0
190
コンパウンドスタートアップのためのスケーラブルでセキュアなInfrastructure as Codeパイプラインを考える / Scalable and Secure Infrastructure as Code Pipeline for a Compound Startup
yuyatakeyama
3
2.1k
自動生成を活用した、運用保守コストを抑える Error/Alert/Runbook の一元集約管理 / Centralized management of Error/Alert/Runbook to minimize operational costs using automated code generation
biwashi
9
2.1k
Autonomous Database Cloud 技術詳細 / adb-s_technical_detail_jp
oracle4engineer
PRO
14
35k
日本におけるデータエンジニアリングのこれまでとこれから
foursue
10
2.2k
Featured
See All Featured
Designing Experiences People Love
moore
136
23k
Web Components: a chance to create the future
zenorocha
305
41k
10 Git Anti Patterns You Should be Aware of
lemiorhan
646
57k
VelocityConf: Rendering Performance Case Studies
addyosmani
320
23k
Writing Fast Ruby
sferik
620
60k
The Straight Up "How To Draw Better" Workshop
denniskardys
227
130k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
24
2.3k
Docker and Python
trallard
33
2.7k
What’s in a name? Adding method to the madness
productmarketing
PRO
15
2.6k
The MySQL Ecosystem @ GitHub 2015
samlambert
242
12k
Atom: Resistance is Futile
akmur
258
25k
Unsuck your backbone
ammeep
662
57k
Transcript
インフラリーダー 齋藤遼河 バックボーン紹介
目次 • 会場・機材等協力 • 物理構成 / 論理構成 • 数字で見る今年のトラコン •
今年の見どころ ◦ ネットワーク編 ◦ 仮想化基盤編 ◦ 監視基盤編
会場・機材等協力
会場・機材等協力 ネットワーク系機材 • NEC UNIVERGE IX3110 • Juniper MX5 •
Juniper SRX1500 • Mellanox Spectrum SN2410 • Edgecore Wedge100BF-32X • Cisco Catalyst 4948 サーバ系機材 • Fujitsu PRIMERGY RX100 S7 x2 • IBM System x3650 M4 x2 • Huawei RH1288 V2 x4 その他機材 • 10G NIC x6 • SFP+ DAC x15 • OM3 光ケーブル x2 • 100GBASE-SR4 トランシーバ x4
物理構成
None
論理構成
数字で見る 今回のトラコン
初!本戦20チーム開催! • 問題VMリソース(2日間合計) ◦ VM数: 1218 VM(135%) ◦ vCPU: 1540
vCPU(139%) ◦ Memory: 2.4 TiB(184%) ◦ Storage: 22.4 TiB(128%)
今年の見どころ (ネットワーク編)
対外接続冗長化 & フルルート • HomeNOCとマルチホーム接続 ◦ POP03 : 東京拠点 ◦
NOC53 : 大阪拠点 • 両方からフルルートを受け取る構成
対外接続冗長化 & フルルート
NAVT with P4 Switch • NAVT: Network Address VLAN Translation
◦ トラコンの問題環境を支える変換プロトコル IP: src=172.16.2.1, dst=10.1.0.1 Ethernet: src=xxx, dst=yyy TCP: src=19485, dst=22 IP: src=172.16.2.1, dst=192.168.0.1 Ethernet: src=xxx, dst=yyy TCP: src=19485, dst=22 VLAN: vid=100
NAVT with P4 Switch 192.168.4.1 192.168.4.1 10.1.4.1 10.20.4.1
NAVT with P4 Switch • NAVT: Network Address VLAN Translation
◦ トラコンの問題環境を支える変換プロトコル IP: src=10.7.4.1, dst=160.16.73.123 Ethernet: src=xxx, dst=yyy TCP: src=58193, dst=443 IP: src=192.168.4.1, dst=160.16.73.123 Ethernet: src=xxx, dst=yyy TCP: src=58193, dst=443 VLAN: vid=700
NAVT with P4 Switch • 今年はP4を用いてNAVTの実装を行った ◦ https://github.com/takehaya/p4-navt • ハードウェアのP4スイッチをお借りした
◦ Edgecore Wedge 100BF-32X
NAVT with P4 Switch
WireGuard • 様々なOSで動作するL3VPN ◦ Linux Kernel 5.6にマージされた • 今年の利用例 ◦
DCや会場とのVPN ◦ さくらのクラウドとのサイト間接続
BGP over WireGuard
BGP over WireGuard
BGP over WireGuard
今年の見どころ (仮想化基盤編)
• 今回の仮想化基盤の実装 ◦ https://github.com/ophum/humstack • リソースを宣言することでVMやネットワークが作成される ◦ > influenced by
n0stack, kubernetes… humstack
humstack dashboard
humstack dashboard
Ceph RDB • 会場のサーバー8台でCephクラスタを組んでいる • ioDrive 6枚 + HDD 3個でOSDが動作している
• Snapshotを利用しているため、チーム数が増えても 使用するストレージサイズを劇的に抑えることができる ◦ 1日目の問題VMの全展開で3.1 TiB ▪ レプリカ数 3で展開している
Ceph RBD
Ceph RBD
今年の見どころ (監視基盤編)
監視構成 syslog, sFlow syslog SNMP IPMI node-exporter ceph-exporter
監視構成
まとめ 今回のトラコンも、新しい挑戦をしつつ 安定したインフラを提供できたと思います! 会場・機材等を提供いただいた企業・団体のみなさま 本当にありがとうございました!