Upgrade to Pro — share decks privately, control downloads, hide ads and more …

ICTSC2020 バックボーン紹介スライド

proelbtn
March 09, 2021

ICTSC2020 バックボーン紹介スライド

ICTSC2020の会期中に協賛・参加者向けに行われたバックボーン紹介スライドです。

proelbtn

March 09, 2021
Tweet

More Decks by proelbtn

Other Decks in Technology

Transcript

  1. インフラリーダー 齋藤遼河 バックボーン紹介

  2. 目次 • 会場・機材等協力 • 物理構成 / 論理構成 • 数字で見る今年のトラコン •

    今年の見どころ ◦ ネットワーク編 ◦ 仮想化基盤編 ◦ 監視基盤編
  3. 会場・機材等協力

  4. 会場・機材等協力 ネットワーク系機材 • NEC UNIVERGE IX3110 • Juniper MX5 •

    Juniper SRX1500 • Mellanox Spectrum SN2410 • Edgecore Wedge100BF-32X • Cisco Catalyst 4948 サーバ系機材 • Fujitsu PRIMERGY RX100 S7 x2 • IBM System x3650 M4 x2 • Huawei RH1288 V2 x4 その他機材 • 10G NIC x6 • SFP+ DAC x15 • OM3 光ケーブル x2 • 100GBASE-SR4 トランシーバ x4
  5. 物理構成

  6. None
  7. 論理構成

  8. 数字で見る 今回のトラコン

  9. 初!本戦20チーム開催! • 問題VMリソース(2日間合計) ◦ VM数: 1218 VM(135%) ◦ vCPU: 1540

    vCPU(139%) ◦ Memory: 2.4 TiB(184%) ◦ Storage: 22.4 TiB(128%)
  10. 今年の見どころ (ネットワーク編)

  11. 対外接続冗長化 & フルルート • HomeNOCとマルチホーム接続 ◦ POP03 : 東京拠点 ◦

    NOC53 : 大阪拠点 • 両方からフルルートを受け取る構成
  12. 対外接続冗長化 & フルルート

  13. NAVT with P4 Switch • NAVT: Network Address VLAN Translation

    ◦ トラコンの問題環境を支える変換プロトコル IP: src=172.16.2.1, dst=10.1.0.1 Ethernet: src=xxx, dst=yyy TCP: src=19485, dst=22 IP: src=172.16.2.1, dst=192.168.0.1 Ethernet: src=xxx, dst=yyy TCP: src=19485, dst=22 VLAN: vid=100
  14. NAVT with P4 Switch 192.168.4.1 192.168.4.1 10.1.4.1 10.20.4.1

  15. NAVT with P4 Switch • NAVT: Network Address VLAN Translation

    ◦ トラコンの問題環境を支える変換プロトコル IP: src=10.7.4.1, dst=160.16.73.123 Ethernet: src=xxx, dst=yyy TCP: src=58193, dst=443 IP: src=192.168.4.1, dst=160.16.73.123 Ethernet: src=xxx, dst=yyy TCP: src=58193, dst=443 VLAN: vid=700
  16. NAVT with P4 Switch • 今年はP4を用いてNAVTの実装を行った ◦ https://github.com/takehaya/p4-navt • ハードウェアのP4スイッチをお借りした

    ◦ Edgecore Wedge 100BF-32X
  17. NAVT with P4 Switch

  18. WireGuard • 様々なOSで動作するL3VPN ◦ Linux Kernel 5.6にマージされた • 今年の利用例 ◦

    DCや会場とのVPN ◦ さくらのクラウドとのサイト間接続
  19. BGP over WireGuard

  20. BGP over WireGuard

  21. BGP over WireGuard

  22. 今年の見どころ (仮想化基盤編)

  23. • 今回の仮想化基盤の実装 ◦ https://github.com/ophum/humstack • リソースを宣言することでVMやネットワークが作成される ◦ > influenced by

    n0stack, kubernetes… humstack
  24. humstack dashboard

  25. humstack dashboard

  26. Ceph RDB • 会場のサーバー8台でCephクラスタを組んでいる • ioDrive 6枚 + HDD 3個でOSDが動作している

    • Snapshotを利用しているため、チーム数が増えても 使用するストレージサイズを劇的に抑えることができる ◦ 1日目の問題VMの全展開で3.1 TiB ▪ レプリカ数 3で展開している
  27. Ceph RBD

  28. Ceph RBD

  29. 今年の見どころ (監視基盤編)

  30. 監視構成 syslog, sFlow syslog SNMP IPMI node-exporter ceph-exporter

  31. 監視構成

  32. まとめ 今回のトラコンも、新しい挑戦をしつつ 安定したインフラを提供できたと思います! 会場・機材等を提供いただいた企業・団体のみなさま 本当にありがとうございました!