AS59105におけるFreeBSD EtherIPの運用と課題

AS59105におけるFreeBSD EtherIPの運用と課題梅田崇晴（神奈川工科大学/Home NOC Operators' Group）

自己紹介名前: 梅田崇晴 (Takaharu Umeda) 所属: 神奈川工科大学学部3年最近ハマっていること
• packet処理 (DPDK) • EVPN/VXLAN

Summary 1. HomeNOCの概要 2. 前提ネットワーク構成 3. 何に困っていたか？ 4. 解決への道筋 a.
XDP/eBPF で実装 (2023) b. FreeBSDのEtherIP検証 (2024～) 5. 現在の状況 6. 展開状況 7. トラブル 8. 今後の野望

我々の活動 • 法人名 ◦ 一般社団法人 Home NOC Operators’ Group •
社員数 ◦ 13名(理事3名、正会員10名) • 接続メンバー数 ◦ 約200メンバー(個人/団体) • 団体ホームページ ◦ https://www.homenoc.ad.jp/

主な活動 1. 自由に設計構築運用できるネットワーク 2. 失敗しても怒られない実トラフィックのあるネットワーク 3. 新しいテクノロジーの積極的な導入とコミュニティへの貢献 4. 若手エンジニアや学生の支援 5.
トランジットやBGPフルルートなど特殊要件の接続の提供 6. ICTトラコンなどの学生向けイベントへの協賛 7. イベントネットワークへの接続性提供 (Internet Week等)

ネットワーク構成

ネットワークの全体構成各拠点は DC 5箇所メンバーの家が7箇所拠点間はフレッツ光の網内折り返しを利用したEtherIPトンネル接続一部エリアで広域イーサネットやダークファイバを利用
会員への提供にもフレッツ光の網内折り返しを利用したEtherIPトンネル接続を提供している

拠点間トンネル装置拠点間トンネル装置には NEC IXシリーズを用いてEtherIPトンネルを利用している。

トンネルを利用した接続 • バックボーン区間 ◦ トンネルルータ: 19台 ◦ トンネル数: 27本 •
会員収容 ◦ トンネルルータ: 8台 ◦ トンネル数: 103本 ◦ (1台あたり13本) • 拠点あたり2~3台 • 計27台

バックボーンのほとんどが EtherIPを利用

現状の問題点

問題点 • EtherIPの処理はcpu処理になっている模様 ◦ => ショートパケット性能がでない ◦ 2020/06月にショートパケットによる大規模な障害が起きた ▪ https://blog.ipnet-lab.ne.jp/entry/2020/07/15/185316
• トラフィック量に対して性能不足 ◦ => 台数を増やすスケールはしたくない

他の選択肢 • ルータ(箱) ◦ 古河電工 ◦ NEC • ミニPC等の汎用機 ◦
[カーネル空間] ▪ Kernel Module ▪ Linux XDP/eBPF ◦ [ユーザ空間] ▪ Linux Tap device ▪ DPDK

最初の挑戦

XDP/eBPF で実装した EtherIP カーネル空間で動作するeBPFで記述可能なパケット処理 2023年に実装詳しい説明は今回は省略します。 QRコード/リンク先に記載があります。 https://blog.bbsakura.net/posts/2023/12/18/154 457

XDP/eBPFにおいての問題この実装には問題があった。 XDPではfragmentの処理を実現することが難しい。 OSPFのneighborが張れない… 1500 Byteのpacketが送受信できない

FreeBSD化へ

FreeBSDのEtherIPで発覚した問題 IPv6上で使うと強制的にMTU 1280でFragmentされてしまう後ほど岩男さんから

FreeBSD EtherIPのパフォーマンスと比較

パフォーマンスの比較 Frame Size (bytes) FPS Throughput (Mbps) 64 200,892 102.86
Mbps 128 198,479 203.24 Mbps 256 192,481 394.20 Mbps 512 183,270 750.67 Mbps 1,024 113,146 926.89 Mbps 1,280 91,826 940.30 Mbps 1,518 28,852 350.38 Mbps Frame Size(bytes) FPS Throughput (Mbps) 256 318,592 1,129.6 Mbps 1400 355,381 5,432.8 Mbps 1500 174,449 2,996.6 Mbps NEC IX2207 FreeBSD CPU: Intel Core i3 N305 NIC: Intel 82599ES 10G

FreeBSDを利用したトンネルルータの展開状況

FreeBSDを利用したトンネルルータの展開状況バックボーン区間の半数がFreeBSD化

まとめ FreeBSDでEtherIPを行うことにより、汎用機でショートパケット性能やGbitを超えた通信を行えるようにこの過程でFreeBSDのEtherIPの成熟度が高めることができた EtherIPを扱うことができるOSの選択肢が増えた (もっと増えてほしい)

今後の野望

野望これまでの EtherIP Tunnel シンプルなカプセル化 • UDPを一方的に投げている(DDoSなど)のパターンでarpやOSPFのneigborが落ちてしまう。今後実現したい
賢いEtherIP Tunnel innerの通信を元にした複雑な制御をする 1. コントロールプレーン ARP/NDP/OSPF/BGPこれらの通信を守る制御

野望 ~ DPDKでの実装 ~ • Data Plane Development Kit (DPDK)
◦ ユーザランドで高速パケット処理するライブラリとネットワークドライバ • sdplane ◦ DPDKの開発環境 ◦ https://github.com/kait-cronos/sdplane-oss 参考(大学プレスセンター): https://www.u-presscenter.jp/article/post-57221 .html ENOG87 sdplane プロジェクト紹介 https://enog.jp/wordpress/wp-content/uploads/2 025/08/20250822_ENOG87_ohara.pdf

sdplane 対話型shell

野望 ~ DPDKでの実装 ~ パフォーマンス編 1コアでEtherIPのencap / decapを処理カプセル化時のオーバヘッドを考えると10Gワイヤーレートに近い値
Frame Size (bytes) FPS Throughput (Mbps) 64 10,839,844 5,550 Mbps 128 7,080,078 7,250 Mbps 256 4,052,734 8,300 Mbps 512 2,197,266 9,000 Mbps 1,024 1,153,564 9,450 Mbps 1,280 932,617 9,550 Mbps 1,518 749,341 9,100 Mbps

AS59105におけるFreeBSD EtherIPの運用と課題

AS59105におけるFreeBSD EtherIPの運用と課題

t-umeda

Other Decks in Technology

Featured

Transcript