AS59105におけるFreeBSD EtherIPの運用と課題

QUNOG 33 Meeting (熊本県玉名市) 2025.11.21(金)

https://qunog.connpass.com/event/360321/

Transcript

1. AS59105におけるFreeBSD EtherIPの運用と課題 梅田 崇晴（神奈川工科大学/Home NOC Operators' Group）
2. 自己紹介 名前: 梅田 崇晴 (Takaharu Umeda) 所属: 神奈川工科大学 学部3年 最近ハマっていること • packet処理 (DPDK) • EVPN/VXLAN
3. Summary 1. HomeNOCの概要 2. 前提ネットワーク構成 3. 何に困っていたか？ 4. 解決への道筋 a. XDP/eBPF で実装 (2023) b. FreeBSDのEtherIP検証 (2024～) 5. 現在の状況 6. 展開状況 7. トラブル 8. 今後の野望
4. 我々の活動 • 法人名 ◦ 一般社団法人 Home NOC Operators’ Group • 社員数 ◦ 13名(理事3名、正会員10名) • 接続メンバー数 ◦ 約200メンバー(個人/団体) • 団体ホームページ ◦ https://www.homenoc.ad.jp/
5. 主な活動 1. 自由に設計構築運用できるネットワーク 2. 失敗しても怒られない実トラフィックのあるネットワーク 3. 新しいテクノロジーの積極的な導入とコミュニティへの貢献 4. 若手エンジニアや学生の支援 5. トランジットやBGPフルルートなど特殊要件の接続の提供 6. ICTトラコンなどの学生向けイベントへの協賛 7. イベントネットワークへの接続性提供 (Internet Week等)
6. ネットワーク構成
7. ネットワークの全体構成 各拠点は DC 5箇所 メンバーの家が7箇 所 拠点間はフレッツ光の網内折り返しを利用 したEtherIPトンネル接続 一部エリアで広域イーサネットやダーク ファイバを利用 会員への提供にもフレッツ光の網内折り 返しを利用したEtherIPトンネル接続を提 供している
8. 拠点間トンネル装置 拠点間トンネル装置には NEC IXシリーズを 用いてEtherIPトンネルを利用している。
9. トンネルを利用した接続 • バックボーン区間 ◦ トンネルルータ: 19台 ◦ トンネル数: 27本 • 会員収容 ◦ トンネルルータ: 8台 ◦ トンネル数: 103本 ◦ (1台あたり13本) • 拠点あたり2~3台 • 計27台
10. バックボーンのほとんどが EtherIPを利用
11. 現状の問題点
12. 問題点 • EtherIPの処理はcpu処理になっている模様 ◦ => ショートパケット性能がでない ◦ 2020/06月にショートパケットによる大規模な障害が起きた ▪ https://blog.ipnet-lab.ne.jp/entry/2020/07/15/185316 • トラフィック量に対して性能不足 ◦ => 台数を増やすスケールはしたくない
13. 他の選択肢 • ルータ(箱) ◦ 古河電工 ◦ NEC • ミニPC等の汎用機 ◦ [カーネル空間] ▪ Kernel Module ▪ Linux XDP/eBPF ◦ [ユーザ空間] ▪ Linux Tap device ▪ DPDK
14. 最初の挑戦
15. XDP/eBPF で実装した EtherIP カーネル空間で動作するeBPFで記述可能な パケット処理 2023年に実装 詳しい説明は今回は省略します。 QRコード/リンク先に記載があります。 https://blog.bbsakura.net/posts/2023/12/18/154 457
16. XDP/eBPFにおいての問題 この実装には問題があった。 XDPではfragmentの処理を実現することが難しい。 OSPFのneighborが張れない… 1500 Byteのpacketが送受信できない
17. FreeBSD化へ
18. FreeBSDのEtherIPで発覚した問題 IPv6上で使うと強制的にMTU 1280でFragmentされてしまう 後ほど岩男さんから
19. FreeBSD EtherIPのパフォーマンスと 比較
20. パフォーマンスの比較 Frame Size (bytes) FPS Throughput (Mbps) 64 200,892 102.86 Mbps 128 198,479 203.24 Mbps 256 192,481 394.20 Mbps 512 183,270 750.67 Mbps 1,024 113,146 926.89 Mbps 1,280 91,826 940.30 Mbps 1,518 28,852 350.38 Mbps Frame Size(bytes) FPS Throughput (Mbps) 256 318,592 1,129.6 Mbps 1400 355,381 5,432.8 Mbps 1500 174,449 2,996.6 Mbps NEC IX2207 FreeBSD CPU: Intel Core i3 N305 NIC: Intel 82599ES 10G
21. FreeBSDを利用したトンネルルータの 展開状況
22. FreeBSDを利用したトンネルルータの展開状況 バックボーン区間の半数がFreeBSD化
23. まとめ FreeBSDでEtherIPを行うことにより、汎用機でショートパケット性能やGbitを超 えた通信を行えるように この過程でFreeBSDのEtherIPの成熟度が高めることができた EtherIPを扱うことができるOSの選択肢が増えた (もっと増えてほしい)
24. 今後の野望
25. 野望 これまでの EtherIP Tunnel シンプルなカプセル化 • UDPを一方的に投げている(DDoSなど)の パターンでarpやOSPFのneigborが落ちて しまう。 今後実現したい 賢いEtherIP Tunnel innerの通信を元にした複雑な制御をする 1. コントロールプレーン ARP/NDP/OSPF/BGPこれらの通信を守 る制御
26. 野望 ~ DPDKでの実装 ~ • Data Plane Development Kit (DPDK) ◦ ユーザランドで高速パケット処理するライブラ リとネットワークドライバ • sdplane ◦ DPDKの開発環境 ◦ https://github.com/kait-cronos/sdplane-oss 参考(大学プレスセンター): https://www.u-presscenter.jp/article/post-57221 .html ENOG87 sdplane プロジェクト紹介 https://enog.jp/wordpress/wp-content/uploads/2 025/08/20250822_ENOG87_ohara.pdf
27. sdplane 対話型shell
28. 野望 ~ DPDKでの実装 ~ パフォーマンス編 1コアでEtherIPのencap / decapを処理 カプセル化時のオーバヘッドを考えると10Gワイ ヤーレートに近い値 Frame Size (bytes) FPS Throughput (Mbps) 64 10,839,844 5,550 Mbps 128 7,080,078 7,250 Mbps 256 4,052,734 8,300 Mbps 512 2,197,266 9,000 Mbps 1,024 1,153,564 9,450 Mbps 1,280 932,617 9,550 Mbps 1,518 749,341 9,100 Mbps