透過 L2 BRIDGE NAT

ICTSC6で使用した基幹システム用のkernel moduleの話です。

Transcript

1. 透過 L2 BRIDGE NAT @H-OTTER, @A_R_G_V ICTSC6
2. 自己紹介 (軽く) Twitter: @_h_otter_ 電気通信大学MMA CTF 難しい…
3. 皆さん…
5. は?
6. NAT挟んでるのかな?
7. 謎の挙動 HOP増えない TRACEROUTE
8. 運営において大変なこと…
9. 運営において大変なこと… プロビジョニングとオーケストレーション!!
10. プロビジョニングとオーケストレーション!! サーバーをチーム分展開することが死ぬほど大変 サーバー同士が通信するようなものだとIPをハードコードする必要があり、 展開後書き換える必要がある
11. プロビジョニングとオーケストレーション!! Client: 10.1.0.10 Server: 10.1.0.11 Team 1 Client: 10.2.0.10 Server: 10.2.0.11 Team 2 ・ ・ ・ 同じ環境を展開するが、 IPなどは変更しなければならない
12. 面倒くさい!
13. 面倒くさい! ⇒ NATを挟もう!!
14. NATを挟もう!! Client: 192.168.0.10 Server: 192.168.0.11 Team 1 Client: 192.168.0.10 Server: 192.168.0.11 Team 2 ・ ・ ・ 完全に同じ環境を展開できる! Team 1: 10.1.0.10 Team 2: 10.2.0.10 NAT
15. ここまでは普通
16. 要件定義 1チーム当たり20VLAN程度をさばく ⇒ 20 * 15 = 300VLAN!! 1チーム当たり1つNATルーターを置ければいいが、そんなものはない Routing はL3SWに任せてトラフィックをしっかり確保したい Linux サーバーで処理をすれば柔軟にできるんじゃない?
17. いける! ブリッジインターフェイスを作成 VLANをもとにチームIDを推定し、IPアドレスを相互に変換する (static NAT) ARPを正しく処理すればいけるだろ! Team ID: 1 VLAN ID: 101 192.168.0.1 Team ID: 1 VLAN ID: 151 10.1.0.1 Team ID: 2 VLAN ID: 201 192.168.0.1 Team ID: 2 VLAN ID: 251 10.2.0.1
18. iptables 結論から言うとダメ VLANをそれぞれ処理するには仮想インターフェイスを持つ必要があり、300個のVLANを処理 することは難しい Iptablesは結局 L3 の処理しかいじれない L2まで下りればVLANを柔軟に処理をできる
19. netfilter hook Linuxのネットワークに関するイベントをフックする機構 Iptables はnetfilterのL3のイベントをパックしたものといえる Linuxが処理をできるすべてのネットワークについて干渉できる
20. netfilter hook Linuxのネットワークに関するイベントをフックする機構 Iptables はnetfilterのL3のイベントをパックしたものといえる Linuxが処理をできるすべてのネットワークについて干渉できる ＿人人人人人人人人＿ ＞ Kernel Module ＜ ￣Y^Y^Y^Y^Y^Y^Y￣
21. 大変だったこと ARP tables Switch tables Bridge table Checksum
22. ARP L3SW IP: 192.168.0.2 HW: A IP: 10.1.0.1 HW: B VLAN100 VLAN150 (trunk) VLAN150 VLAN100 (trunk) SRC IP: 192.168.0.2 DEST IP: 192.168.0.1 SRC HW: A DEST HW: broadcast
23. ARP L3SW IP: 192.168.0.2 HW: A IP: 10.1.0.1 HW: B VLAN100 VLAN150 (trunk) VLAN150 VLAN100 (trunk) SRC IP: 192.168.0.2 DEST IP: 192.168.0.1 SRC HW: A DEST HW: broadcast
24. ARP L3SW IP: 192.168.0.2 HW: A IP: 10.1.0.1 HW: B VLAN100 VLAN150 (trunk) VLAN150 VLAN100 (trunk) SRC IP: 192.168.0.2 DEST IP: 192.168.0.1 SRC HW: A DEST HW: broadcast SRC IP: 10.1.0.2 DEST IP: 10.1.0.1 SRC HW: A DEST HW: broadcast
25. ARP L3SW IP: 192.168.0.2 HW: A IP: 10.1.0.1 HW: B VLAN100 VLAN150 (trunk) VLAN150 VLAN100 (trunk) SRC IP: 10.1.0.2 DEST IP: 10.1.0.1 SRC HW: A DEST HW: broadcast
26. ARP L3SW IP: 192.168.0.2 HW: A IP: 10.1.0.1 HW: B VLAN100 VLAN150 (trunk) VLAN150 VLAN100 (trunk) SRC IP: 192.168.0.2 DEST IP: 192.168.0.1 SRC HW: A DEST HW: broadcast SRC IP: 10.1.0.2 DEST IP: 10.1.0.1 SRC HW: A DEST HW: broadcast ここで、VLANが同じだとL3SWのVLAN100のmac テーブル が汚れてしまい、直接HW: Bへ通信されてしまう
27. ARP L3SW IP: 192.168.0.2 HW: A IP: 10.1.0.1 HW: B VLAN100 VLAN150 (trunk) VLAN150 VLAN100 (trunk) SRC IP: 192.168.0.2 DEST IP: 192.168.0.1 SRC HW: A DEST HW: broadcast SRC IP: 10.1.0.2 DEST IP: 10.1.0.1 SRC HW: A DEST HW: broadcast L3SWがごみパケットを送信して、flooding することも…
28. IP L3SW IP: 192.168.0.2 HW: A IP: 10.1.0.1 HW: B VLAN100 VLAN150 (trunk) VLAN150 VLAN100 (trunk)
29. TCP, UDP L3SW IP: 192.168.0.2 HW: A IP: 10.1.0.1 HW: B VLAN100 VLAN150 (trunk) VLAN150 VLAN100 (trunk) SRC IP: 192.168.0.2 DEST IP: 192.168.0.1 SRC HW: A DEST HW: broadcast SRC IP: 10.1.0.2 DEST IP: 10.1.0.1 SRC HW: A DEST HW: broadcast TCP, UDP checksumが書き換わってしまい、 通信が失敗する
30. しんどかった…
31. スペック 帯域: 約400Mbps (NIC: 1Gbps * 2) レイテンシ: 約0.5 msec
32. スペック 帯域: 約400Mbps (NIC: 1Gbps * 2) レイテンシ: 約 0.5 msec
33. @a_r_g_v の発表 https://goo.gl/sTgxnA
34. 透過 L2 BRIDGE NAT @H-OTTER, @A_R_G_V ICTSC6