研究室Kubernetesクラスタで学んだL2/L3ネットワーク

研究室の物理マシンを使ってKubernetesクラスタを構築する中で、VM間の通信方式を実機で検証しながら、L2/L3レベルのネットワーク技術を学びました。
KubernetesのCNIプラグインで使われる通信の仕組みをより深く理解するため、シンプルなL2接続、VXLANによるオーバーレイネットワーク、そしてBGPを用いたL3ルーティングという3つのパターンを試してみました。
それぞれについて構成やパケットの中身を紹介しながら、低レイヤのネットワークを学ぶ面白さを共有できればと思います。

Transcript

1. 研究室Kubernetesクラスタで学 んだL2/L3ネットワーク CloudNative Days Winter 2025 竜 鶴吉
2. 自己紹介 • 竜 鶴吉 / Tsuruyoshi Ryu ◦ 早稲田大学大学院 情報通信専攻 修士1年 • 最近は研究室のマシンで構築したKubernetesクラスタと戯れてい ます。 ◦ VXLAN, BGP, NFSの検証 ◦ 分散ストレージの構築・動作検証 ◦ etc
3. Kubernetesクラスタの概要 • 物理マシンを2台使用し、それぞれにVMを2台ずつ作 成(計4台のVM) ◦ VM作成はVirtualBoxを利用 • それぞれのVMをKubernetesのNode(Master×1, Worker×3) としている ◦ VM間通信の手法を色々検証してみたい ！ ◦ Kubernetes CNI Pluginで使用されている技術を 試すのが良さそう。
4. Kubernetes CNI Pluginについて • Flannel ◦ シンプルなオーバーレイネットワーク ◦ VXLANを利用することが多い • Calico ◦ 高度なネットワークポリシーやルーティング機能を提供 ◦ BGPを用いてルーティング情報を交換 • Cilium ◦ 上記技術に加え、eBPFを活用 ◦ L7の制御も可能 これらCNI Pluginで使用される ネットワーク技術を、実機で動か しながら理解する
5. アンダーレイネットワーク (L2) • VirtualBoxブリッジアダプタにより、VMが L2で物理NICと直接接続 • すべてのVMが同一L2セグメント (192.168.80.0/24)上で通信可能
6. オーバーレイネットワーク (L2 over L3) • 物理LAN(192.168.80.x)上で仮想L2ネット ワーク(10.10.10.x)を構築 ◦ VXLANを利用 • VM間通信がトンネル経由で転送される ◦ パケットはカプセル化され、下層の物理 ネットワークに依存しない
7. パケットの中身を見る (カプセル化の確認 ) • VM3→VM1にpingを行い、ホスト上でtcpdump • VM3 (10.10.10.107) からのL2フレームは、VXLANによりUDPでL3パケット の中にカプセル化され 送信される。 ◦ 実際は物理ネットワーク上をL3パケットが通るが、VMからは通常のL2 通信のように見える
8. ルーティング (L3) • 実験のため、各物理マシンごとに異なるASを割り 当てる (10.10.10.0/24・10.10.20.0/24を管理) • BGPによりサブネット情報を相互に広告・学習し、 L3で通信
9. BGPでの経路広告・学習 • AS65002 との eBGP ピアが成立している • AS65002から経路を学習し、最適経路(bestpath) として選択している • 学習した経路を、ルートテーブルへ反映する
10. まとめ • アンダーレイネットワーク ◦ 下層のネットワークに依存する ◦ 最もシンプル・高速だが大規模なクラスタには向か ない • オーバーレイネットワーク (VXLAN) ◦ Flannelが利用 ◦ カプセル化によるL2通信で、下層のネットワークに 依存しない • ルーティング (BGP) ◦ Calicoが利用 ◦ 部分的に下層のネットワークに依存する CNI Pluginで利用されている技術に着 目し、これらをVM同士の通信で検証 することで、L2/L3ネットワークの理解 を深めることができた
11. ご清聴ありがとうございました！