istio_traffic.pdf

Transcript

1. Istio traffic 2024/08/30 1
2. 疑問に思っていたこと 2
3. テーマ Pod内のistio-proxyに trafficが流れる仕組み 3
4. 結論 Netfilterが制御している 4
5. Netfilter Linuxカーネル フレームワークの一つ カーネルがパケットを処理するルールを定義することができる iptablesコマンドを介して、Netfilterのルールを変更できる TableとChainというコンポーネントがあり、RuleがChainに紐づいている 5 参考: https://netfilter.org/index.html
6. Netfilter - Table パケットを処理するルールの集合 6 Table filter パケットのフィルタリング nat パケットの送信元や宛先アドレスおよびポート番号の変換
7. Netfilter - Chain Ruleが評価されるタイミングをまとめたもの natテーブルの標準Chainは4種類ある カスタムしたChainも追加することができる 7 Chain(nat) PREROUTING パケットを受信した際に、最初に作用する INPUT ローカル向けのパケットに対して、作用する OUTPUT ローカルプロセスから送信されたパケットに対して、最初に作用する POSTROUTING パケットを送信する際に、作用する
8. Netfilter - Rule パケットのマッチング条件とアクションが定義されている 複数のRuleがChainに紐づいており、上から優先的に評価されます 以下のように設定されている ※一部省略 8 1 Chain INPUT (policy DROP) 2 target prot opt in out source destination 3 RETURN tcp – any any anywhere localhost 4 RETURN tcp – any any anywhere anywhere tcp dpt:80 5 ANOTHER_CHAIN tcp – any any anywhere anywhere
9. Netfilter - Rule 9 Column target 条件にマッチした場合のアクション RETURN, REDIRECT, CHAIN prot プロトコルマッチングルール tcp, all opt IPヘッダOptionsマッチングルール – in 送信元ネットワークインターフェイスマッチルール lo, any out 宛先ネットワークインターフェイスマッチルール lo, any source 送信元IPアドレス/サブネットマッチルール 127.0.0.6, anywhere destination 宛先IPアドレス/サブネットマッチルール 127.0.0.6, anywhere オプションマッチルール, portやuserID,groupIDなど tcp dpt:80, UID, GID, redir port
10. Tips: Network Interface ネットワークの接続ポイント Network Interface Controller (NIC) などを指す 物理なものだと、LANケーブルを挿すためのLANポート(穴)等がそれになる 仮想環境では、仮想的なネットワークインターフェイスを作成することで 同一マシン上で複数のネットワークが存在させることができる 10
11. Tips: network interface “lo” loopback interface NIC(Network Interface Controller)の一つ 外界への接続がなく自身とのみ通信可能なもの loopback interfaceに割り当てられるIPアドレスは慣習的に127.0.0.1が使用されることが多い ホスト名はlocalhost 11
12. Netfilter - 初期状態 12 $ iptables -t nat -L -v Chain PREROUTING (policy ACCEPT) target prot opt source destination Chain INPUT (policy ACCEPT) target prot opt source destination Chain OUTPUT (policy ACCEPT) target prot opt source destination Chain POSTROUTING (policy ACCEPT) target prot opt source destination
13. istioとNetfilter istio-proxyがsidecarとして注入されていると initContainerのistio-initというContainerが trafficをistio-proxy経由になるようなChainとRuleをNetfilterに追加する 13 initContainer: Pod内でApplication Containerの前に実行されるContainer
14. istioとNetfilter - istio-init 以下のようなコマンドを実行している 14 参考: https://github.com/istio/istio/tree/c945cc30f27d9abf6832ddef438c59f4e61d932c/tools/istio-iptables/pkg 1 istio-iptables \ # iptablesのラッパー 2 -p 15001 \ # 全てのアウトバウンドTCPトラフィックをistio-proxyの15001にリダイレクトさせる 3 -z 15006 \ # 全てのインバウンドTCPトラフィックをistio-proxyの15006にリダイレクトさせる 4 -u 1337 \ # UID1337は、リダイレクトを適用しない ※istio-proxyはUID,GIDが1337 5 -m REDIRECT \ # istio-proxyにリダイレクトするモード 6 -i * \ # 全てのアウトバウンドTCPトラフィックをistio-proxyにリダイレクトする 7 -x "" \ # アウトバンドトラフィックでリダイレクトから除外する IP範囲はなし 8 -b * \ # インバンドトラフィックでリダイレクトさせる対象のポートは全て 9 -d 15090,15021,15020 \ # リダイレクトさせるアウトバンドトラフィックポートからこれらを除外する 10 --log_output_level=default:info
15. istioとNetfilter - 追加されたルールを見てみる NodeでPodのnetwork namespaceを確認する 15 node ~ # ps aux | grep "master process nginx" root 376603 0.0 0.0 9072 6512 ? Ss Aug12 0:00 nginx: master process nginx -g daemon off; node ~ # ls -l /proc/376603/ns/net lrwxrwxrwx 1 root root 0 Aug 12 09:12 /proc/376603/ns/net -> 'net:[4026533383]'
16. istioとNetfilter - 追加されたルールを見てみる NodeでPodのプロセスを確認する 16 node ~ # lsns 4026533383 PID PPID USER COMMAND 376108 376075 65535 /pause 376346 376075 1337 /usr/local/bin/pilot-agent proxy sidecar --domain polaris.svc.cluster.local --proxyLogLevel=warning --proxyComponentLogLevel=misc:error --log_output_level=default:info 376448 376346 1337 `-/usr/local/bin/envoy -c etc/istio/proxy/envoy-rev.json --drain-time-s 45 --drain-strategy immediate --local-address-ip-version v4 --file-flush-interval-msec 1000 --disab 376603 376075 root nginx: master process nginx -g daemon off; 376628 376603 101 |-nginx: worker process 376629 376603 101 |-nginx: worker process 376630 376603 101 |-nginx: worker process 376631 376603 101 `-nginx: worker process
17. Tips: Pause Container Podが作られると、KubernetesはPauseコンテナを作成する Pauseコンテナのnetwork namespaceに他のコンテナはアタッチされるので Pod内の各コンテナは同じnetwork namespaceに属することになり localhostで互いに疎通することができるようになっている また、Netfilterの設定が各コンテナで共有されている 17 参考: What is Purpose of the Pause Container in Kuberntes?
18. istioとNetfilter - 追加されたルールを見てみる NodeでPodのnetwork namespaceでiptablesを実行する 18 node ~ # nsenter -t 376108 -n iptables -t nat -L -v Chain PREROUTING (policy ACCEPT 120K packets, 7215K bytes) pkts bytes target prot opt in out source destination 120K 7215K ISTIO_INBOUND tcp -- any any anywhere anywhere Chain INPUT (policy ACCEPT 120K packets, 7215K bytes) pkts bytes target prot opt in out source destination Chain OUTPUT (policy ACCEPT 92103 packets, 5601K bytes) pkts bytes target prot opt in out source destination 181K 11M ISTIO_OUTPUT tcp -- any any anywhere anywhere Chain POSTROUTING (policy ACCEPT 182K packets, 11M bytes) pkts bytes target prot opt in out source destination Chain ISTIO_INBOUND (1 references) pkts bytes target prot opt in out source destination 0 0 RETURN tcp -- any any anywhere anywhere tcp dpt:15008 0 0 RETURN tcp -- any any anywhere anywhere tcp dpt:15090 30062 1804K RETURN tcp -- any any anywhere anywhere tcp dpt:15021 90181 5411K RETURN tcp -- any any anywhere anywhere tcp dpt:15020 0 0 ISTIO_IN_REDIRECT tcp -- any any anywhere anywhere Chain ISTIO_IN_REDIRECT (3 references) pkts bytes target prot opt in out source destination 0 0 REDIRECT tcp -- any any anywhere anywhere redir ports 15006 Chain ISTIO_OUTPUT (1 references) pkts bytes target prot opt in out source destination 90180 5411K RETURN all -- any lo 127.0.0.6 anywhere 0 0 ISTIO_IN_REDIRECT tcp -- any lo anywhere !localhost tcp dpt:!15008 owner UID match 1337 0 0 RETURN all -- any lo anywhere anywhere ! owner UID match 1337 298 17880 RETURN all -- any any anywhere anywhere owner UID match 1337 0 0 ISTIO_IN_REDIRECT tcp -- any lo anywhere !localhost tcp dpt:!15008 owner GID match 1337 0 0 RETURN all -- any lo anywhere anywhere ! owner GID match 1337 0 0 RETURN all -- any any anywhere anywhere owner GID match 1337 0 0 RETURN all -- any any anywhere localhost 90180 5411K ISTIO_REDIRECT all -- any any anywhere anywhere Chain ISTIO_REDIRECT (1 references) pkts bytes target prot opt in out source destination 90180 5411K REDIRECT tcp -- any any anywhere anywhere redir ports 15001
19. istioとNetfilter - 全体図 Inbound 19 Outbound
20. istioとNetfilter - Inbound 20
21. istioとNetfilter - Inbound PREROUTING 21 1 Chain ISTIO_OUTPUT (1 references) 2 target prot opt in out source destination 3 ISTIO_INBOUND tcp -- any any anywhere anywhere
22. istioとNetfilter - Inbound ISTIO_INBOUND 22 1 Chain ISTIO_INBOUND (1 references) 2 target prot opt in out source destination 3 RETURN tcp -- any any anywhere anywhere tcp dpt:15008 4 RETURN tcp -- any any anywhere anywhere tcp dpt:15090 5 RETURN tcp -- any any anywhere anywhere tcp dpt:15021 6 RETURN tcp -- any any anywhere anywhere tcp dpt:15020 7 ISTIO_IN_REDIRECT tcp -- any any anywhere anywhere
23. istioとNetfilter - Inbound ISTIO_IN_REDICRET 23 1 Chain ISTIO_IN_REDIRECT (3 references) 2 target prot opt in out source destination 3 REDIRECT tcp -- any any anywhere anywhere redir ports 15006
24. istioとNetfilter - Inbound istio-proxy istio-proxyは redirectされてきたパケットを 本来の宛先へ転送するようになっている 24 参考: https://www.envoyproxy.io/docs/envoy/latest/intro/ar ch_overview/upstream/service_discovery#original-d estination
25. istioとNetfilter - Inbound OUTPUT 25 1 Chain OUTPUT (policy ACCEPT) 2 target prot opt in out source destination 3 ISTIO_OUTPUT tcp -- any any anywhere anywhere
26. istioとNetfilter - Inbound ISTIO_OUTPUT 26 1 Chain ISTIO_OUTPUT (1 references) 2 target prot opt in out source destination 3 RETURN all -- any lo 127.0.0.6 anywhere 4 ISTIO_IN_REDIRECT tcp -- any lo anywhere !localhost tcp dpt:!15008 owner UID match 1337 5 RETURN all -- any lo anywhere anywhere ! owner UID match 1337 6 RETURN all -- any any anywhere anywhere owner UID match 1337 7 ISTIO_IN_REDIRECT tcp -- any lo anywhere !localhost tcp dpt:!15008 owner GID match 1337 8 RETURN all -- any lo anywhere anywhere ! owner GID match 1337 9 RETURN all -- any any anywhere anywhere owner GID match 1337 10 RETURN all -- any any anywhere localhost 11 ISTIO_REDIRECT all -- any any anywhere anywhere
27. istioとNetfilter - Inbound 27
28. istioとNetfilter - Outbound 28
29. istioとNetfilter - Outbound OUTPUT 29 1 Chain OUTPUT (policy ACCEPT) 2 target prot opt in out source destination 3 ISTIO_OUTPUT tcp -- any any anywhere anywhere
30. istioとNetfilter - Outbound ISTIO_OUTPUT 30 1 Chain ISTIO_OUTPUT (1 references) 2 target prot opt in out source destination 3 RETURN all -- any lo 127.0.0.6 anywhere 4 ISTIO_IN_REDIRECT tcp -- any lo anywhere !localhost tcp dpt:!15008 owner UID match 1337 5 RETURN all -- any lo anywhere anywhere ! owner UID match 1337 6 RETURN all -- any any anywhere anywhere owner UID match 1337 7 ISTIO_IN_REDIRECT tcp -- any lo anywhere !localhost tcp dpt:!15008 owner GID match 1337 8 RETURN all -- any lo anywhere anywhere ! owner GID match 1337 9 RETURN all -- any any anywhere anywhere owner GID match 1337 10 RETURN all -- any any anywhere localhost 11 ISTIO_REDIRECT all -- any any anywhere anywhere
31. istioとNetfilter - Outbound ISTIO_REDIRECT 31 1 Chain ISTIO_REDIRECT (1 references) 2 target prot opt in out source destination 3 REDIRECT tcp -- any any anywhere anywhere redir ports 15001
32. istioとNetfilter - Outbound istio-proxy 32 istio-proxyは redirectされてきたトラフィックを 本来の宛先へ転送する もしくは、mesh内の通信であれば Virtual Serviceに従った宛先を解決し 転送するようになっている 参考: https://www.envoyproxy.io/docs/envoy/latest/intro/ar ch_overview/upstream/service_discovery#original-d estination
33. istioとNetfilter - Outbound OUTPUT 33 1 Chain OUTPUT (policy ACCEPT) 2 target prot opt in out source destination 3 ISTIO_OUTPUT tcp -- any any anywhere anywhere
34. istioとNetfilter - Outbound ISTIO_OUTPUT 34 1 Chain ISTIO_OUTPUT (1 references) 2 target prot opt in out source destination 3 RETURN all -- any lo 127.0.0.6 anywhere 4 ISTIO_IN_REDIRECT tcp -- any lo anywhere !localhost tcp dpt:!15008 owner UID match 1337 5 RETURN all -- any lo anywhere anywhere ! owner UID match 1337 6 RETURN all -- any any anywhere anywhere owner UID match 1337 7 ISTIO_IN_REDIRECT tcp -- any lo anywhere !localhost tcp dpt:!15008 owner GID match 1337 8 RETURN all -- any lo anywhere anywhere ! owner GID match 1337 9 RETURN all -- any any anywhere anywhere owner GID match 1337 10 RETURN all -- any any anywhere localhost 11 ISTIO_REDIRECT all -- any any anywhere anywhere
35. istioとNetfilter - Outbound 35
36. istioとNetfilter - 全体図 Inbound 36 Outbound
37. ご清聴ありがとうございました 37