Kubernetes Networking 101

Transcript

1. Kubernetes Networking 101
   Kubernetes Novice Tokyo #4
   Presented by @inductor
   

   View Slide

2. 自己紹介
   名前: 太田 航平 (@inductor)
   所属: HPE
   役職: ソリューションアーキテクト
   Kubernetes SIG-Docs Japanese localization owner
   Cloud Native Ambassador
   Docker Meetup Tokyo、CNDT2020運営
   

   View Slide

3. Kubernetesのネットワークは複雑
   

   View Slide

4. ていうか、そもそもコンテナの
   ネットワークが複雑！
   

   View Slide

5. 今日のゴール
   ● Dockerのネットワークがわかる
   ● DockerとKubernetesのなりたちの違いがわかる
   ○ DockerとKubernetesのネットワーク的な要件の違い
   ● Kubernetesでネットワークをつなげる仕組みの登場人物がわかる
   → コンテナネットワーク完全に理解した
   

   View Slide

6. アジェンダ
   ● Dockerのネットワーク
   ○ コンテナとネットワークの関係
   ● Kubernetesのネットワーク
   ○ DockerとKubernetesのネットワーク要件の違い
   ■ Docker→Kubernetesに思考を引き上げる場合に生まれるネットワークの問題
   ■ Kubernetesでの解決策
   ● Kubernetesのネットワークを形作るコンポーネントとその役割
   ○ kube-proxy
   ○ CNI
   ■ よく使われるCNIの特徴
   

   View Slide

7. Dockerのネットワーク
   

   View Slide

8. Dockerのよくあるユースケース
   Docker Compose
   80:80
   3000
   3306
   

   View Slide

9. Dockerのよくあるユースケース
   Docker Compose
   80:80
   3000
   3306
   Webなので公開
   アプリは
   内部だけ
   DBは
   内部だけ
   

   View Slide

10. Dockerとネットワーク、ボリューム
    Volume Volume Volume
    Docker Volume
    Docker Container
    Docker Network docker0 bridge
    ローカルの80
    仮想NIC 仮想NIC 仮想NIC
    10.0.0.0/24
    172.16.0.0/24
    

    View Slide

11. ネットワークとボリュームは外部割り当て?
    Volume Volume Volume
    Docker Volume
    Docker Container
    Docker Network docker0 bridge
    ローカルの80
    仮想NIC 仮想NIC 仮想NIC
    10.0.0.0/24
    172.16.0.0/24
    

    View Slide

12. ネットワークとボリュームは外部割り当て
    Volume Volume Volume
    Docker Volume
    Docker Container
    Docker Network docker0 bridge
    ローカルの80
    仮想NIC 仮想NIC 仮想NIC
    

    View Slide

13. ネットワークとボリュームは外部割り当て
    Volume Volume Volume
    Docker Volume
    Docker Container
    Docker Network docker0 bridge
    ローカルの80
    仮想NIC 仮想NIC 仮想NIC
    Kubernetes Novice Tokyo #2 のセッション資料が詳しいので
    合わせてご覧ください
    

    View Slide

14. Dockerネットワークの種類
    ● bridge - 指定がない場合にデフォルトで使用
    ○ 所属するコンテナが直接通信でき、お手軽
    ● macvlan - macvlanが使える
    ○ 仮想NICにMACアドレスが持てる
    ○ VMから移行したい場合などに使えるかも？ただし ホストのNICが使えなくなる制限有
    ● none - 「何も繋がない」ができる
    ○ loopback(127.0.0.1)以外に仮想NICが繋がらないモード
    ● Network plugins - その他サードパーティのプラグインを使う場合
    ○ プラグイン自体とても少なく利用例が ほとんどない
    

    View Slide

15. コンテナとネットワークの関係
    

    View Slide

16. を話す前にコンテナの仕組みを
    さらっと復習します
    

    View Slide

17. コンテナの仕組み
    /
    /home /var /tmp
    /var/a /var/b /var/c /tmp/d
    ここに、あるLinuxホストのファイルシステムがあります
    

    View Slide

18. コンテナの仕組み
    /
    /home /var /tmp
    /var/a /var/b /var/c /tmp/d
    / / / /
    pivot_root pivot_root pivot_root pivot_root
    あるディレクトリをルートに見せかける pivot_root
    

    View Slide

19. コンテナの仕組み
    /
    /home /var /tmp
    /var/a /var/b /var/c /tmp/d
    / / / /
    namespace namespace namespace namespace
    ユーザーIDやNW、プロセス空間などを分離する namespace
    root
    10.0.0.1/24
    root
    10.0.0.2/24
    root
    10.0.0.3/24
    root
    10.0.0.3/24
    

    View Slide

20. コンテナの仕組み
    /
    /home /var /tmp
    /var/a /var/b /var/c /tmp/d
    / / / /
    各領域のCPU、メモリリソースなどを cgroupで制限
    root
    10.0.0.1/24
    root
    10.0.0.2/24
    root
    10.0.0.3/24
    root
    10.0.0.3/24
    1CPU
    2GB
    1CPU
    2GB
    1CPU
    2GB
    2CPU
    4GB
    

    View Slide

21. コンテナの仕組み
    /
    /home /var /tmp
    /var/a /var/b /var/c /tmp/d
    / / / /
    アプリケーションが動作するために必要なファイルたちを
    tar.gz形式でパッケージングしてこいつらの上にのっけて ...
    root
    10.0.0.1/24
    root
    10.0.0.2/24
    root
    10.0.0.3/24
    root
    10.0.0.3/24
    1CPU
    2GB
    1CPU
    2GB
    1CPU
    2GB
    2CPU
    4GB
    nginx on
    Ubuntu
    Node on
    Alpine
    Ruby on
    CentOS
    Debian
    

    View Slide

22. /var /tmp
    コンテナの仕組み
    /
    /home
    /var/a /var/b /var/c /tmp/d
    / / / /
    展開したファイルシステムの実行ファイルをプロセスとして起動！
    1CPU
    2GB
    1CPU
    2GB
    1CPU
    2GB
    2CPU
    4GB
    nginx on
    Ubuntu
    Node on
    Alpine
    Ruby on
    CentOS
    Debian
    root
    10.0.0.1/24
    root
    10.0.0.2/24
    root
    10.0.0.3/24
    root
    10.0.0.3/24
    プロセス起動！
    

    View Slide

23. /var /tmp
    コンテナの仕組み
    /
    /home
    /var/a /var/b /var/c /tmp/d
    / / / /
    展開したファイルシステムの実行ファイルをプロセスとして起動！
    1CPU
    2GB
    1CPU
    2GB
    1CPU
    2GB
    2CPU
    4GB
    nginx on
    Ubuntu
    Node on
    Alpine
    Ruby on
    CentOS
    Debian
    root
    10.0.0.1/24
    root
    10.0.0.2/24
    root
    10.0.0.3/24
    root
    10.0.0.3/24
    プロセス起動！
    これ1つ1つがコンテナ
    

    View Slide

24. /var /tmp
    コンテナの仕組み
    /
    /home
    /var/a /var/b /var/c /tmp/d
    / / / /
    展開したファイルシステムの実行ファイルをプロセスとして起動！
    1CPU
    2GB
    1CPU
    2GB
    1CPU
    2GB
    2CPU
    4GB
    nginx on
    Ubuntu
    Node on
    Alpine
    Ruby on
    CentOS
    Debian
    root
    10.0.0.1/24
    root
    10.0.0.2/24
    root
    10.0.0.3/24
    root
    10.0.0.3/24
    プロセス起動！
    これ1つ1つがコンテナ
    これがコンテナイメージね
    

    View Slide

25. Dockerコンテナとネットワークの関係
    ● コンテナはさまざまなリソースを隔離した結果生まれるもの
    ○ ネットワークもその１要素で、 NICは付けたり付けなかったりできる
    ● Noneドライバーを用いた場合、ネットワーク的に隔離されたコンテナができあが
    る
    ● ブリッジの場合は仮想スイッチにどんどん接続されて相互に接続ができる
    ○ Dockerの内部DNSも勝手に参加するので、コンテナ名がついていれば名前で DNSも引ける
    ○ 設定ファイルでdb:3306とかweb:80とかapp:3000みたいなことが書けるのはそのおかげ
    ○ 簡易的ではあるがいわゆる「サービスディスカバリ」の一種
    

    View Slide

26. ここまでのまとめ
    ● Dockerのネットワークとボリュームは外からアタッチすることができる
    ○ docker volume, docker networkコマンドで確認してみてね！
    ● ネットワーク機構にはいくつかの種類がある
    ○ 要件に合わせて選択することが可能
    

    View Slide

27. Kubernetesのネットワーク
    

    View Slide

28. 手元のKubernetesの中身を覗いてみる
    ● 外部に公開しているLonghornのWeb UIは、TCPの80番でLoadBalancerが
    アタッチされている
    ● でも、Dockerではポートの割り当てが発生していない
    ○ なんで？
    

    View Slide

29. 手元のKubernetesの中身を覗いてみる
    ● 外部に公開しているLonghornのWeb UIは、TCPの80番でLoadBalancerが
    アタッチされている
    ● でも、Dockerではポートの割り当てが発生していない
    ○ なんで？
    こたえ:
    Dockerのネットワークを使っていないから！！！
    

    View Slide

30. Kubernetesの仕組み
    ● コンテナを中心とした「分散システム」
    ○ 複数のマシンリソース (物理/仮想マシン)をクラスターにまとめて、アプリケーションをいい感じに
    動かす
    ○ （設定次第だけど）どのマシンでコンテナが動いても「同じように」動作する必要がある
    → マシンの持つネットワークに依存しない透過的なネットワークが必要
    それが理由で、Kubernetesのネットワークの基本はOverlay network構成
    

    View Slide

31. Kubernetesの仕組み
    Pod Pod Pod
    Pod network(overlay)
    Service Network(overlay)
    Node Network(not overlay)
    普通のサーバーがつながる
    ネットワーク
    ClusterIPなどサービス間の
    通信で使うネットワーク
    コンテナ(Pod)自体に
    IPアドレスを持たせるためのネッ
    トワーク
    kube-proxy
    CNI
    

    View Slide

32. Kubernetesの仕組み
    Pod
    Pod Pod
    Node Network(not overlay)
    Pod network(overlay)
    Service Network(overlay)
    普通のサーバーがつながる
    ネットワーク
    ClusterIPなどサービス間の
    通信で使うネットワーク
    コンテナ(Pod)自体に
    IPアドレスを持たせるためのネッ
    トワーク
    Podが入れ替わっても
    同じように動作する
    Nodeが障害を起こすと
    Podは自動で退避
    kube-proxy
    CNI
    

    View Slide

33. Kubernetesのネットワークコンポーネント
    ● kube-proxy - 各ノードで動作
    ○ 各ノードでコンテナネットワークへの入り口を作る役割
    ■ 無いと、コンテナの外と中の経路が通らない
    ○ Linuxのiptablesやipvsを利用(最近ではeBPFベースの実装もある )
    ○ Serviceの実装
    ■ https://github.com/kubernetes/kubernetes/blob/master/pkg/proxy/service.go
    ● CNI(Container Network Interface) - クラスター全体で動作
    ○ Docker network driver相当のプラグイン機構を提供
    ○ Overlay Networkを提供
    ○ 外のネットワーク(プロトコル)とKubernetesのネットワークをつなげる
    ○ 無いと、NodeのステータスがReadyにならない
    

    View Slide

34. Kubernetesのネットワークコンポーネント
    ● kube-proxy
    ○ 各ノードでコンテナネットワークへの入り口を作る役割
    ○ Linuxのiptablesやipvsを利用(最近ではeBPFベースの実装もある )
    ○ Serviceの実装
    ■ https://github.com/kubernetes/kubernetes/blob/master/pkg/proxy/service.go
    ● CNI(Container Network Interface)
    ○ Docker network driver相当のプラグイン機構を提供
    ○ クラスター全体のOverlay Networkを提供
    ○ 外のネットワーク(プロトコル)とKubernetesのネットワークをつなげる
    ○ 無いと、NodeのステータスがReadyにならない
    

    View Slide

35. Kubernetesのネットワークコンポーネント
    ● kube-proxy
    ○ 各ノードでコンテナネットワークへの入り口を作る役割
    ○ Linuxのiptablesやipvsを利用(最近ではeBPFベースの実装もある )
    ○ Serviceの実装
    ■ https://github.com/kubernetes/kubernetes/blob/master/pkg/proxy/service.go
    ● CNI(Container Network Interface)
    ○ Docker network driver相当のプラグイン機構を提供
    ○ クラスター全体のOverlay Networkを提供
    ○ 外のネットワーク(プロトコル)とKubernetesのネットワークをつなげる
    ○ 無いと、NodeのステータスがReadyにならない
    CNIでアタッチしたNIC
    kube-proxyでコンテナ外
    からの通信を流す
    

    View Slide

36. いろいろなCNI
    ● Calico
    ○ 最も人気&歴史がある
    ○ BGP(L3)ベースのネットワークでスケールしやすい
    ● Cilium
    ○ eBPFを用いた高パフォーマンス &スケーラブルなプラグイン
    ○ 最近人気になってきた
    ○ GKEでも最近導入がアナウンスされた
    ● Weave Net
    ● Amazon VPC CNI plugin
    

    View Slide

37. ここまでのまとめ
    ● Kubernetesが複数マシンを束ねて動かすためにはOverlay networkが重要
    ● CNIはOverlay networkの構築と、Pod(コンテナ)にネットワークの機能を
    与えるためのコンポーネント
    ● kube-proxyは、ノードに流れてきたPod向け通信をPodに流す役割を持つ
    

    View Slide

38. ここまでのまとめ
    ● Kubernetesが複数マシンを束ねて動かすためにはOverlay networkが重要
    ● CNIはOverlay networkの構築と、Pod(コンテナ)にネットワークの機能を
    与えるためのコンポーネント
    ● kube-proxyは、ノードに流れてきたPod向け通信をPodに流す役割を持つ
    完全に理解できましたか？
    

    View Slide

39. (質問があれば)Q&Aタイム
    

    View Slide

40. おわり
    

    View Slide