KubernetesでKafkaクラスターを動かしてみた

Slide 1

Slide 1 text

Cloud Native Developers JP Kubernetesで Kafkaクラスターを動かしてみた @hhiroshell 1

Slide 2

Slide 2 text

Cloud Native Developers JP • 早川博（はやかわひろし） • 日本オラクル所属 – Java SE/EE, Microservices, DevOps • Ergodoxユーザー 2 自己紹介 @hhiroshell

Slide 3

Slide 3 text

Cloud Native Developers JP 発端 • KubernetesとKafkaを組み合わせたら、こんなことができるんじゃないかと思った – コマンドひとつでスケールアウト（brokerを追加） – brokerが落ちたときに、オペレーションなしで自律回復 • やってみよう！ 3

Slide 4

Slide 4 text

Cloud Native Developers JP と、その前に…。 Kubernetesとはなにか1分で解説します。 4

Slide 5

Slide 5 text

Cloud Native Developers JP Kubernetesが実現すること 5 大きなリソースのプール

Slide 6

Slide 6 text

Cloud Native Developers JP Kubernetesが実現すること動け！ 6

Slide 7

Slide 7 text

Cloud Native Developers JP Kubernetesが実現することコンテナ化されたアプリはい！ 7

Slide 8

Slide 8 text

Cloud Native Developers JP Kubernetesが実現することコンテナ化されたアプリはい！ 8

Slide 9

Slide 9 text

Cloud Native Developers JP Kubernetesが実現すること利用者からのリクエストわー！ 9

Slide 10

Slide 10 text

Cloud Native Developers JP Kubernetesが実現することがんばれ！ 10

Slide 11

Slide 11 text

Cloud Native Developers JP Kubernetesが実現すること 11 はい！自動で複数のマシンに分散配置（HWを意識しない）

Slide 12

Slide 12 text

Cloud Native Developers JP Kubernetesが実現することわー！コンテナが落ちたら自動で新たに立ち上げる 12

Slide 13

Slide 13 text

Cloud Native Developers JP 発端（再掲） • KubernetesとKafkaを組み合わせたら、こんなことができる気がしてきた。 – コマンドひとつでスケールアウト（brokerを追加） – brokerが落ちたときに、オペレーションなしで自律回復 13

Slide 14

Slide 14 text

Cloud Native Developers JP KubernetesでKafkaを動かすまで 14

Slide 15

Slide 15 text

Cloud Native Developers JP どうやってKafkaを動かすか • Kubernetesにデプロイするモノの定義は、manifestファイル (json/yaml)に記述することができる • Kubernetesの管理用CLI(kubectl)を、manifestを噛ませて実行すると、所望のオブジェクト群がKubernetesに配備される → Kafka用のmanifestファイルを用意してkubectl実行！ 15

Slide 16

Slide 16 text

Cloud Native Developers JP manifestファイルの準備 • 先人の知恵を借りました m(_ _)m – https://github.com/Yolean/kubernetes-kafka – 手元のKubernetesのバージョン(1.7.x)に合わせて、Release v2.1.0を利用 – 環境に合わせて一部手直し • （参考）Helmを使って配備するものもあります – https://github.com/kubernetes/charts/tree/master/incubator/kafka 16 Helmは複数のmanifestをパッケージとして管理するためのツール。多数のKubernetesオブジェクトのセットをデプロイするのに便利です。 i

Slide 17

Slide 17 text

Cloud Native Developers JP Kubernetesでbroker群が立ち上がる仕組み • zookeeperが配備済みの状態から説明します 17 zookeeper Kubernetesクラスターストレージ (e.g. AWS EBS)

Slide 18

Slide 18 text

Cloud Native Developers JP Kubernetesでbroker群が立ち上がる仕組み • server.propertiesのテンプレートとそれを編集するスクリプトを ConfigMapオブジェクトに含めて配備する 18 zookeeper broker-config init.sh server.properties Kubernetesクラスターストレージ (e.g. AWS EBS) ConfigMap server.propertiesのテンプレート server.propertiesを編集するスクリプト

Slide 19

Slide 19 text

Cloud Native Developers JP Kubernetesでbroker群が立ち上がる仕組み • brokerを動かすためのPodの配備を開始 • VolumeにConfigMap内のファイルがコピーされる 19 zookeeper broker-config init.sh server.properties init.sh server.properties Kubernetesクラスターストレージ (e.g. AWS EBS) kafka-0 Pod ファイルをコピー Volume

Slide 20

Slide 20 text

Cloud Native Developers JP Kubernetesでbroker群が立ち上がる仕組み • initContanerが立ち上がり、前ページのVolumeをマウント • init.shを実行して、環境に合わせてserver.propertiesを書き換え 20 zookeeper broker-config init.sh server.properties init.sh server.properties Kubernetesクラスターストレージ (e.g. AWS EBS) kafka-0 init-cofnig マウント init.shを実行して server.propertiesを書き換え initContainer

Slide 21

Slide 21 text

Cloud Native Developers JP Kubernetesでbroker群が立ち上がる仕組み • brokerを可動させるコンテナを起動 • brokerのデータを保持するためのVolumeオブジェクトをマウント 21 zookeeper kafka-0 broker-config init.sh server.properties broker init.sh server.properties Kubernetesクラスターストレージ (e.g. AWS EBS) Container マウント

Slide 22

Slide 22 text

Cloud Native Developers JP Kubernetesでbroker群が立ち上がる仕組み • PersistentVolumeClaim(PVC)に記述されたストレージの要件（容量、サービスレベルなど）に従い、StorageClassがプロビジョニング 22 zookeeper kafka-0 broker-config init.sh server.properties broker init.sh server.properties Kubernetesクラスターストレージ (e.g. AWS EBS) PersistentVolumeClaim(PVC) StorageClass PVCに記述された要件に従い、 StorageClassがストレージをプロビジョニング

Slide 23

Slide 23 text

Cloud Native Developers JP Kubernetesでbroker群が立ち上がる仕組み • brokerのプロセスを起動する 23 zookeeper kafka-0 broker-config init.sh server.properties broker init.sh server.properties Kubernetesクラスターストレージ (e.g. AWS EBS) brokerのプロセスを起動

Slide 24

Slide 24 text

Cloud Native Developers JP Kubernetesでbroker群が立ち上がる仕組み • brokerが起動した状態 24 zookeeper kafka-0 broker-config init.sh server.properties broker init.sh server.properties Kubernetesクラスターストレージ (e.g. AWS EBS)

Slide 25

Slide 25 text

Cloud Native Developers JP Kubernetesでbroker群が立ち上がる仕組み • 設定されたレプリカ数に達するまで繰り返し 25 zookeeper kafka-0 broker-config init.sh server.properties broker container init.sh server.properties Kubernetesクラスターストレージ (e.g. AWS EBS) kafka-1 init.sh server.properties kafka-1 繰り返し…

Slide 26

Slide 26 text

Cloud Native Developers JP チュートリアルも公開中 • 具体的な操作手順やmanifestの中身については、チュートリアルを参照ください – https://github.com/oracle-japan/cndjp3/blob/master/handson1.md 26

Slide 27

Slide 27 text

Cloud Native Developers JP Demo 27

Slide 28

Slide 28 text

Cloud Native Developers JP Demoでやること • Kubernetesにbrokerを配備 • スケールアウト • brokerの障害からの自律的な回復 28

Slide 29

Slide 29 text

Cloud Native Developers JP まとめ • KubernetesでKafkaがちゃんと動いた • スケールアウトは道半ば – broker追加まではいいが、そのあとパーティションをリバランスするところでもうひと工夫必要 • brokerに障害があっても自律回復できることがわかった • manifestがありさえすればどこのKubernetes環境にもデプロイOK 29

Slide 30

Slide 30 text

Cloud Native Developers JP お知らせ Cloud NativeなOSSの勉強会シリーズ「Cloud Native Developers JP」 30 https://cnd.connpass.com/event/

Slide 31

Slide 31 text

Cloud Native Developers JP Fin. 31