Apache Kafka on Kubernetes 基礎編 ワークショップ QA 2022-01-12 / Apache Kafka Workshop QA 2022-01-12

Transcript

1. Apache Kafka on Kubernetes基礎編 ワークショップ QA 2022.01.12 分
2. Strimzi • Apache KafkaのクラスタをKubernetes上で管理するOperator ◦ オープンソースプロジェクト（ Apache License 2.0） ◦ Cloud Native Computing Foundation (CNCF) • Strimzi で提供するもの: ◦ Apache Kafka, Connect, Zookeeper, MirrorMaker2 の コンテナイメージ ◦ Apache Kafka clusters, topics and users を管理するKubernetes Operators
3. QA
4. Note:Kafka Connect でのプロセス数はどのように管理するのですか？ • Kafka Connectでは、Worker、Connector、Tasksというスレッドが立ち上がり、処 理を行います。そのうち、Taskが 実際にデータコピーを担当します。 • Taskの数は、tasks.maxによって指定。全クラスタノード上でいくつのTaskかを決め ています。 Q. Worker-1 Connector-1 Task-1 (Conn1) Task-2 (Conn1) Worker-2 Connector-2 Task-3 (Conn1) Task-1 (Conn2) Worker-3 Thread JVM Process https://www.slideshare.net/vitojeng/streaming-process-with-kafka-connect-and-kafka-streams-80721215
5. • Connectorで作られるタスク数の最大数 ◦ Source Connector の場合はその対象（テーブル、ファイルなど）、 Sink Connector の場合はTopic のPartition数を気にしながら設定すべき。 ◦ Source の場合 ▪ テーブル毎の割り当て • テーブルx3・タスクx3であれば、各タスクで 1テーブルを担当する。 • テーブルx6・タスクx2であれば、各タスクで 3テーブルを担当する。 • テーブルx1・タスクx2であれば、1タスクのみ1テーブルを担当する。（つまり別の 1タスク は無駄になる） ◦ Sink の場合 ▪ 対象Topicのパーティション数次第。 • Sink タスク（=Consumer）は Partition の数より多く持つことができない。 • 高スループットにしたい場合は、パーティション数 =タスク数（ パーティション数＜タスク 数だとアイドルするだけ ） • パフォーマンスを下げて良い場合は、 パーティション数＞タスク数 の設定もOK. 分散処理の仕組み - パラメータ:tasks.max
6. その他
7. AMQ Streams • Apache Kafka のエンタープライズ向けディストリビューション ◦ 2018年から Kafka をサポート、Kubernetes 上でも提供 ◦ Red Hat AMQ Streams としてローンチ • 提供形態 ◦ Red Hat Enterprise Linux ◦ Red Hat OpenShift Container Platform Apache Kafka on Kubernetes 基礎編 ワークショップ： https://redhat-open.connpass.com/ 　　Strimzi/AMQ Streamsをハンズオンをしてみたい
8. Thank you