Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Apache Kafka on Kubernetes 基礎編 ワークショップ QA 2022-01-12 / Apache Kafka Workshop QA 2022-01-12
Search
suzukiry
January 12, 2022
Technology
0
83
Apache Kafka on Kubernetes 基礎編 ワークショップ QA 2022-01-12 / Apache Kafka Workshop QA 2022-01-12
suzukiry
January 12, 2022
Tweet
Share
More Decks by suzukiry
See All by suzukiry
OpenShiftの内部レジストリって何?/What's OpenShift Image Registry
suzukiry
0
310
Strimzi Kafka Operator を試す Part 3 / Try Strimzi Part3
suzukiry
0
290
GitOps と Apache Kafka Part 1 / GitOps and Apache Kafka Part 1
suzukiry
0
190
Strimzi Kafka Operator を試す Part 2 / Try Strimzi Part2
suzukiry
0
170
Apache Kafka on Kubernetes 基礎編 ワークショップ QA 2021-11-24 / Apache Kafka Workshop QA 2021-11-24
suzukiry
0
110
Apache KafkaとKubernetes / Kafka and K8s
suzukiry
1
1.1k
Other Decks in Technology
See All in Technology
SPI原点回帰論:事業課題とFour Keysの結節点を見出す実践的ソフトウェアプロセス改善 / DevOpsDays Tokyo 2024
visional_engineering_and_design
4
1.2k
CSSDAY 2024
kevinshallvari
0
180
2024-04-06 AMeDAS to Lagoon SORACOM UG 2024-04-06
anysonica
0
120
なぜ NOT A HOTEL が Web3 に取り組むのか - NOT A HOTEL TECH TALK
ynunokawa
0
160
20240416_devopsdaystokyo
kzkmaeda
1
170
AIQ株式会社 エンジニア向け会社紹介資料
aiqlab
0
350
長期間TiDBを使ってきた話 @ 私たちはなぜNewSQLを使うのかTiDB選定5社が語る選定理由と活用LT / Experiences with TiDB Over Time
chibiegg
2
170
スタートアップの技術顧問を3年間続けて発生した事と気付き
biwakonbu
0
150
[2024年3月版] Databricksのシステムアーキテクチャ
databricksjapan
7
1.9k
Apple Vision Pro trial session
akkeylab
0
120
元インフラエンジニアに成る / Human Resources to Human Relations
bobtani
1
500
Delivering Millions of Messages within seconds @ Duolingo
pelelgrino
0
280
Featured
See All Featured
Side Projects
sachag
451
41k
We Have a Design System, Now What?
morganepeng
42
6.7k
Building Better People: How to give real-time feedback that sticks.
wjessup
353
18k
Designing on Purpose - Digital PM Summit 2013
jponch
110
6.4k
Gamification - CAS2011
davidbonilla
76
4.6k
Pencils Down: Stop Designing & Start Developing
hursman
116
11k
The Mythical Team-Month
searls
214
42k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
352
28k
Design by the Numbers
sachag
274
18k
What the flash - Photography Introduction
edds
64
11k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
658
120k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
153
14k
Transcript
Apache Kafka on Kubernetes基礎編 ワークショップ QA 2022.01.12 分
Strimzi • Apache KafkaのクラスタをKubernetes上で管理するOperator ◦ オープンソースプロジェクト( Apache License 2.0) ◦
Cloud Native Computing Foundation (CNCF) • Strimzi で提供するもの: ◦ Apache Kafka, Connect, Zookeeper, MirrorMaker2 の コンテナイメージ ◦ Apache Kafka clusters, topics and users を管理するKubernetes Operators
QA
Note:Kafka Connect でのプロセス数はどのように管理するのですか? • Kafka Connectでは、Worker、Connector、Tasksというスレッドが立ち上がり、処 理を行います。そのうち、Taskが 実際にデータコピーを担当します。 • Taskの数は、tasks.maxによって指定。全クラスタノード上でいくつのTaskかを決め
ています。 Q. Worker-1 Connector-1 Task-1 (Conn1) Task-2 (Conn1) Worker-2 Connector-2 Task-3 (Conn1) Task-1 (Conn2) Worker-3 Thread JVM Process https://www.slideshare.net/vitojeng/streaming-process-with-kafka-connect-and-kafka-streams-80721215
• Connectorで作られるタスク数の最大数 ◦ Source Connector の場合はその対象(テーブル、ファイルなど)、 Sink Connector の場合はTopic のPartition数を気にしながら設定すべき。
◦ Source の場合 ▪ テーブル毎の割り当て • テーブルx3・タスクx3であれば、各タスクで 1テーブルを担当する。 • テーブルx6・タスクx2であれば、各タスクで 3テーブルを担当する。 • テーブルx1・タスクx2であれば、1タスクのみ1テーブルを担当する。(つまり別の 1タスク は無駄になる) ◦ Sink の場合 ▪ 対象Topicのパーティション数次第。 • Sink タスク(=Consumer)は Partition の数より多く持つことができない。 • 高スループットにしたい場合は、パーティション数 =タスク数( パーティション数<タスク 数だとアイドルするだけ ) • パフォーマンスを下げて良い場合は、 パーティション数>タスク数 の設定もOK. 分散処理の仕組み - パラメータ:tasks.max
その他
AMQ Streams • Apache Kafka のエンタープライズ向けディストリビューション ◦ 2018年から Kafka をサポート、Kubernetes
上でも提供 ◦ Red Hat AMQ Streams としてローンチ • 提供形態 ◦ Red Hat Enterprise Linux ◦ Red Hat OpenShift Container Platform Apache Kafka on Kubernetes 基礎編 ワークショップ: https://redhat-open.connpass.com/ Strimzi/AMQ Streamsをハンズオンをしてみたい
Thank you