Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Apache Kafka on Kubernetes 基礎編 ワークショップ QA 2022...
Search
suzukiry
January 12, 2022
Technology
0
98
Apache Kafka on Kubernetes 基礎編 ワークショップ QA 2022-01-12 / Apache Kafka Workshop QA 2022-01-12
suzukiry
January 12, 2022
Tweet
Share
More Decks by suzukiry
See All by suzukiry
OpenShiftの内部レジストリって何?/What's OpenShift Image Registry
suzukiry
0
1.4k
Strimzi Kafka Operator を試す Part 3 / Try Strimzi Part3
suzukiry
0
530
GitOps と Apache Kafka Part 1 / GitOps and Apache Kafka Part 1
suzukiry
0
270
Strimzi Kafka Operator を試す Part 2 / Try Strimzi Part2
suzukiry
0
310
Apache Kafka on Kubernetes 基礎編 ワークショップ QA 2021-11-24 / Apache Kafka Workshop QA 2021-11-24
suzukiry
0
140
Apache KafkaとKubernetes / Kafka and K8s
suzukiry
1
1.4k
Other Decks in Technology
See All in Technology
cdk initで生成されるあのファイル達は何なのか/cdk-init-generated-files
tomoki10
1
670
SRE with AI:実践から学ぶ、運用課題解決と未来への展望
yoshiiryo1
0
300
組織内、組織間の資産保護に必要なアイデンティティ基盤と関連技術の最新動向
fujie
0
270
[SRE NEXT 2025] すみずみまで暖かく照らすあなたの太陽でありたい
carnappopper
2
470
How to Quickly Call American Airlines®️ U.S. Customer Care : Full Guide
flyaahelpguide
0
240
CDKコード品質UP!ナイスな自作コンストラクタを作るための便利インターフェース
harukasakihara
2
230
Amazon SNSサブスクリプションの誤解除を防ぐ
y_sakata
3
190
An introduction to Claude Code SDK
choplin
2
1k
LLM拡張解体新書/llm-extension-deep-dive
oracle4engineer
PRO
23
6.2k
無理しない AI 活用サービス / #jazug
koudaiii
0
100
公開初日に Gemini CLI を試した話や FFmpeg と組み合わせてみた話など / Gemini CLI 初学者勉強会(#AI道場)
you
PRO
0
1.3k
Autify Company Deck
autifyhq
2
44k
Featured
See All Featured
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
34
3.1k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
30
2.2k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
34
5.9k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
8
700
Optimizing for Happiness
mojombo
379
70k
Building Better People: How to give real-time feedback that sticks.
wjessup
367
19k
The Art of Programming - Codeland 2020
erikaheidi
54
13k
Automating Front-end Workflow
addyosmani
1370
200k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
Java REST API Framework Comparison - PWX 2021
mraible
31
8.7k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
31
1.3k
Transcript
Apache Kafka on Kubernetes基礎編 ワークショップ QA 2022.01.12 分
Strimzi • Apache KafkaのクラスタをKubernetes上で管理するOperator ◦ オープンソースプロジェクト( Apache License 2.0) ◦
Cloud Native Computing Foundation (CNCF) • Strimzi で提供するもの: ◦ Apache Kafka, Connect, Zookeeper, MirrorMaker2 の コンテナイメージ ◦ Apache Kafka clusters, topics and users を管理するKubernetes Operators
QA
Note:Kafka Connect でのプロセス数はどのように管理するのですか? • Kafka Connectでは、Worker、Connector、Tasksというスレッドが立ち上がり、処 理を行います。そのうち、Taskが 実際にデータコピーを担当します。 • Taskの数は、tasks.maxによって指定。全クラスタノード上でいくつのTaskかを決め
ています。 Q. Worker-1 Connector-1 Task-1 (Conn1) Task-2 (Conn1) Worker-2 Connector-2 Task-3 (Conn1) Task-1 (Conn2) Worker-3 Thread JVM Process https://www.slideshare.net/vitojeng/streaming-process-with-kafka-connect-and-kafka-streams-80721215
• Connectorで作られるタスク数の最大数 ◦ Source Connector の場合はその対象(テーブル、ファイルなど)、 Sink Connector の場合はTopic のPartition数を気にしながら設定すべき。
◦ Source の場合 ▪ テーブル毎の割り当て • テーブルx3・タスクx3であれば、各タスクで 1テーブルを担当する。 • テーブルx6・タスクx2であれば、各タスクで 3テーブルを担当する。 • テーブルx1・タスクx2であれば、1タスクのみ1テーブルを担当する。(つまり別の 1タスク は無駄になる) ◦ Sink の場合 ▪ 対象Topicのパーティション数次第。 • Sink タスク(=Consumer)は Partition の数より多く持つことができない。 • 高スループットにしたい場合は、パーティション数 =タスク数( パーティション数<タスク 数だとアイドルするだけ ) • パフォーマンスを下げて良い場合は、 パーティション数>タスク数 の設定もOK. 分散処理の仕組み - パラメータ:tasks.max
その他
AMQ Streams • Apache Kafka のエンタープライズ向けディストリビューション ◦ 2018年から Kafka をサポート、Kubernetes
上でも提供 ◦ Red Hat AMQ Streams としてローンチ • 提供形態 ◦ Red Hat Enterprise Linux ◦ Red Hat OpenShift Container Platform Apache Kafka on Kubernetes 基礎編 ワークショップ: https://redhat-open.connpass.com/ Strimzi/AMQ Streamsをハンズオンをしてみたい
Thank you