Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
イベントストリーミング入門 〜Apache Kafkaを活用した大規模リアルタイムデータ処理〜
Search
Akio SHIMIZU
July 30, 2022
Technology
0
690
イベントストリーミング入門 〜Apache Kafkaを活用した大規模リアルタイムデータ処理〜
OSC Kyoto Online 2022の発表資料です。初心者向けにApache Kafkaの概要を解説しています。
Akio SHIMIZU
July 30, 2022
Tweet
Share
More Decks by Akio SHIMIZU
See All by Akio SHIMIZU
Apache Kafka最新アップデート (2023年6月16日版)
shmza
2
1.1k
イベントストリーミング入門 〜Apache Kafkaを活用した大規模リアルタイムデータ処理〜
shmza
0
510
Other Decks in Technology
See All in Technology
国土交通省 データコンペ参加者向け勉強会
takehikohashimoto
0
210
AWS re:Invent 2024 Kansai Standby
hiroramos4
PRO
0
110
ABEMA のコンテンツ制作を最適化!生成 AI x クラウド映像編集システム / abema-ai-editor
cyberagentdevelopers
PRO
1
190
IaC運用を楽にするためにCDK Pipelinesを導入したけど、思い通りにいかなかった話
smt7174
1
120
Spring Frameworkの新標準!? ~ RestClientとHTTPインターフェース入門 ~
ogiwarat
1
160
最速最小からはじめるデータプロダクト / Data Product MVP
amaotone
5
760
小規模に始めるデータメッシュとデータガバナンスの実践
kimujun
4
610
AWS CDKでデータリストアの運用、どのように設計する?~Aurora・EFSの実践事例を紹介~/aws-cdk-data-restore-aurora-efs
mhrtech
4
700
【若手エンジニア応援LT会】AWSで繋がり、共に成長! ~コミュニティ活動と新人教育への挑戦~
kazushi_ohata
0
250
Oracle Cloud Infrastructureデータベース・クラウド:各バージョンのサポート期間
oracle4engineer
PRO
27
12k
生成AIとAWS CDKで実現! 自社ブログレビューの効率化
ymae
2
400
使えそうで使われないCloudHSM
maikamibayashi
1
240
Featured
See All Featured
How to Think Like a Performance Engineer
csswizardry
19
1.1k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
43
6.6k
Faster Mobile Websites
deanohume
304
30k
How to train your dragon (web standard)
notwaldorf
88
5.7k
A Philosophy of Restraint
colly
203
16k
YesSQL, Process and Tooling at Scale
rocio
167
14k
The Cost Of JavaScript in 2023
addyosmani
45
6.6k
Code Review Best Practice
trishagee
64
17k
Building Better People: How to give real-time feedback that sticks.
wjessup
363
19k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
48k
Designing on Purpose - Digital PM Summit 2013
jponch
115
6.9k
Documentation Writing (for coders)
carmenintech
65
4.4k
Transcript
イベントストリーミング入門 〜Apache Kafkaを活用した大規模リアルタイムデータ処理〜 2022年7月29日 Confluent Japan合同会社 シニアソリューションエンジニア 清水 亮夫
2 世界は変わってきています
新しいビジネスの現実 テクノロジーこそがビジネス イノベーションが必要なのは 生き残るため 昨日のデータ = 障害 モダンなリアルタイムデータ インフラストラクチャが必要 テクノロジーは
サポート機能 イノベーションが必要なのは 成長のため “必要十分”なデータの鮮度は 昨日のデータ
「店舗」はソフトウェアに
「銀行」はソフトウェアに
「タクシー」はソフトウェアに 2 min
「自動車」はソフトウェアに
この変革を可能にするもの は何でしょうか。
クラウド 機械学習 モバイル Data in Motion 意思決定の再考 ユーザーエクスペ リエンスの再考 データの再考
データセンターの 再考
Data at RestはData in Motionに変わっていく 輸送機関 リアルタイムのセンサー 診断 運転手-乗客のマッチング 到着予想時刻のリアル
タイム更新 銀行 不正使用の検出 取引・リスクの管理 モバイルアプリ / 顧客体験の向上 小売 リアルタイム在庫管理 リアルタイムPOS レポート パーソナライゼーション 娯楽 リアルタイムの リコメンデーション パーソナライズされた お薦め アプリ内決済
Data in Motionとは?
Data in Motionは エンタープライズ企業の 中枢神経系 Apache Kafka® はそのテクノロジー
「イベント」とはビジネスで起きていること 輸送機関 今岡さんの車の TPMSセンサーが午前 7時11分にタイヤの空気圧低下を検 知した Kafka 銀行 金曜日の午後3時47分に赤星さんが藤本さんに 3万円送金した
Kafka 小売 金本さんが注文したデジタルカメラが午前 9時10分に配送された Kafka
Key Value
中枢神経系 一連のイベント・ストリームとしての業務, powered by Kafka 在庫情報 配送 レポート 注文 フロントエ
ンド 小売業の例
Data in Motionの興盛 2010 Apache Kafka Confluentの創業者によって Linkedinで生まれる 2014 2021
80% のFortune 100 企業がApache Kafkaを信頼し、採 用
Apache Kafka® とは?
Apache Kafkaのコア機能 01 一連のイベントを Publish & Subscribe する 02 イベント・ストリーム
を保存する 03 イベント・ストリーム を処理 & 解析する
“Everything is just a series of events.” - Apache Kafka
同じKafkaコインの表面と裏面 Client Broker
Producer: 最初のクライアント ポリシー 決済処理 アプリケーション テレメトリーデータ 書込み
Kafka Broker: 繊細だけどパワフル ローカルストレージ リテンション時間 書込み
Consumer: もう一方のクライアント データレコード レポート ダッシュボード 分析 後続処理 永遠に 繰り返す ポーリング
24 • 長いブロックコマンドの連鎖を 断ち切る • 同期アクションと非同期 アクションを区別する • immutableなイベントレベルの ログによるトレーサビリティの
維持 ProducerとConsumerを分離する
Broker
Brokerの基本 • ProducerはイベントをBrokerに送信 • Brokersはイベントを受信して蓄積 • Kafka Clusterは複数のBrokerを持つことが できる •
それぞれのBrokerは複数のTopic、 パーティションを管理
Brokerのレプリケーション Topic, パーティションの 論理セット
Topic • 類似イベントを格納する名前付きコンテナ ◦ システムには多くのTopicが存在する ◦ Topic間でデータが重複することもできる • イベントの耐久性のあるログ ◦
追記(Append)のみ ◦ オフセットによるシークのみ可能で、インデックス化はされない • イベントは不変 (immutable)
Topicのリテンション・ポリシー イベントをどれだけの期間保持する必要があるか ? • どれだけの期間 (デフォルト: 1週間) • Topic単位で設定 ◦
もしくはBorokerのデフォルト値を使用 • 業務要件による決定 • コスト要因 • コンプライアンス要因 (例: GDPR)
Topicのコンパクション
Topic、パーティション、セグメント
セグメントの中身 - ストリーム 無限に続く一連のイベント 過去 未来 現在 ストリーム イベント
イベントの中身
クライアント
Producerのデザイン
Producerの保証
送達の保証
Javaによる基本 的なProducer
パーティショニングの戦略 なぜパーティショニングするのか ? • Consumerは何らかのキーで集計または結合する必要がある • Consumerは順序の保証が必要 • ストレージの効率化やインデックス作成のためのデータの集中化
Partition 0 Partition 1 Partition 2
Partition 0 Partition 1 Partition 2
Partition 0 Partition 1 Partition 2 1 4 7 2
5 8 3 6 9 #
Partition 0 Partition 1 Partition 2 1 2 3 4
5 7 6 8 9 #
Consumerのオフセット ここまで 読み込んだ
Consumerグループ 同じ グループID 自動 ロードバランス
Consumerの リバランス リバランス発生 リバランス発生 Consumer 追加! Consumer 削除!
.NET/C#による 基本的な Consumer
特別なクライアント
Sink Source KAFKA STREAMS KAFKA CONNECT KAFKA CONNECT Your App
Kafka ConnectとKafka Streams
ストリーム処理のアーキテクチャをシンプルに DB CONNECTOR CONNECTOR APP APP DB STREAM PROCESSING CONNECTOR
APP DB 2 3 4 現状では、3から5にわたる分散システムの構築・インテグレーション・管理が必要 1
KSQL は、イベントの取得、ストリーム処理、プッシュ/プルクエリの両方を単一のソリューション として提供します ストリーム処理のアーキテクチャをシンプルに DB APP APP DB PULL PUSH
CONNECTORS STREAM PROCESSING STATE STORES KSQL 1 2 APP
1つのシステムで2種類のクエリに対応: • Pushクエリ リアルタイムで変化するクエリ結果を 購読 (subscribe)する (ドライバーはどこにいて、到着予測時間はいつ?) • Pullクエリ :
情報のポイントインタイムでの検索 (乗車運賃はいくら? ドライバーの名前は?) ストリーム処理のアーキテクチャをシンプルに
ストリームの世界に入門する敷居を下げる Kafka利用者の人口分布 コーディングの洗練度 コアJava開発者 Java/Scalaを使用しないコア開発者 データエンジニア、アーキテクトDevOps/SRE streams BI分析者
ハンズオンのご案内
7/30(土) 14時からハンズオンを行います! ZoomのURLが不明な際は、OSPNのSlackで 清水宛にDMください
ありがとうございました! Confluent: confluent.cloud Developer Site: https://developer.confluent.io/
None