イベントストリーミング入門〜Apache Kafkaを活用した大規模リアルタイムデータ処理〜

by Akio SHIMIZU

Slide 1

Slide 1 text

イベントストリーミング入門〜Apache Kafkaを活用した大規模リアルタイムデータ処理〜 2022年7月29日 Conﬂuent Japan合同会社シニアソリューションエンジニア清水亮夫

Slide 2

Slide 2 text

2 世界は変わってきています

Slide 3

Slide 3 text

新しいビジネスの現実テクノロジーこそがビジネスイノベーションが必要なのは生き残るため昨日のデータ = 障害モダンなリアルタイムデータインフラストラクチャが必要テクノロジーはサポート機能イノベーションが必要なのは成長のため “必要十分”なデータの鮮度は昨日のデータ

Slide 4

Slide 4 text

「店舗」はソフトウェアに

Slide 5

Slide 5 text

「銀行」はソフトウェアに

Slide 6

Slide 6 text

「タクシー」はソフトウェアに 2 min

Slide 7

Slide 7 text

「自動車」はソフトウェアに

Slide 8

Slide 8 text

この変革を可能にするものは何でしょうか。

Slide 9

Slide 9 text

クラウド機械学習モバイル Data in Motion 意思決定の再考ユーザーエクスペリエンスの再考データの再考データセンターの再考

Slide 10

Slide 10 text

Data at RestはData in Motionに変わっていく輸送機関リアルタイムのセンサー診断運転手-乗客のマッチング到着予想時刻のリアルタイム更新銀行不正使用の検出取引・リスクの管理モバイルアプリ / 顧客体験の向上小売リアルタイム在庫管理リアルタイムPOS レポートパーソナライゼーション娯楽リアルタイムのリコメンデーションパーソナライズされたお薦めアプリ内決済

Slide 11

Slide 11 text

Data in Motionとは?

Slide 12

Slide 12 text

Data in Motionはエンタープライズ企業の中枢神経系 Apache Kafka® はそのテクノロジー

Slide 13

Slide 13 text

「イベント」とはビジネスで起きていること輸送機関今岡さんの車の TPMSセンサーが午前 7時11分にタイヤの空気圧低下を検知した Kafka 銀行金曜日の午後3時47分に赤星さんが藤本さんに 3万円送金した Kafka 小売金本さんが注文したデジタルカメラが午前 9時10分に配送された Kafka

Slide 14

Slide 14 text

Key Value

Slide 15

Slide 15 text

中枢神経系一連のイベント・ストリームとしての業務, powered by Kafka 在庫情報配送レポート注文フロントエンド小売業の例

Slide 16

Slide 16 text

Data in Motionの興盛 2010 Apache Kafka Conﬂuentの創業者によって Linkedinで生まれる 2014 2021 80% のFortune 100 企業がApache Kafkaを信頼し、採用

Slide 17

Slide 17 text

Apache Kafka® とは?

Slide 18

Slide 18 text

Apache Kafkaのコア機能 01 一連のイベントを Publish & Subscribe する 02 イベント・ストリームを保存する 03 イベント・ストリームを処理 & 解析する

Slide 19

Slide 19 text

“Everything is just a series of events.” - Apache Kafka

Slide 20

Slide 20 text

同じKafkaコインの表面と裏面 Client Broker

Slide 21

Slide 21 text

Producer: 最初のクライアントポリシー決済処理アプリケーションテレメトリーデータ書込み

Slide 22

Slide 22 text

Kafka Broker: 繊細だけどパワフルローカルストレージリテンション時間書込み

Slide 23

Slide 23 text

Consumer: もう一方のクライアントデータレコードレポートダッシュボード分析後続処理永遠に繰り返すポーリング

Slide 24

Slide 24 text

24 ● 長いブロックコマンドの連鎖を断ち切る ● 同期アクションと非同期アクションを区別する ● immutableなイベントレベルのログによるトレーサビリティの維持 ProducerとConsumerを分離する

Slide 25

Slide 25 text

Broker

Slide 26

Slide 26 text

Brokerの基本 ● ProducerはイベントをBrokerに送信 ● Brokersはイベントを受信して蓄積 ● Kafka Clusterは複数のBrokerを持つことができる ● それぞれのBrokerは複数のTopic、パーティションを管理

Slide 27

Slide 27 text

Brokerのレプリケーション Topic, パーティションの論理セット

Slide 28

Slide 28 text

Topic ● 類似イベントを格納する名前付きコンテナ ○ システムには多くのTopicが存在する ○ Topic間でデータが重複することもできる ● イベントの耐久性のあるログ ○ 追記(Append)のみ ○ オフセットによるシークのみ可能で、インデックス化はされない ● イベントは不変 (immutable)

Slide 29

Slide 29 text

Topicのリテンション・ポリシーイベントをどれだけの期間保持する必要があるか ? • どれだけの期間 (デフォルト: 1週間) • Topic単位で設定 ○ もしくはBorokerのデフォルト値を使用 • 業務要件による決定 • コスト要因 • コンプライアンス要因 (例: GDPR)

Slide 30

Slide 30 text

Topicのコンパクション

Slide 31

Slide 31 text

Topic、パーティション、セグメント

Slide 32

Slide 32 text

セグメントの中身 - ストリーム無限に続く一連のイベント過去未来現在ストリームイベント

Slide 33

Slide 33 text

イベントの中身

Slide 34

Slide 34 text

クライアント

Slide 35

Slide 35 text

Producerのデザイン

Slide 36

Slide 36 text

Producerの保証

Slide 37

Slide 37 text

送達の保証

Slide 38

Slide 38 text

Javaによる基本的なProducer

Slide 39

Slide 39 text

パーティショニングの戦略なぜパーティショニングするのか ? • Consumerは何らかのキーで集計または結合する必要がある • Consumerは順序の保証が必要 • ストレージの効率化やインデックス作成のためのデータの集中化

Slide 40

Slide 40 text

Partition 0 Partition 1 Partition 2

Slide 41

Slide 41 text

Partition 0 Partition 1 Partition 2

Slide 42

Slide 42 text

Partition 0 Partition 1 Partition 2 1 4 7 2 5 8 3 6 9 #

Slide 43

Slide 43 text

Partition 0 Partition 1 Partition 2 1 2 3 4 5 7 6 8 9 #

Slide 44

Slide 44 text

Consumerのオフセットここまで読み込んだ

Slide 45

Slide 45 text

Consumerグループ同じグループID 自動ロードバランス

Slide 46

Slide 46 text

Consumerのリバランスリバランス発生リバランス発生 Consumer 追加！ Consumer 削除！

Slide 47

Slide 47 text

.NET/C#による基本的な Consumer

Slide 48

Slide 48 text

特別なクライアント

Slide 49

Slide 49 text

Sink Source KAFKA STREAMS KAFKA CONNECT KAFKA CONNECT Your App Kafka ConnectとKafka Streams

Slide 50

Slide 50 text

ストリーム処理のアーキテクチャをシンプルに DB CONNECTOR CONNECTOR APP APP DB STREAM PROCESSING CONNECTOR APP DB 2 3 4 現状では、3から5にわたる分散システムの構築・インテグレーション・管理が必要 1

Slide 51

Slide 51 text

KSQL は、イベントの取得、ストリーム処理、プッシュ／プルクエリの両方を単一のソリューションとして提供しますストリーム処理のアーキテクチャをシンプルに DB APP APP DB PULL PUSH CONNECTORS STREAM PROCESSING STATE STORES KSQL 1 2 APP

Slide 52

Slide 52 text

1つのシステムで2種類のクエリに対応: ● Pushクエリリアルタイムで変化するクエリ結果を購読 (subscribe)する (ドライバーはどこにいて、到着予測時間はいつ？) ● Pullクエリ : 情報のポイントインタイムでの検索 (乗車運賃はいくら? ドライバーの名前は?) ストリーム処理のアーキテクチャをシンプルに

Slide 53

Slide 53 text

ストリームの世界に入門する敷居を下げる Kafka利用者の人口分布コーディングの洗練度コアJava開発者 Java/Scalaを使用しないコア開発者データエンジニア、アーキテクトDevOps/SRE streams BI分析者

Slide 54

Slide 54 text

ハンズオンのご案内

Slide 55

Slide 55 text

7/30(土) 14時からハンズオンを行います！ ZoomのURLが不明な際は、OSPNのSlackで清水宛にDMください

Slide 56

Slide 56 text

ありがとうございました! Confluent: confluent.cloud Developer Site: https://developer.confluent.io/

Slide 57

Slide 57 text

No content