イベントストリーミング入門〜Apache Kafkaを活用した大規模リアルタイムデータ処理〜

by Akio SHIMIZU

Slide 1

Slide 1 text

イベントストリーミング入門〜Apache Kafkaを活用した大規模リアルタイムデータ処理〜 Conﬂuent Japan合同会社シニアソリューションエンジニア清水亮夫

Slide 2

Slide 2 text

2 世界は変わってきています

Slide 3

Slide 3 text

新しいビジネスの現実テクノロジーこそがビジネスイノベーションが必要なのは生き残るため昨日のデータ = 障害モダンなリアルタイムデータインフラストラクチャが必要テクノロジーはサポート機能イノベーションが必要なのは成長のため “必要十分”なデータの鮮度は昨日のデータ

Slide 4

Slide 4 text

「店舗」はソフトウェアに

Slide 5

Slide 5 text

「銀行」はソフトウェアに

Slide 6

Slide 6 text

「タクシー」はソフトウェアに 2 min

Slide 7

Slide 7 text

「自動車」はソフトウェアに

Slide 8

Slide 8 text

この変革を可能にするものは何でしょうか。

Slide 9

Slide 9 text

クラウド機械学習モバイル Data in Motion 意思決定の再考ユーザーエクスペリエンスの再考データの再考データセンターの再考

Slide 10

Slide 10 text

Data at RestはData in Motionに変わっていく輸送機関リアルタイムのセンサー診断運転手-乗客のマッチング到着予想時刻のリアルタイム更新銀行不正使用の検出取引・リスクの管理モバイルアプリ / 顧客体験の向上小売リアルタイム在庫管理リアルタイムPOS レポートパーソナライゼーション娯楽リアルタイムのリコメンデーションパーソナライズされたお薦めアプリ内決済

Slide 11

Slide 11 text

Data in Motionとは?

Slide 12

Slide 12 text

Data in Motionとはあらゆる場所から絶え間なく発生し、常に進化するデータに対する連続的なストリーム処理 12

Slide 13

Slide 13 text

Data in Motionはエンタープライズ企業の中枢神経系 Apache Kafka® はそのテクノロジー

Slide 14

Slide 14 text

Data in Motionによるお客様価値あらゆるデータソースから DB、ログ、メトリクス、モバイルアプリ、マイクロサービス、IoTセンサーなど In-Transit Processing 仕入/販売データ在庫/流通データトランザクションデータ顧客行動/興味データあらゆるデータ活用先へ DB、モバイルアプリ、マイクロサービス、APIエンドポイント、アナリティクス、BIツール、MLなど In-Transit ガバナンスセキュリティと一貫性のためにフローを一元的に管理 - アクセスコントロール、データ保護、スキーマの一貫性、DR、BC、などデータを最適変換データは移動中に必要に応じて形を変えます- すべてのソースからのデータは平等に扱われ、違いは Conﬂuentによって抽象化されます 14

Slide 15

Slide 15 text

15 Data in Motionは消費者が日常的に使用するアプリを動かす基盤に不可欠なデータインフラです Acme Retailerから$1000の請求がありましたこの取引を確認してください。 Jun Raoがアプリから100ドルを送ってきましたご注文のドライバーが来ました待機料金は3分後にスタートしますご注文いただいた商品がまもなくお手元に届きます

Slide 16

Slide 16 text

16 “あなたのドライバーは何分後に到着する？” これはData in Motionなしでは実現できません運転手評価乗車運賃支払い位置情報利用者情報複数のリアルタイムイベントを取得利用者の位置情報に基づき複数の車両情報を取得して最適な車両をアサインします過去数年のデータから同条件のみ抽出・融合距離・都市・天候・時間帯などを組み合わせて同条件での到着時間を抽出します課金情報の”確実に一度だけ”の送信保証重要なトランザクションデータをexactly once で届ける事が可能です

Slide 17

Slide 17 text

Data in Motionの興盛 2010 Apache Kafka Conﬂuentの創業者によって Linkedinで生まれる 2014 2021 80% のFortune 100 企業がApache Kafkaを信頼し、採用

Slide 18

Slide 18 text

18                 スマートアナリティクス (AI/ML)                  異常検出  アプリケーションの  モダナイゼーション  データ  交換  IT の可観測性と  SIEM の最適化  コンプライアンスと  規制  マイクロサービス/  イベントソーシング  ストリーミング  ETL  ログ  集計  IoT / Edge   アナリティクス  サイバー  セキュリティ  データインフラストラクチャのユースケースビジネスアプリケーションのユースケースデータ  パイプライン  ハイブリッドとマルチクラウドの統合  Customer  360  メインフレームの強化  データウェアハウスのモダナイゼーション  メッセージングの  モダナイゼーション  データベースの  モダナイゼーション  Apache Kafkaの代表的なユースケース

Slide 19

Slide 19 text

Apache Kafka® とは?

Slide 20

Slide 20 text

Apache Kafkaのコア機能 01 一連のイベントを Publish & Subscribe する 02 イベント・ストリームを保存する 03 イベント・ストリームを処理 & 解析する

Slide 21

Slide 21 text

“Everything is just a series of events.” - Apache Kafka

Slide 22

Slide 22 text

「イベント」とはビジネスで起きていること輸送機関今岡さんの車の TPMSセンサーが午前 7時11分にタイヤの空気圧低下を検知した Kafka 銀行金曜日の午後3時47分に赤星さんが藤本さんに 3万円送金した Kafka 小売金本さんが注文したデジタルカメラが午前 9時10分に配送された Kafka

Slide 23

Slide 23 text

Key Value Kafkaにおけるイベント

Slide 24

Slide 24 text

データの書込み Kafka クラスターデータの読込み

Slide 25

Slide 25 text

Producer: 最初のクライアントポリシー決済処理アプリケーションテレメトリーデータ書込み

Slide 26

Slide 26 text

Kafka Broker: 繊細だけどパワフルローカルストレージリテンション時間書込み

Slide 27

Slide 27 text

Consumer: もう一方のクライアントデータレコードレポートダッシュボード分析後続処理永遠に繰り返すポーリング

Slide 28

Slide 28 text

28 ● 長いブロックコマンドの連鎖を断ち切る ● 同期アクションと非同期アクションを区別する ● immutableなイベントレベルのログによるトレーサビリティの維持 ProducerとConsumerを分離する

Slide 29

Slide 29 text

Broker

Slide 30

Slide 30 text

Brokerの基本 ● ProducerはイベントをBrokerに送信 ● Brokersはイベントを受信して蓄積 ● Kafka Clusterは複数のBrokerを持つことができる ● それぞれのBrokerは複数のTopic、パーティションを管理

Slide 31

Slide 31 text

Brokerのレプリケーション Topic, パーティションの論理セット

Slide 32

Slide 32 text

Topic ● 類似イベントを格納する名前付きコンテナ ○ システムには多くのTopicが存在する ○ Topic間でデータが重複することもできる ● イベントの耐久性のあるログ ○ 追記(Append)のみ ○ オフセットによるシークのみ可能で、インデックス化はされない ● イベントは不変 (immutable)

Slide 33

Slide 33 text

Topic ● 一連の「関連した」イベント 33 ● 同じような頻度とサイズ ● より洗練させられる顧客プロファイルの更新更新要求課金情報の更新 claims-updates new-claims new-claims-O H

Slide 34

Slide 34 text

Topicのリテンション・ポリシーイベントをどれだけの期間保持する必要があるか ? • どれだけの期間 (デフォルト: 1週間) • Topic単位で設定 ○ もしくはBorokerのデフォルト値を使用 • 業務要件による決定 • コスト要因 • コンプライアンス要因 (例: GDPR)

Slide 35

Slide 35 text

Topicのコンパクション

Slide 36

Slide 36 text

Topic、パーティション、セグメント

Slide 37

Slide 37 text

セグメントの中身 - ストリーム無限に続く一連のイベント過去未来現在ストリームイベント

Slide 38

Slide 38 text

イベントの中身

Slide 39

Slide 39 text

クライアント

Slide 40

Slide 40 text

Producerのデザイン

Slide 41

Slide 41 text

Producerの保証

Slide 42

Slide 42 text

送達の保証

Slide 43

Slide 43 text

Javaによる基本的なProducer

Slide 44

Slide 44 text

パーティショニングの戦略なぜパーティショニングするのか ? • Consumerは何らかのキーで集計または結合する必要がある • Consumerは順序の保証が必要 • ストレージの効率化やインデックス作成のためのデータの集中化

Slide 45

Slide 45 text

Partition 0 Partition 1 Partition 2

Slide 46

Slide 46 text

Partition 0 Partition 1 Partition 2

Slide 47

Slide 47 text

Partition 0 Partition 1 Partition 2 1 4 7 2 5 8 3 6 9 #

Slide 48

Slide 48 text

Partition 0 Partition 1 Partition 2 1 2 3 4 5 7 6 8 9 #

Slide 49

Slide 49 text

Consumerのオフセットここまで読み込んだ

Slide 50

Slide 50 text

Consumerグループ同じグループID 自動ロードバランス

Slide 51

Slide 51 text

Consumerのリバランスリバランス発生リバランス発生 Consumer 追加！ Consumer 削除！

Slide 52

Slide 52 text

.NET/C#による基本的な Consumer

Slide 53

Slide 53 text

特別なクライアント

Slide 54

Slide 54 text

Kafka Connect 既存のシステム（データベース、オブジェクトストレージ、キューなど）とApache Kafkaをノーコードで接続する方法です。通常であれば、カスタム変換やデータ変換を行うためにはいくつかのコードを書く必要があります。Kafka Connectはすぐに利用可能なSingle Message TransformsとConvertersを提供しています。 Kafka Connect Kafka Connect データソースデータシンク

Slide 55

Slide 55 text

多くの著名なソフトウェアへのコネクターを提供 Data Diode 200+ pre-built connectors 80+ Confluent Supported 60+ Partner Supported, Confluent Verified 24 55

Slide 56

Slide 56 text

Sink Source KAFKA STREAMS KAFKA CONNECT KAFKA CONNECT Your App Kafka ConnectとKafka Streams

Slide 57

Slide 57 text

ストリーム処理のアーキテクチャをシンプルに DB CONNECTOR CONNECTOR APP APP DB STREAM PROCESSING CONNECTOR APP DB 2 3 4 現状では、3から5にわたる分散システムの構築・インテグレーション・管理が必要 1

Slide 58

Slide 58 text

Kafkaへの接続 - Data In/Out DB CONNECTOR CONNECTOR APP APP DB STREAM PROCESSING CONNECTOR APP DB

Slide 59

Slide 59 text

Stream Processing - Dataをハンドリングする DB CONNECTOR CONNECTOR APP APP DB STREAM PROCESSING CONNECTOR APP DB

Slide 60

Slide 60 text

ksqlDBとは DB APP APP DB PULL PUSH CONNECTORS STREAM PROCESSING MATERIALIZED VIEWS ksqlDB APP

Slide 61

Slide 61 text

KSQL は、イベントの取得、ストリーム処理、プッシュ／プルクエリの両方を単一のソリューションとして提供しますストリーム処理のアーキテクチャをシンプルに DB APP APP DB PULL PUSH CONNECTORS STREAM PROCESSING STATE STORES KSQL 1 2 APP

Slide 62

Slide 62 text

イベントとステート- Pull QueryとPush Query Seven Eleven payment: 500 JPY CREATE STREAM payments AS SELECT Account_id, store, amount FROM transactions EMIT CHANGES; CREATE TABLE payment_sum AS SELECT account_id, SUM (amount) FROM transactions GROUP BY account_id TUMBLING WINDOW (1 DAY) EMIT CHANGES; Yoshinoya payment: 800 JPY AEON payment: 2,400 JPY hashi: 3700 JPY PULL hashi: Seven Eleven, 500 JPY hashi: Yoshinoya, 800 JPY hashi: AEON, 2400 JPY PUSH hashi: 500 JPY hashi: 1300 JPY hashi: 3700 JPY PUSH

Slide 63

Slide 63 text

-- pq1 CREATE STREAM high_readings AS SELECT sensor, reading, UCASE(location) AS location FROM readings WHERE reading > 41 EMIT CHANGES;

Slide 64

Slide 64 text

ハンズオンのご案内

Slide 65

Slide 65 text

10/29(土) 15時からハンズオンを行います！ご不明なことがありましたら OSPNのSlackで清水宛にDMください

Slide 66

Slide 66 text

日本のコミュニティのご紹介

Slide 67

Slide 67 text

ありがとうございました! Confluent: confluent.cloud Developer Site: https://developer.confluent.io/

Slide 68

Slide 68 text

No content