イベントストリーミング入門 〜Apache Kafkaを活用した大規模リアルタイムデータ処理〜

OSC 2022 Online Fallの発表資料です。初心者向けにApache Kafkaの概要を解説しています。

Transcript

1. イベントストリーミング入門 〜Apache Kafkaを活用した大規模リアルタイムデータ処理〜 Confluent Japan合同会社 シニアソリューションエンジニア 清水 亮夫
2. 2 世界は変わってきています
3. 新しいビジネスの現実 テクノロジーこそがビジネス イノベーションが必要なのは 生き残るため 昨日のデータ = 障害 モダンなリアルタイムデータ インフラストラクチャが必要 テクノロジーは サポート機能 イノベーションが必要なのは 成長のため “必要十分”なデータの鮮度は 昨日のデータ
4. 「店舗」はソフトウェアに
5. 「銀行」はソフトウェアに
6. 「タクシー」はソフトウェアに 2 min
7. 「自動車」はソフトウェアに
8. この変革を可能にするもの は何でしょうか。
9. クラウド 機械学習 モバイル Data in Motion 意思決定の再考 ユーザーエクスペ リエンスの再考 データの再考 データセンターの 再考
10. Data at RestはData in Motionに変わっていく 輸送機関 リアルタイムのセンサー 診断 運転手-乗客のマッチング 到着予想時刻のリアル タイム更新 銀行 不正使用の検出 取引・リスクの管理 モバイルアプリ / 顧客体験の向上 小売 リアルタイム在庫管理 リアルタイムPOS レポート パーソナライゼーション 娯楽 リアルタイムの リコメンデーション パーソナライズされた お薦め アプリ内決済
11. Data in Motionとは?
12. Data in Motionとは あらゆる場所から絶え間なく発生し、 常に進化するデータに対する 連続的なストリーム処理 12
13. Data in Motionは エンタープライズ企業の 中枢神経系 Apache Kafka® はそのテクノロジー
14. Data in Motionによるお客様価値 あらゆる データソースから DB、ログ、メトリクス、 モバイルアプリ、マイク ロサービス、IoTセンサー など In-Transit Processing 仕入/販売データ 在庫/流通データ トランザクション データ 顧客行動/興味 データ あらゆる データ活用先へ DB、モバイルアプリ、マ イクロサービス、APIエン ドポイント、アナリティ クス、BIツール、MLなど In-Transit ガバナンス セキュリティと一貫性のためにフ ローを一元的に管理 - アクセスコン トロール、データ保護、スキーマの 一貫性、DR、BC、など データを最適変換 データは移動中に必要に応じて形を 変えます- すべてのソースからの データは平等に扱われ、違いは Confluentによって抽象化されます 14
15. 15 Data in Motionは 消費者が日常的に 使用するアプリを 動かす基盤に不可欠な データインフラです Acme Retailerから$1000の請求がありました この取引を確認してください。 Jun Raoがアプリから100ドルを 送ってきました ご注文のドライバーが来ました 待機料金は3分後にスタートします ご注文いただいた商品がまもなく お手元に届きます
16. 16 “あなたのドライバーは何分後に到着する？” これはData in Motionなしでは実現できません 運転手評価 乗車運賃 支払い 位置情報 利用者情報 複数のリアルタイムイベントを取得 利用者の位置情報に基づき複数の車両情報を取 得して最適な車両をアサインします 過去数年のデータから同条件のみ抽出・融合 距離・都市・天候・時間帯などを組み合わせて 同条件での到着時間を抽出します 課金情報の”確実に一度だけ”の送信保証 重要なトランザクションデータをexactly once で届ける事が可能です
17. Data in Motionの興盛 2010 Apache Kafka Confluentの創業者によって Linkedinで生まれる 2014 2021 80% のFortune 100 企業がApache Kafkaを信頼し、採 用
18. 18 
 
 
 
 
 
 
 
 スマートアナリティク ス (AI/ML)
 
 
 
 
 
 
 
 
 異常検出
 アプリケーションの
 モダナイゼーション
 データ
 交換
 IT の可観測性と
 SIEM の最適化
 コンプライアンスと
 規制
 マイクロサービス/
 イベントソーシング
 ストリーミング
 ETL
 ログ
 集計
 IoT / Edge 
 アナリティクス
 サイバー
 セキュリティ
 データインフラストラクチャのユースケース ビジネスアプリケーションのユースケース データ
 パイプライン
 ハイブリッドとマルチクラ ウドの統合
 Customer
 360
 メインフレームの強化
 データウェアハウスのモ ダナイゼーション
 メッセージングの
 モダナイゼーション
 データベースの
 モダナイゼーション
 Apache Kafkaの代表的なユースケース
19. Apache Kafka® とは?
20. Apache Kafkaのコア機能 01 一連のイベントを Publish & Subscribe する 02 イベント・ストリーム を保存する 03 イベント・ストリーム を処理 & 解析する
21. “Everything is just a series of events.” - Apache Kafka
22. 「イベント」とはビジネスで起きていること 輸送機関 今岡さんの車の TPMSセンサーが午前 7時11分にタイヤの空気圧低下を検 知した Kafka 銀行 金曜日の午後3時47分に赤星さんが藤本さんに 3万円送金した Kafka 小売 金本さんが注文したデジタルカメラが午前 9時10分に配送された Kafka
23. Key Value Kafkaにおけるイベント
24. データの 書込み Kafka クラスター データの 読込み
25. Producer: 最初のクライアント ポリシー 決済処理 アプリケーション テレメトリーデータ 書込み
26. Kafka Broker: 繊細だけどパワフル ローカルストレージ リテンション時間 書込み
27. Consumer: もう一方のクライアント データレコード レポート ダッシュボード 分析 後続処理 永遠に 繰り返す ポーリング
28. 28 • 長いブロックコマンドの連鎖を 断ち切る • 同期アクションと非同期 アクションを区別する • immutableなイベントレベルの ログによるトレーサビリティの 維持 ProducerとConsumerを分離する
29. Broker
30. Brokerの基本 • ProducerはイベントをBrokerに送信 • Brokersはイベントを受信して蓄積 • Kafka Clusterは複数のBrokerを持つことが できる • それぞれのBrokerは複数のTopic、 パーティションを管理
31. Brokerのレプリケーション Topic, パーティションの 論理セット
32. Topic • 類似イベントを格納する名前付きコンテナ ◦ システムには多くのTopicが存在する ◦ Topic間でデータが重複することもできる • イベントの耐久性のあるログ ◦ 追記(Append)のみ ◦ オフセットによるシークのみ可能で、インデックス化はされない • イベントは不変 (immutable)
33. Topic • 一連の「関連した」 イベント 33 • 同じような頻度と サイズ • より洗練させられる 顧客プロファイルの更新 更新要求 課金情報の更新 claims-updates new-claims new-claims-O H
34. Topicのリテンション・ポリシー イベントをどれだけの期間保持する必要があるか ? • どれだけの期間 (デフォルト: 1週間) • Topic単位で設定 ◦ もしくはBorokerのデフォルト値を使用 • 業務要件による決定 • コスト要因 • コンプライアンス要因 (例: GDPR)
35. Topicのコンパクション
36. Topic、パーティション、セグメント
37. セグメントの中身 - ストリーム 無限に続く一連のイベント 過去 未来 現在 ストリーム イベント
38. イベントの中身
39. クライアント
40. Producerのデザイン
41. Producerの保証
42. 送達の保証
43. Javaによる基本 的なProducer
44. パーティショニングの戦略 なぜパーティショニングするのか ? • Consumerは何らかのキーで集計または結合する必要がある • Consumerは順序の保証が必要 • ストレージの効率化やインデックス作成のためのデータの集中化
45. Partition 0 Partition 1 Partition 2
46. Partition 0 Partition 1 Partition 2
47. Partition 0 Partition 1 Partition 2 1 4 7 2 5 8 3 6 9 #
48. Partition 0 Partition 1 Partition 2 1 2 3 4 5 7 6 8 9 #
49. Consumerのオフセット ここまで 読み込んだ
50. Consumerグループ 同じ グループID 自動 ロードバランス
51. Consumerの リバランス リバランス発生 リバランス発生 Consumer 追加！ Consumer 削除！
52. .NET/C#による 基本的な Consumer
53. 特別なクライアント
54. Kafka Connect 既存のシステム（データベース、オブジェクトストレージ、キューなど）とApache Kafkaを ノーコードで接続する方法です。 通常であれば、カスタム変換やデータ変換を行うためにはいくつかのコードを書く必要があり ます。Kafka Connectはすぐに利用可能なSingle Message TransformsとConvertersを提供 しています。 Kafka Connect Kafka Connect データ ソース データ シンク
55. 多くの著名なソフトウェアへのコネクターを提供 Data Diode 200+ pre-built connectors 80+ Confluent Supported 60+ Partner Supported, Confluent Verified 24 55
56. Sink Source KAFKA STREAMS KAFKA CONNECT KAFKA CONNECT Your App Kafka ConnectとKafka Streams
57. ストリーム処理のアーキテクチャをシンプルに DB CONNECTOR CONNECTOR APP APP DB STREAM PROCESSING CONNECTOR APP DB 2 3 4 現状では、3から5にわたる分散システムの構築・インテグレーション・管理が必要 1
58. Kafkaへの接続 - Data In/Out DB CONNECTOR CONNECTOR APP APP DB STREAM PROCESSING CONNECTOR APP DB
59. Stream Processing - Dataをハンドリングする DB CONNECTOR CONNECTOR APP APP DB STREAM PROCESSING CONNECTOR APP DB
60. ksqlDBとは DB APP APP DB PULL PUSH CONNECTORS STREAM PROCESSING MATERIALIZED VIEWS ksqlDB APP
61. KSQL は、イベントの取得、ストリーム処理、プッシュ／プルクエリの両方を単一のソリューション として提供します ストリーム処理のアーキテクチャをシンプルに DB APP APP DB PULL PUSH CONNECTORS STREAM PROCESSING STATE STORES KSQL 1 2 APP
62. イベントとステート- Pull QueryとPush Query Seven Eleven payment: 500 JPY CREATE STREAM payments AS SELECT Account_id, store, amount FROM transactions EMIT CHANGES; CREATE TABLE payment_sum AS SELECT account_id, SUM (amount) FROM transactions GROUP BY account_id TUMBLING WINDOW (1 DAY) EMIT CHANGES; Yoshinoya payment: 800 JPY AEON payment: 2,400 JPY hashi: 3700 JPY PULL hashi: Seven Eleven, 500 JPY hashi: Yoshinoya, 800 JPY hashi: AEON, 2400 JPY PUSH hashi: 500 JPY hashi: 1300 JPY hashi: 3700 JPY PUSH
63. -- pq1 CREATE STREAM high_readings AS SELECT sensor, reading, UCASE(location) AS location FROM readings WHERE reading > 41 EMIT CHANGES;
64. ハンズオンのご案内
65. 10/29(土) 15時からハンズオンを行います！ ご不明なことがありましたら OSPNのSlackで清水宛にDMください
66. 日本のコミュニティのご紹介
67. ありがとうございました! Confluent: confluent.cloud Developer Site: https://developer.confluent.io/