Apache Kafkaとストリーム処理/Reactive Streams

by Tomoyoshi Ogura

Slide 1

Slide 1 text

Apache Kafkaとストリーム処理 Tomoyoshi Ogura 2018/05/26 JJUG CCC 2018 Spring

Slide 2

Slide 2 text

© ChatWork ● 小椋友芳 ● ChatWork株式会社コアテクノロジー開発室所属 ○ ソフトウェアエンジニア ○ サーバーサイド開発 ● Java、Scala、Akka、Golang、DDD、Kafka ○ JavaはJDK 1.2から使ってます ○ Kafkaは2016年からプロダクトで利用 ● twitter: @tomoyoshi_ogura ● github: tarugo07 自己紹介 JJUG CCC 2018 Spring

Slide 3

Slide 3 text

© ChatWork ● 業務の効率化と会社の成長を目的としたビジネスコミュニケーションツールを開発、運営 ● 導入企業社数: 17万4000社以上（2018年4月末日時点） ● ビジョン：世界の働き方を変える ● Scala、PHP、Swift、Kotlin等で開発 ● エンジニア募集中です ○ Scalaで開発したいJavaエンジニアの方 ○ https://corp.chatwork.com/ja/recruit/ 会社紹介 JJUG CCC 2018 Spring

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

© ChatWork Apache Kafkaとは ● 2011年にLinkedInが公開した分散メッセージングシステム ● 大量のデータを高速に収集してリアルタイムに処理する ● Pull型(Publish-Subscribeモデル)を採用しているのでスループットの調整ができる ● ダウンタイムなしにスケールすることができる ● クラスタ化により耐障害性や高可用性を実現している ● ディスクに永続化することで長時間データを保持できる ● メッセージの到達保証があるのでデータを失い難い JJUG CCC 2018 Spring

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

© ChatWork ● ノンブロッキングなバックプレッシャーを持つ非同期ストリーム処理の標準仕様 ○ Reactive Streams ● Java 9で標準化されてインターフェースが追加 ○ JEP 266: More Concurrency Updates ○ java.util.concurrent.Flow ● 主な実装 ○ Akka Streams ○ Ratpack ○ Reactor ○ RxJava Reactive Streams JJUG CCC 2018 Spring

Slide 10

Slide 10 text

© ChatWork ● Alpakka Kafka Connector ○ Apache KafkaをAkka Streamsに接続するためのコネクタ ○ Akka Streamsのコネクタを提供するプロジェクトであるAlpakkaで提供 ○ Akka Streamsからの利用が前提になっているので実装が簡単にできるこのセッションではJavaでのAkka Streamsを使ったプログラムの方法とAlpakka Kafka Connector をAkka Streamsで利用する方法を説明します。 KafkaでReactive Streams JJUG CCC 2018 Spring

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

© ChatWork ● デフォルトではストリーム処理中に例外が発生すると停止する ● スーパーバイザー戦略を指定することで動作を変更することができる ● 指定できる戦略 ○ Stop：失敗としてストリーム処理を停止する（デフォルト） ○ Resume：問題の要素を捨ててストリーム処理を続行する ○ Restart：問題の要素を捨てて処理ステージを再起動する（処理ステージの状態は破棄） ● スーパーバイザー戦略を指定する方法 ○ マテリアライザーに指定 ○ 処理ステージに指定 ○ スーパーバイザー戦略の判定順位は処理ステージが優先されるエラー処理 JJUG CCC 2018 Spring

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

© ChatWork ● Akka Streamsの処理ステージをテストする方法は色々ある ○ akka-testkitモジュールのTestProbeを利用 ○ akka-stream-testkitモジュールのテスト用のSourceやSinkを利用 ● どの方法でもSource、Sink、Flowといった処理ステージを別々に保持しておくことが重要 Akka Streamsのテスト JJUG CCC 2018 Spring

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Slide 38

Slide 38 text

Slide 39

Slide 39 text

Slide 40

Slide 40 text

Slide 41

Slide 41 text

Slide 42

Slide 42 text

Slide 43

Slide 43 text

Slide 44

Slide 44 text

© ChatWork ● Akka Streamの処理ステージとしてKafkaにアクセスするためのライブラリ ○ Producer、Concumerの両方を処理ステージに組み込める ● Akka Streamsのコネクタを提供するプロジェクトであるAlpakkaのコンポーネントの１つ ○ 以前はAkka Streams KafkaやReactive Kafkaとよばれていた Alpakka Kafka Connector JJUG CCC 2018 Spring

Slide 45

Slide 45 text

Slide 46

Slide 46 text

Slide 47

Slide 47 text

Slide 48

Slide 48 text

Slide 49

Slide 49 text

Slide 50

Slide 50 text

Slide 51

Slide 51 text

© ChatWork メッセージ保証とConsumerでの処理方法 ● At Most Once ○ 重複はないがロストする可能性がある ○ メッセージを受け取りoffsetをcommitしてから処理を実行 ● At Least Once ○ 必ず一回処理されるが重複する可能性がある ○ メッセージを受け取って処理を実行してからoffsetをcommit ● Exactly Once ○ 正確に一回処理され重複もロストもない ○ メッセージの処理とoffsetのcommitを同時に行う ○ offsetを外部ストレージに保存しないと難しい Consumerのメッセージ保証について JJUG CCC 2018 Spring

Slide 52

Slide 52 text

Slide 53

Slide 53 text

Slide 54

Slide 54 text

Slide 55

Slide 55 text

© ChatWork ● 大量のデータをリアルタイムに処理するにはストリーム処理が大事です ● Reactive Streamsに準拠した実装ならマシンの性能を最大限に活かせる ● Akka Streamsは処理ステージを細かく分けて実装できるので見通しが良くなる ● Alpakka Kafka ConnectorでKafkaの処理をReactive Streamsとして扱うことができますまとめ JJUG CCC 2018 Spring

Slide 56

Slide 56 text