Quarkusで作るInteractive Stream Application

JJUG CCC Fall 2025の登壇資料です。
QuarkusとKafka Streamsを組み合わせる活用法の解説と事例の紹介です。

Transcript

1. Quarkusで作るInteractive Stream Application joker1007 (Repro株式会社) JJUG CCC Fall 2025 1
2. 自己紹介 橋立友宏 (@joker1007) Repro株式会社 チーフアーキテクト 元々はRailsエンジニアだったが、最近は Javaばかり書いている 日本酒とクラフトビールが好き 2
3. Asakusaから来ました 活動中のRubyコミュニティで日本最古 (自分は本当に浅草に住んでます) 3
4. 最近の仕事 チーフアーキテクトとして、サービス全体の中長期的な技術選定、設計アドバイス、全体アー キテクチャのデザインなどをしている。 4
5. Reproの事業 マーケティングオートメーションサービスを提供している。 マーケティングオートメーションとは、 ユーザーの行動を分析・分類し 複数のチャネルで適切なキャンペーンを配信することで 顧客とエンドユーザーのコミュニケーションを支援する SaaS事業だけでなく、サービスグロースの総合的な支援も提供しています。 (この辺まで前回のJJUG CCCの資料の流用) 5
6. ReproではKafkaを積極的に活用しています 6
7. 前回のJJUG CCCではKafka Streamsの実践的な開発 テクニックについて話しました 7
8. Streaming Applicationの基本 Fire and Forget 出来る限り後続の処理にはタッチしない CQRS 結果が欲しい場合は読み取り用のDBを経由して疎結合に保つ。 しかし、書き込み完了までのインターバルやpollingのオーバーヘッドなどが発生する。 8
9. RDBやKVSだけでは扱いにくいデータやサービスも存 在する Sketch (確率的データ構造) CRDT (Conflict-free Replicated Data Type) Apache Arrowの様なオンメモリ向けデータ構造 Database側で独自の拡張を持っているケースはあるが用途に合うかはケースバイケース。 9
10. 大量のデータを処理しつつ、そういったデータ構造を 活用したマイクロサービスを実装したい、そういう時 がありますよね？ (あんま無いかも……？) 10
11. Stream Application + Interactive クエリリクエストが可能なStream Applicationという選択肢 11
12. Kafka Streamsの Interactive Queries Kafka Streamsの各ノードが保持する StateStoreに対してクエリを可能にする機 能。 StateStoreは集計などの状態を伴うアプリケ ーションを構築する時に必要で、各ノードの ローカルディスク上に保持される。 画像出典: https://kafka.apache.org/10/documentation/streams/developer- guide/interactive-queries.html 12
13. サンプルコード (from Official Document) Properties props = new Properties(); String rpcEndpoint = "host1:4460"; props.put(StreamsConfig.APPLICATION_SERVER_CONFIG, rpcEndpoint); // rpcのエンドポイントをconfigに登録する // ... further settings may follow here ... StreamsConfig config = new StreamsConfig(props); StreamsBuilder builder = new StreamsBuilder(); KStream<String, String> textLines = builder.stream(stringSerde, stringSerde, "word-count-input"); // ... 省略 ... KafkaStreams streams = new KafkaStreams(builder, streamsConfiguration); streams.start(); // Kafka Streamsと一緒にRPCサービスも起動する MyRPCService rpcService = ...; rpcService.listenAt(rpcEndpoint); 13
14. データ読み出しのサンプルコード KafkaStreams streams = ... // Get the key-value store CountsKeyValueStore ReadOnlyKeyValueStore<String, Long> keyValueStore = streams.store("CountsKeyValueStore", QueryableStoreTypes.keyValueStore()); // Get value by key System.out.println("count for hello:" + keyValueStore.get("hello")); // Get the values for a range of keys available in this application instance KeyValueIterator<String, Long> range = keyValueStore.range("all", "streams"); while (range.hasNext()) { KeyValue<String, Long> next = range.next(); System.out.println("count for " + next.key + ": " + next.value); } 14
15. リモートノードに対してリクエストするサンプルコー ド KafkaStreams streams = ...; // Find all the locations of local instances of the state store named "word-count" Collection<StreamsMetadata> wordCountHosts = streams.allMetadataForStore("word-count"); // For illustrative purposes, we assume using an HTTP client to talk to remote app instances. HttpClient http = ...; // Get the word count for word (aka key) 'alice': Approach 1 // // We first find the one app instance that manages the count for 'alice' in its local state stores. StreamsMetadata metadata = streams.metadataForKey("word-count", "alice", Serdes.String().serializer()); // Then, we query only that single app instance for the latest count of 'alice'. // Note: The RPC URL shown below is fictitious and only serves to illustrate the idea. Ultimately, // the URL (or, in general, the method of communication) will depend on the RPC layer you opted to // implement. Again, we provide end-to-end demo applications (such as KafkaMusicExample) that showcase // how to implement such an RPC layer. Long result = http.getLong("http://" + metadata.host() + ":" + metadata.port() + "/word-count/alice"); 15
16. // Get the word count for word (aka key) 'alice': Approach 2 // // Alternatively, we could also choose (say) a brute-force approach where we query every app instance // until we find the one that happens to know about 'alice'. Optional<Long> result = streams.allMetadataForStore("word-count") .stream() .map(streamsMetadata -> { // Construct the (fictituous) full endpoint URL to query the current remote application instance String url = "http://" + streamsMetadata.host() + ":" + streamsMetadata.port() + "/word-count/alice"; // Read and return the count for 'alice', if any. return http.getLong(url); }) .filter(s -> s != null) .findFirst(); 16
17. Interactive Queriesが提供する機能とは Kafka StreamsのInteractive Queriesが提供する機能は非常にシンプル。 Streamsアプリケーションの外からReadOnlyでStateStoreの参照を取得する機能 クラスタに所属しているノードがConfigに登録したIPと公開ポートの一覧を返す あるキーでパーティショニングした結果がどのノードに現在割り当てられている かを判別し、そのIPと公開ポートを返す RPCのサービス自体は実装者が自分で選択して決めることができる。 言い換えれば、何も提供してくれないので自分で実装しなければならない。 17
18. Interactive Queriesを活用するにはKafka Streams のアプリケーション自体とRPCサービスのListenを同 時にコントロールしなければならない。 しかし、ボイラープレートの様な起動コードを書くの は割と面倒臭い。 18
19. Quarkusを利用すれば、簡単にKafka Streamsに RPCのI/Fを追加できる 19
20. Quarkusを利用するメリット 多様なプロトコルをサポートしていてシンプルな記述で構築できる REST, gRPC, WebSocket, GraphQL Kafka StreamsのExtensionが公式で用意されており、QuarkusのDIフレームワー クの上でKafka Streamsアプリケーションを動かせる Stream ApplicationとRPCサービスの起動、Listen、終了をQuarkusがコントロー ルしてくれる。 20
21. Kafka Streams Extensionの基本的な仕組み QuarkusのDIの仕組みの中でKafka Streamsオブジェクトを生成する。 @Singleton public class KafkaStreamsProducer { // ...省略... @Inject public KafkaStreamsProducer(KafkaStreamsSupport kafkaStreamsSupport, KafkaStreamsRuntimeConfig runtimeConfig, ExecutorService executorService, Instance<Topology> topology, Instance<KafkaClientSupplier> kafkaClientSupplier, @Identifier("default-kafka-broker") Instance<Map<String, Object>> defaultConfiguration, Instance<StateListener> stateListener, Instance<StateRestoreListener> globalStateRestoreListener, Instance<StreamsUncaughtExceptionHandler> uncaughtExceptionHandlerListener) { // ... 省略 ... this.executorService = executorService; this.streamsConfig = new StreamsConfig(kafkaStreamsProperties); this.kafkaStreams = initializeKafkaStreams(streamsConfig, topology.get(), kafkaClientSupplier, stateListener, globalStateRestoreListener, uncaughtExceptionHandlerListener); this.topologyManager = new KafkaStreamsTopologyManager(kafkaAdminClient, topology.get(), runtimeConfig); } 21
22. onStartupフックでアプリケーションを起動する public void onStartup(@Observes StartupEvent event, Event<KafkaStreams> kafkaStreamsEvent) { if (kafkaStreams != null) { kafkaStreamsEvent.fire(kafkaStreams); executorService.execute(() -> { try { topologyManager.waitForTopicsToBeCreated(); } catch (InterruptedException e) { Thread.currentThread().interrupt(); return; } if (!topologyManager.isClosed()) { LOGGER.debug("Starting Kafka Streams pipeline"); kafkaStreams.start(); } }); } } その他、アプリケーション操作に必要な各オブジェクトをInjectionできる様にProduceメソ ッドが定義されている。 22
23. 実際に動作するサンプルアプリケーション https://github.com/joker1007/jjug_ccc_2025_fall_sample KafkaのTextsトピックに入力された文字列を単語ごとに分割してカウントし、数が多い順に ソートした一覧を返すREST APIを提供する。 ただし、このアプリケーションは、リモートノードへのリクエストに対応していないため複数 台で動かすと正しく動かない。 先に紹介した allMetadataForStore などから取得したホスト情報を利用してRESTクライアン トを構成し、リクエストをフォワードすれば動作する仕組みを構築できる。 23
24. DEMO 24
25. Kafka Streamsアプリケーションの実装 @ApplicationScoped public class WordCountTopology { public static final String WORD_COUNT_STORE = "word-count-store"; public static final String TEXTS_TOPIC = "Texts"; @Produces public Topology buildTopology() { StreamsBuilder builder = new StreamsBuilder(); builder.stream(TEXTS_TOPIC, Consumed.with(Serdes.String(), Serdes.String())) .flatMapValues(value -> Arrays.asList(value.toLowerCase().split("\\s+"))) .groupBy((key, word) -> word, Grouped.with(Serdes.String(), Serdes.String())) .count( Materialized .<String, Long, KeyValueStore<org.apache.kafka.common.utils.Bytes, byte[]>>as( WORD_COUNT_STORE) .withKeySerde(Serdes.String()) .withValueSerde(Serdes.Long())); return builder.build(); } } 25
26. RESTエントリポイントの実装 @Path("/word-count-result") @ApplicationScoped public class WordCountResource { @Inject KafkaStreams kafkaStreams; @GET @Produces(MediaType.APPLICATION_JSON) public WordCountResult getWordCountResult() { ReadOnlyKeyValueStore<String, Long> store = kafkaStreams.store( StoreQueryParameters.fromNameAndType( WordCountTopology.WORD_COUNT_STORE, QueryableStoreTypes.keyValueStore())); List<WordCount> results = new ArrayList<>(); try (KeyValueIterator<String, Long> iterator = store.all()) { while (iterator.hasNext()) { var entry = iterator.next(); results.add(new WordCount(entry.key, entry.value)); } } results.sort(Comparator.comparing(WordCount::count).reversed()); return new WordCountResult(results); } public record WordCount(String word, Long count) {} public record WordCountResult(List<WordCount> results) {} 26
27. 実装はこれで全部！ 後はQuarkusフレームワークが面倒を見てくれる。 驚きのシンプルさ！ 27
28. Interactive Stream Applicationの活用事例 自分が在籍しているReproではどういった活用をしているのかを紹介。 28
29. Theta Sketchを利用したユニークユーザーカウント Apache DataSketcheを利用したSketch構造をオンメモリに展開しつつ、定期的にシリアラ イズしてStateStoreに格納。 Theta Sketchは集合同士のANDやORを計算できる。 GraphQLの口を生やして複数のユーザーセグメンテーション条件でのユニークユーザー数の 概算を組み合わせてクエリできる様にした。 29
30. リードタイム短縮を諦めないTemplate Rendering Server 頻繁に更新されるユーザープロフィール情報やイベント実行カウントをストリームアプリケー ション上のStateStoreに蓄積し、Template Renderingサービスの口を生やして、大量の到達 した情報を即時利用できる様になった。 各ノード上に処理結果がキャッシュされており、ネットワーク通信を減らしてレイテンシを短 く保っている。 30
31. デバッグ用途 ストリームアプリケーションは常に処理が動き続けていて、Webサービスの様なリクエストの 切れ目が無いためデバッグが難しくなりがち。 内部状態をダンプするHTTPの口を生やすことで、現在の動作状況を簡単に見れる様に。 31
32. まとめ Kafka StreamsのInteractive Queriesを利用すると、ストリームアプリケーション に対して外部からのリクエストを受け付ける仕組みを構築できる QuarkusはKafka Streamsのサポートがあり、RPCのサーバープロセスとKafka Streamsアプリケーションをまとめてコントロールしてくれる クエリ可能なストリームアプリケーションは、大量のデータ処理、短いリードタ イム、複雑なユースケースを合わせ持つ様な難しい問題に対する選択肢の一つと して利用できる 32
33. 参考資料 https://kafka.apache.org/37/documentation/streams/developer- guide/interactive-queries.html https://quarkus.io/guides/cdi https://quarkus.io/guides/cdi-reference https://quarkus.io/guides/kafka-streams 33