Kafkaを利用したアプリケーションでのオフセットの制御について/Kafka Offsets

Slide 1

Slide 1 text

Kafkaを利用したアプリケーションでのオフセットの制御について Tomoyoshi Ogura 2017/05/14 Scala将軍達の後の祭り2017

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

オフセットとコミット Scala将軍達の後の祭り2017 2017/05/14 © ChatWork All rights reserved. ● オフセットとはパーティション内でメッセージを一意に識別する番号 ● コンシューマはパーティションのメッセージをどこまで読み取ったかオフセットで追跡する ● オフセットは特別な__consumer_offsetsトピックで管理される ● コミットはパーティションの現在のオフセットを更新すること

Slide 6

Slide 6 text

Consumerの重要なプロパティ Scala将軍達の後の祭り2017 2017/05/14 © ChatWork All rights reserved. ● auto.offset.reset ○ オフセットがない場合の動作 ○ デフォルトはlatest ● enable.auto.commit ○ コンシューマが自動的にオフセットをコミット ● max.poll.records ○ 一回のpoll()で取得するメッセージ件数

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

commitSync() Scala将軍達の後の祭り2017 2017/05/14 © ChatWork All rights reserved. ● オフセットのコミットを明示的に制御したい場合に使用 ● auto.commit.offset = false ● メッセージの欠落を排除しリバランスでの重複メッセージの件数を減らす ● commitSync()はpoll()で取得した最新のオフセットをコミット ○ 明示的にオフセット値を指定することも可能 ● コミットに失敗すると例外

Slide 10

Slide 10 text

commitAsync() Scala将軍達の後の祭り2017 2017/05/14 © ChatWork All rights reserved. ● commitSync()の非同期版 ● auto.commit.offset = false ● poll()で取得した最新のオフセットをコミット ● ブローカーのレスポンスを待たずにコミットのリクエストを投げて終了 ● コミットのリトライをしない

Slide 11

Slide 11 text

アプリでAt Most Onceの処理をしたい Scala将軍達の後の祭り2017 2017/05/14 © ChatWork All rights reserved. ● At Most Once ○ 最高1回処理するが保証がない ● 自動コミットを利用する ○ enable.auto.commit = true ○ auto.commit.interval.msは短く設定 ● consumer.commitSync()を実行しない ● poll()でオフセットがコミットされる

Slide 12

Slide 12 text

Slide 13

Slide 13 text

アプリでExactly Onceの処理をしたい Scala将軍達の後の祭り2017 2017/05/14 © ChatWork All rights reserved. ● Exactly Once ○ 正確に一回処理する ● オフセットの管理とアプリケーションの処理を一つのアトミックなトランザクションで処理する ○ オフセットをRDBなどの外部ストレージに保存すると簡単 ● ConsumerRebalanceListerとseek()を利用 ○ auto.commit.offset = false