Tweet
Tweet

Slide 1

Slide 1 text

Это кто там твитит про #jbreak @gamussa

Slide 2

Slide 2 text

@ @gamussa @confluentinc Solutions Architect Developer Advocate @gamussa in internetz Ну подпишись, плиз… Ты кто такой? Давай…

Slide 3

Slide 3 text

No content

Slide 4

Slide 4 text

Маркетинг и тщеславие ©

Slide 5

Slide 5 text

@ @gamussa @confluentinc Дисклеймер 1.Это не введение в кафки 2.Это не введение stream processing 3.В это зале люди знакомы С кафкой

Slide 6

Slide 6 text

@ @gamussa @confluentinc

Slide 7

Slide 7 text

@ @gamussa @confluentinc

Slide 8

Slide 8 text

@ @gamussa @confluentinc Дисклеймер 1.Да, это маркетинг кафки 2.Да, это маркетинг stream processing

Slide 9

Slide 9 text

@ @gamussa @confluentinc Продюсеры Консьюмеры

Slide 10

Slide 10 text

@ @gamussa @confluentinc Что такое поточная обработка?

Slide 11

Slide 11 text

Это когда пьешь прям из шланга

Slide 12

Slide 12 text

Аналогия с UNIX – системами Apache Kafka Connect API Kafka Streams / KSQL Connect API $ cat < in.txt | grep “ksql” | tr a-z A-Z > out.txt

Slide 13

Slide 13 text

декларативный поточных данных язык обработки KSQL это

Slide 14

Slide 14 text

поточный для Apache Kafka SQL движок KSQL это

Slide 15

Slide 15 text

15 для начала, Базовые концепции KSQL

Slide 16

Slide 16 text

16 @gamussa @confluentinc Базовые абстракции БД - таблица Hadoop - файл Стримы -?

Slide 17

Slide 17 text

Бревно (eng. Log)

Slide 18

Slide 18 text

No content

Slide 19

Slide 19 text

19 @gamussa @confluentinc Стримы превращаются в Таблицы

Slide 20

Slide 20 text

20 @gamussa @confluentinc Таблицы превращаются в стримы

Slide 21

Slide 21 text

21 @gamussa @confluentinc Одно превращается в друое

Slide 22

Slide 22 text

22 @gamussa @confluentinc Одно превращается в друое

Slide 23

Slide 23 text

No content

Slide 24

Slide 24 text

24 СТРИМЫ «-» ТАБЛИЦЫ

Slide 25

Slide 25 text

No content

Slide 26

Slide 26 text

26

Slide 27

Slide 27 text

27 @gamussa @confluentinc Kafka Connect

Slide 28

Slide 28 text

28 Чувак, а код-то где?

Slide 29

Slide 29 text

29 Kafka Cluster JVM KSQL Server KSQL CLI #1 STAND-ALONE AKA ‘LOCAL MODE’ Как запускать?

Slide 30

Slide 30 text

30 JVM KSQL Server KSQL CLI JVM KSQL Server JVM KSQL Server Kafka Cluster #2 CLIENT-SERVER Как запускать?

Slide 31

Slide 31 text

31 Kafka Cluster JVM KSQL Server JVM KSQL Server JVM KSQL Server #3 AS A STANDALONE APPLICATION Как запускать?

Slide 32

Slide 32 text

Когда лучше не брать KSQL? BI инструменты (Tableau и проч) •Нет индексов •Нет JDBC • BI инструменты не очень хорошо дружат с потоковыми результатами Традиционный SQL с конечным результатом •Ограничение на хранение данных в Kafka •Нет индексов

Slide 33

Slide 33 text

Трейдоф • subscribe() • poll() • send() • flush() Consumer, Producer • filter() • join() • aggregate() Kafka Streams • Select…from… • Join…where… • Group by.. KSQL Гибкость Простота

Slide 34

Slide 34 text

KSQL Kafka Streams Все знают SQL Кодить код не надо! Потоковая обработка для разработчиков SQL выражения Java или Scala код Стримы и таблицы KStream и KTable Да - KSQL кластер JVM Деплоим SQL запросы Деплоим Java как jar, war, контейнеры

Slide 35

Slide 35 text

А дальше что? https://github.com/confluentinc/cp-demo http://confluent.io/ksql https://slackpass.io/confluentcommunity #ksql

Slide 36

Slide 36 text

@ @gamussa @confluentinc Приходите к нам работать! https://www.confluent.io/careers/

Slide 37

Slide 37 text

@ @gamussa @confluentinc Всем спасибо! Вопросы? @gamussa [email protected] https://www.confluent.io/careers/