Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Event Streaming with Apache Kafka & MongoDB @ DACH Virtual MongoDB Community

Event Streaming with Apache Kafka & MongoDB @ DACH Virtual MongoDB Community

Kurzzusammenfassung:

Quer durch viele Branchen erleben wir seit einigen Jahren eine sehr starke Tendenz in Richtung Datenstromverarbeitung. Unternehmen wollen und müssen zum Teil ihre bestehenden Datenarchitekturen neu denken. Dies erfordet abseits traditionaller Datenbanken sowie batch-getriebener Tools einen verstärkten Einsatz modernerer Technologien, welche robuste und skalierbare Event Streaming Architekturen ermöglichen. Oftmals bildet dazu Apache Kafka das Herzstück unternehmensweiter Datenarchitekturen, jedoch benötigen die meisten praktischen Szenarien nach wie vor eine geeignete Datenbank die flexible genug ist, um der Vielfalt an geschäftsbedingten Anforderungen gerecht werden zu können und gleichzeitig zentrale Aspekte wie Hochverfügbarkeit und Skalierbarkeit abdecken kann. Dieser Kurzvortrag soll Impulsgeber sein und das Potential für echtzeitnahe Event Streaming Zwecke aufzeigen, welches aus dem Zusammenspiel des "Power-Duos" MongoDB & Apache Kafka entsteht.

Video-Aufzeichnung: https://www.youtube.com/watch?v=Og6yxehm5jU

744f1c2c6cbea2ff5104b0ac512936bd?s=128

Hans-Peter Grahsl

October 22, 2020
Tweet

Transcript

  1. Event Streaming with Apache Kafka & MongoDB

  2. Hans-Peter Grahsl • working & living in Graz • technical

    trainer @ NETCONOMY • engineer / consultant / speaker • original sink connector author • Confluent Community Catalyst @hpgrahsl | #MongoDB DACH #Community, 22nd October 2020, Virtual 2
  3. Event Streaming is on the rise... @hpgrahsl | #MongoDB DACH

    #Community, 22nd October 2020, Virtual 3
  4. Diminishing Value of Data @hpgrahsl | #MongoDB DACH #Community, 22nd

    October 2020, Virtual 4
  5. Events @hpgrahsl | #MongoDB DACH #Community, 22nd October 2020, Virtual

    5
  6. events... ...events everywhere! @hpgrahsl | #MongoDB DACH #Community, 22nd October

    2020, Virtual 6
  7. Streaming @hpgrahsl | #MongoDB DACH #Community, 22nd October 2020, Virtual

    7
  8. "... data processing that is designed with infinite data sets

    in mind." — Tyler Akidau @hpgrahsl | #MongoDB DACH #Community, 22nd October 2020, Virtual 8
  9. ‛ messaging ‛ integration ‛ processing plus storage @hpgrahsl |

    #MongoDB DACH #Community, 22nd October 2020, Virtual 9
  10. @hpgrahsl | #MongoDB DACH #Community, 22nd October 2020, Virtual 10

  11. Operational Data Store ? @hpgrahsl | #MongoDB DACH #Community, 22nd

    October 2020, Virtual 11
  12. Operational Data Store ? @hpgrahsl | #MongoDB DACH #Community, 22nd

    October 2020, Virtual 12
  13. Operational data stores provide... ‛ richer data models ‛ arbitrary

    CRUD + convenient aggregations ‛ powerful secondary indexes ‛ fast + flexible analytics ‛ direct end-user serving @hpgrahsl | #MongoDB DACH #Community, 22nd October 2020, Virtual 13
  14. Why Apache Kafka and MongoDB ? @hpgrahsl | #MongoDB DACH

    #Community, 22nd October 2020, Virtual 14
  15. Apache Kafka + MongoDB = ✓ scalability & high availability

    ✓ embrace data in motion ✓ data retention support ✓ seamless cold storage integration ✓ fully managed cloud offerings @hpgrahsl | #MongoDB DACH #Community, 22nd October 2020, Virtual 15
  16. Kafka Connectors @hpgrahsl | #MongoDB DACH #Community, 22nd October 2020,

    Virtual 16
  17. Source Connectors @hpgrahsl | #MongoDB DACH #Community, 22nd October 2020,

    Virtual 17
  18. Sink Connectors @hpgrahsl | #MongoDB DACH #Community, 22nd October 2020,

    Virtual 18
  19. @hpgrahsl | #MongoDB DACH #Community, 22nd October 2020, Virtual 19

  20. @hpgrahsl | #MongoDB DACH #Community, 22nd October 2020, Virtual 20

  21. Exemplary Use Cases @hpgrahsl | #MongoDB DACH #Community, 22nd October

    2020, Virtual 21
  22. Single Customer View @hpgrahsl | #MongoDB DACH #Community, 22nd October

    2020, Virtual 22
  23. Synchronization across Services @hpgrahsl | #MongoDB DACH #Community, 22nd October

    2020, Virtual 23
  24. Real-Time Recommendations @hpgrahsl | #MongoDB DACH #Community, 22nd October 2020,

    Virtual 24
  25. reach out to me @hpgrahsl

  26. slides are here !!! https://bit.ly/35kplwp

  27. None
  28. None