ELK Stack - Bessere Entscheidungen durch bessere Daten

ELK Stack - Bessere Entscheidungen durch bessere Daten

Presented at the OOP Konferenz 2015. Slides auf Deutsch.

Um bestmögliche Entscheidungen zu treffen, unabhängig davon, ob auf Business- oder technischer Ebene, gilt es, diese auf einer möglichst guten Datenbasis mit einer hohen Datenqualität zu treffen. Dass diese Datenbasis jedoch auch kontinuierlich gepflegt, verbessert und angereichert werden muss, wird in Unternehmen schnell vergessen. Dieser Vortrag liefert einen Einblick in den ELK Stack (Elasticsearch, Logstash & Kibana) und zeigt anhand unterschiedlicher Anwendungsbeispiele, wie dieser Prozess automatisiert werden kann.

098332e9d988080a9057816f84d668f7?s=128

Elasticsearch Inc

January 29, 2015
Tweet

Transcript

  1. 4.

    ... Elasticsearch 2012 gegründet Büros in Mountain View, Amsterdam, London,

    Berlin, Phoenix VC von Benchmark, Index Ventures & NEA Trainings, Development/Production Support Produkte: Elasticsearch, Logstash, Kibana, Marvel, Shield Über...
  2. 5.

    ... Elasticsearch 2012 gegründet Büros in Mountain View, Amsterdam, London,

    Berlin, Phoenix VC von Benchmark, Index Ventures & NEA Trainings, Development/Production Support Produkte: Elasticsearch, Logstash, Kibana, Marvel, Shield ... mich seit Anfang 2013 bei Elasticsearch interessiert an Skalierung & Concurrency Core/Shield Entwickler, Blogger, Trainer, Supporter, Speaker Über...
  3. 8.

    über Systeme Daten sind verteilt     

        Webserver Application Server Database
  4. 9.

    über Abteilungen Daten sind verteilt     

        Buchhaltung Research & Development Marketing
  5. 10.

    Silos Daten sind verteilt      

       Buchhaltung Research & Development Marketing
  6. 11.

    Keine Kommunikation Daten sind verteilt     

        Buchhaltung Research & Development Marketing ◦ ◦
  7. 12.

    Keine Korrelation Daten sind verteilt     

        Buchhaltung Research & Development Marketing ◦ ◦
  8. 16.

    Information Anreicherung Daten ändern ihren Wert # Reaktion $ %

    Optimieren für Extraktion Speicheroptimierung zweirangig!
  9. 21.
  10. 26.
  11. 27.

    Events and Logs verwalten Daten sammeln Daten auswerten Daten anreichern

    Daten speichern Open Source: Apache License 2.0 Logstash
  12. 29.

    Output Filter Inputs ) Input * + Lesen des Ereignisses

    datastore, stream, log files, files, monitoring, queues, network
  13. 31.

    Output Filter Output ) Input * + Schreiben des Ereignisses

    datastore, files, email, pager, monitoring, chat, API, queues
  14. 34.

    Output Filter Beispiel: GeoIP Filter ) Input * + Bearbeiten

    des Ereignisses grok, date, useragent, geoip
  15. 36.

    Output Filter Beispiel: GeoIP Filter ) Input , + ip:

    141.1.1.1 city: Munich country: GER
  16. 51.
  17. 56.
  18. 57.
  19. 58.
  20. 59.
  21. 60.
  22. 61.
  23. 62.
  24. 64.

    Ophan: In-house analytics software Empower the organization Give the entire

    organization real-time insight into audience engagement Democratize analytics access for more than 500 users Encourage a culture of exploration and innovation for all employees Leverage real-time analytics Easily query 360 million documents See traffic for all content as it happens Gain insight into how updates impact site traffic http://www.elasticsearch.com/case-study/guardian/ Case study: The Guardian
  25. 70.

    Beispiel: Logstash Konfiguration input { stdin {} } filter {

    grok { match => { "message" => "%{COMBINEDAPACHELOG}" } } date { match => [ "timestamp", "dd/MMM/YYYY:HH:mm:ss Z" ] } geoip { source => “clientip" } useragent { source => "agent" target => "useragent" } } output { elasticsearch { protocol => "http" host => "localhost" } }
  26. 71.

    Beispiel: Logstash Konfiguration input { stdin {} } filter {

    grok { match => { "message" => "%{COMBINEDAPACHELOG}" } } date { match => [ "timestamp", "dd/MMM/YYYY:HH:mm:ss Z" ] } geoip { source => “clientip" } useragent { source => "agent" target => "useragent" } } output { elasticsearch { protocol => "http" host => "localhost" } } cat access.log | logstash agent -f logstash.conf
  27. 72.

    Alle Reservierungen werden an einen HTTP Stream gesendet Jede Zeile

    ist ein eigenes JSON Dokument (= Event) http://stream.meetup.com/2/rsvps meetup.com RSVP stream
  28. 73.

    All RSVPs are written out to a stream Each line

    is a JSON document Available at http:// stream.meetup.com/2/rsvps meetup.com RSVP stream
  29. 80.

    Elasticsearch, Logstash & Kibana herunterladen & anfangen Einfach loslegen! #

    elasticsearch-1.4.2/bin/elasticsearch # kibana-4.0.0/bin/kibana # logstash-1.5.0/bin/logstash agent -f logstash.conf # open localhost:5601
  30. 81.
  31. 83.