Logfile Analyse im Praxis-Betrieb

Praxis-Erfahrungen mit dem ELK-Stack. Vortrag gehalten von Sascha Brechmann

Transcript

1. 15.-16.05-2014 Monitoring Workshop 2014 © Sascha Brechmann Logfile Analyse im Praxis-Betrieb Speakers Corner: Logfile Analyse im Praxis-Betrieb Praxis-Erfahrungen mit dem ELK - Stack
2. 15.-16.05-2014 Monitoring Workshop 2014 © Sascha Brechmann Logfile Analyse im Praxis-Betrieb Vita: Sascha Brechmann • Linux-User seit Debian „Bo/Hamm“ • Nagios-User seit 2005 • Puppet-User seit 2010 • Check_MK User seit 2010/2011 • Logstash-User seit 2014
3. 15.-16.05-2014 Monitoring Workshop 2014 © Sascha Brechmann Logfile Analyse im Praxis-Betrieb Logstash-Umgebung: ELK-Stack • Eine VM mit 4 vCores und 6GB vRAM • Hier laufen: – Redis (Broker) – 1x Logstash Indexer (Grok/Filter; Mutate/Change; geoip) – 1x Elasticsearch – ESHQ (ES Management) – Kibana – NGINX (HTACCESS + Rev.Proxy + SSL)
4. 15.-16.05-2014 Monitoring Workshop 2014 © Sascha Brechmann Logfile Analyse im Praxis-Betrieb Logstash-Umgebung: ELK-Stack • Eine VM mit 4 vCores und 6GB vRAM • Hier laufen: – Redis (Broker) – 1x Logstash Indexer (Grok/Filter; Mutate/Change; geoip) – 1x Elasticsearch – ESHQ (ES Management) – Kibana – NGINX (HTACCESS + Rev.Proxy + SSL)
5. 15.-16.05-2014 Monitoring Workshop 2014 © Sascha Brechmann Logfile Analyse im Praxis-Betrieb Logstash-Umgebung: Hosts • N Webserver VMs • Hier lauft: – Apache Webeserver – Logstash Shipper dieses sendet an den Broker (redis) zur Weiterverarbeitung.
6. 15.-16.05-2014 Monitoring Workshop 2014 © Sascha Brechmann Logfile Analyse im Praxis-Betrieb Übersicht:
7. 15.-16.05-2014 Monitoring Workshop 2014 © Sascha Brechmann Logfile Analyse im Praxis-Betrieb Logshipper und Alternativen In virtuellen Umgebungen kann Entropie eine knappe Resource sein. Daher sollte Überlegt werden ob die Übertragung zwischen Shipper und Broker/Indexer unverschlüsselt erfolgen kann. • Logshipper oder alternative Logshipper: – Lumberjack/Logforwarder (Verschlüsselungs-Problematik) – Beaver (keine nativen RPM, grössere Python Abhängigkeiten) – Woodchuck (keine nativen RPM, Ruby Abhängigkeiten) – Logtail (perl, verursachte Probleme) – Awesant (Perl, cool und gerade im Test)
8. 15.-16.05-2014 Monitoring Workshop 2014 © Sascha Brechmann Logfile Analyse im Praxis-Betrieb „End-User“ Erfahrungen • Erwartungen erfragen und Dashboards bauen, welche eine Aufgabe anzeigen. – Versucht nicht mehrere Anforderungen in einem Dashboard zu verarbeiten. Das überfordert die User am Anfang. • Schulung: Nur weil ein Dashboard selbst erklärend sein sollte, ist das nicht auch für den „End-User“ so. • Wenn der User eingearbeitet ist, werden die von alleine Neugierig und fangen an zu basteln. • Denkt an die Backups der Dashboards, wenn die User anfangen zu basteln, machen sie die Dashboards kaputt.
9. 15.-16.05-2014 Monitoring Workshop 2014 © Sascha Brechmann Logfile Analyse im Praxis-Betrieb Logstash/Kibana als Ersatz zur Website-Analyse (AWStat) • Wir befinden uns gerade in der Entwicklungsphase, um ES/Kibana Anfragen so aufzubereiten, dass AWStat ähnliche Anfragen möglich sind. – Pageimpressions – Visits, unique visitors – Most viewed pages – Most viewed file types – Top10 – GeoIP overview
10. 15.-16.05-2014 Monitoring Workshop 2014 © Sascha Brechmann Logfile Analyse im Praxis-Betrieb Installation des ELK Stack via Puppet • Es gibt eine Elk-Stack Repo für CentOS/RH oder Debian/Ubuntu. – Download: http://www.elasticsearch.org/overview/elkdownloads • #puppet module install logstash elasticsearch – Config + HowTo: http://forge.puppetlabs.com/elasticsearch
11. 15.-16.05-2014 Monitoring Workshop 2014 © Sascha Brechmann Logfile Analyse im Praxis-Betrieb 11 / 11 Fragen ???