qaware.de Observability: Der Schlüssel für Threat Detection, Mitigation und Analyse Mario-Leander Reimer mario-leander.reimer@qaware.de @LeanderReimer

2 Mario-Leander Reimer Principal Software Architect @LeanderReimer #cloudnativenerd #qaware #gernperDude

Überwacht ihr eure IT Systeme oder Apps auf ungewöhnliches Verhalten oder Security Alerts? ⓘ Start presenting to display the poll results on this slide.

War in den letzten 12 Monaten ein Cyber-Angriff auf eure IT-Systeme oder Apps erfolgreich? ⓘ Start presenting to display the poll results on this slide.

QAware | 5 Bild von Gerd Altmann auf Pixabay

Observability die Fähigkeit, die aktuellen Zustände eines Systems rein durch Informationen aus Ausgabedaten, also Sensordaten, zu messen und bewerten zu können

Observability ist nicht nur wichtig für den zuverlässigen und effizienten Betrieb, sondern auch den sicheren Betrieb. QAware | 7 Software Product Quality (ISO 25010) ● Modularity ● Reusability ● Analysability ● Modifiability ● Testability Maintainability ● Confidentiality ● Integrity ● Non-repudiation ● Authenticity ● Accountability Security ● Adaptability ● Installability ● Replaceability Portability ● Co-existence ● Interoperability Compatibility ● Maturity ● Availability ● Fault Tolerance ● Recoverability Reliability ● Time Behaviour ● Resource Utilization ● Capacity Efficiency ● Completeness ● Correctness ● Appropriateness Functional Suitability ● Operability ● Learnability ● UI Aesthetics ● Accessibility Usability

Die 3 Säulen guter Observability: Logs, Metriken, Traces. QAware | 8 ■ Logs: textuelle Aufzeichnung eines Events das zu einem Zeitpunkt stattgefunden hat – Debug Logs, Access Logs, Audit Logs, Transaction Logs, … – Beinhaltet einen Zeitstempel und eine Payload die zusätzlichen Kontext liefert – Zahlreiche Formate: unstrukturiert, strukturiert, binär ■ Metriken: ein einfacher Zahlenwert der über ein Zeitintervall gemessen wird – kann weitere Attribute wie einen Zeitstempel, Einheit, Name und KPIs enthalten – Counter, Gauge, Meter, Histogram oder Timer – Metriken sind strukturiert und häufig hierarchisch ■ Traces: zeigen den vollständigen Weg einer Anfrage durch ein verteiltes System – jede Operation (ein "Span") hat eine ID, Namen, Dauer und zusätzliche relevante Attribute Wichtig: Logs, Metriken und Traces müssen miteinander in Beziehung gesetzt werden um Probleme im Betrieb ganzheitlich analysieren zu können.

Kernfunktionen moderner Observability Implementierungen QAware | 9 ■ Instrumentation: Messwerkzeuge die Telemetriedaten von Knoten, Containern, Services und Anwendungen des Systems erfassen. Idealerweise Transparent innerhalb der Infrastruktur ■ Data Collection: sammeln, korrelieren, verarbeiten und speichern der Telemetriedaten. Ermöglicht den schnellen Zugriff und die Suche für spätere Analysen ■ Reporting: Aufbereitung und Anzeige der verarbeiteten und korrelierten Telemetriedaten und Zeitreihen auf Dashboards ■ Alerting: automatisches Alerting und triggern von Incident Responses (PagerDuty, ITSM, Slack) basierend auf definierten Regeln. ■ Anomaly Detection: der Einsatz von Machine Learning Modellen ermöglicht die automatische Priorisierung und Erkennung von (unbekannten) Problemen um das Alerting und den Incident Response zu beschleunigen

CNCF Observability and Analysis - Logging QAware | 10 https://landscape.cncf.io/card-mode?category=observability-and-analysis&grouping=category Logging Collector / Unified Logging Layer Log Aggregation System Das L im ELK Stack. Erfassen, Parsen und Anreichern von Logs

Structured Logging. Behandle deine Log Events als Daten anstatt Plain Text. QAware | 11 ■ Was ist falsch an unstrukturierten Plain Text Logs? – Viele unterschiedliche Formate. Parsen und Suchen ist mühsam, aufwändig und langsam. – Wichtige Kontextinformationen sind Teil vom Text oder fehlen ganz. ■ Strukturierte Logs haben viele Vorteile. – Easy Parsing. Damit einfache Weiterverarbeitung für BI und Analytics. – Detailed Context. Unterstützung für zusätzliche Metadaten und Kontext Attribute – Easy Search. Indizierung und Suche auf strukturierten Daten und Attributen. – Easy Readability. Nicht nur für Maschinen, auch Admins und Devs können unter Einsatz der richtigen Tools strukturierte Logs "lesen". – Easy Transformation. Anonymisierung, Maskierung und Filterung von sensiblen Daten und Attributen ist schnell und einfach umgesetzt (z.B. mit FluentD) – Gute Unterstützung für Structured Logs in allen gängigen Frameworks und Technologien – Üblicherweise als JSON (manchmal auch sowas wie Protobuf oder Avro)

CNCF Observability and Analysis - Monitoring QAware | 12

Technische Metriken sind gut. Fachliche Metriken sind besser, besonders zur Erkennung von Angriffen. QAware | 13 ■ Technische Metriken können ohne großen Aufwand von vielen Frameworks und Technologien automatisch per Konfiguration exponiert werden. ■ Zur Bewertung ob ein Angriff oder eine abnormale Systemnutzung vorliegt braucht es jedoch häufig zusätzliche fachliche Metriken, spezifisch für das jeweilige System. ■ Standard APIs ermöglichen solche fachlichen Metriken sehr einfach zusätzlich zu exponieren. ■ Der Fachbereich oder PO kennen die “normalen” Nutzer am besten. Fachlichen Metriken geben zusätzlich Aufschluss über die Nutzung und Akzeptanz einer Anwendung. – Fachliche Transaktionen pro Tag / Stunde – Suchanfragen pro Nutzer pro Session – Anzahl fehlgeschlagener Loginversuche – ... et al.

CNCF Observability and Analysis - Tracing QAware | 14 https://landscape.cncf.io/card-mode?category=observability-and-analysis&grouping=category Wird ersetzt durch OpenTelemetry Easy-to-use Distributed Tracing Backend Die Mutter aller Distributed Tracing Systems (created by Twitter) Standard, APIs und SDKs für Telemetry Daten (Logs, Metriken, Traces) Distributed Tracing Backend

Grafana based Observability Stack Architecture QAware | 15 Ping Service Pong Service HTTP GET Traces Traces Metrics

lreimer/observability-devsec22 lreimer/observability-spring-boot

qaware.de QAware GmbH Aschauer Straße 32 81549 München Tel. +49 89 232315-0 info@qaware.de twitter.com/qaware linkedin.com/company/qaware-gmbh xing.com/companies/qawaregmbh slideshare.net/qaware github.com/qaware