Slide 1

Slide 1 text

qaware.de Observability: Der Schlüssel für Threat Detection, Mitigation und Analyse Mario-Leander Reimer [email protected] @LeanderReimer

Slide 2

Slide 2 text

2 Mario-Leander Reimer Principal Software Architect @LeanderReimer #cloudnativenerd #qaware #gernperDude

Slide 3

Slide 3 text

Überwacht ihr eure IT Systeme oder Apps auf ungewöhnliches Verhalten oder Security Alerts? ⓘ Start presenting to display the poll results on this slide.

Slide 4

Slide 4 text

War in den letzten 12 Monaten ein Cyber-Angriff auf eure IT-Systeme oder Apps erfolgreich? ⓘ Start presenting to display the poll results on this slide.

Slide 5

Slide 5 text

QAware | 5 Bild von Gerd Altmann auf Pixabay

Slide 6

Slide 6 text

Observability die Fähigkeit, die aktuellen Zustände eines Systems rein durch Informationen aus Ausgabedaten, also Sensordaten, zu messen und bewerten zu können

Slide 7

Slide 7 text

Observability ist nicht nur wichtig für den zuverlässigen und effizienten Betrieb, sondern auch den sicheren Betrieb. QAware | 7 Software Product Quality (ISO 25010) ● Modularity ● Reusability ● Analysability ● Modifiability ● Testability Maintainability ● Confidentiality ● Integrity ● Non-repudiation ● Authenticity ● Accountability Security ● Adaptability ● Installability ● Replaceability Portability ● Co-existence ● Interoperability Compatibility ● Maturity ● Availability ● Fault Tolerance ● Recoverability Reliability ● Time Behaviour ● Resource Utilization ● Capacity Efficiency ● Completeness ● Correctness ● Appropriateness Functional Suitability ● Operability ● Learnability ● UI Aesthetics ● Accessibility Usability

Slide 8

Slide 8 text

Die 3 Säulen guter Observability: Logs, Metriken, Traces. QAware | 8 ■ Logs: textuelle Aufzeichnung eines Events das zu einem Zeitpunkt stattgefunden hat – Debug Logs, Access Logs, Audit Logs, Transaction Logs, … – Beinhaltet einen Zeitstempel und eine Payload die zusätzlichen Kontext liefert – Zahlreiche Formate: unstrukturiert, strukturiert, binär ■ Metriken: ein einfacher Zahlenwert der über ein Zeitintervall gemessen wird – kann weitere Attribute wie einen Zeitstempel, Einheit, Name und KPIs enthalten – Counter, Gauge, Meter, Histogram oder Timer – Metriken sind strukturiert und häufig hierarchisch ■ Traces: zeigen den vollständigen Weg einer Anfrage durch ein verteiltes System – jede Operation (ein "Span") hat eine ID, Namen, Dauer und zusätzliche relevante Attribute Wichtig: Logs, Metriken und Traces müssen miteinander in Beziehung gesetzt werden um Probleme im Betrieb ganzheitlich analysieren zu können.

Slide 9

Slide 9 text

Kernfunktionen moderner Observability Implementierungen QAware | 9 ■ Instrumentation: Messwerkzeuge die Telemetriedaten von Knoten, Containern, Services und Anwendungen des Systems erfassen. Idealerweise Transparent innerhalb der Infrastruktur ■ Data Collection: sammeln, korrelieren, verarbeiten und speichern der Telemetriedaten. Ermöglicht den schnellen Zugriff und die Suche für spätere Analysen ■ Reporting: Aufbereitung und Anzeige der verarbeiteten und korrelierten Telemetriedaten und Zeitreihen auf Dashboards ■ Alerting: automatisches Alerting und triggern von Incident Responses (PagerDuty, ITSM, Slack) basierend auf definierten Regeln. ■ Anomaly Detection: der Einsatz von Machine Learning Modellen ermöglicht die automatische Priorisierung und Erkennung von (unbekannten) Problemen um das Alerting und den Incident Response zu beschleunigen

Slide 10

Slide 10 text

CNCF Observability and Analysis - Logging QAware | 10 https://landscape.cncf.io/card-mode?category=observability-and-analysis&grouping=category Logging Collector / Unified Logging Layer Log Aggregation System Das L im ELK Stack. Erfassen, Parsen und Anreichern von Logs

Slide 11

Slide 11 text

Structured Logging. Behandle deine Log Events als Daten anstatt Plain Text. QAware | 11 ■ Was ist falsch an unstrukturierten Plain Text Logs? – Viele unterschiedliche Formate. Parsen und Suchen ist mühsam, aufwändig und langsam. – Wichtige Kontextinformationen sind Teil vom Text oder fehlen ganz. ■ Strukturierte Logs haben viele Vorteile. – Easy Parsing. Damit einfache Weiterverarbeitung für BI und Analytics. – Detailed Context. Unterstützung für zusätzliche Metadaten und Kontext Attribute – Easy Search. Indizierung und Suche auf strukturierten Daten und Attributen. – Easy Readability. Nicht nur für Maschinen, auch Admins und Devs können unter Einsatz der richtigen Tools strukturierte Logs "lesen". – Easy Transformation. Anonymisierung, Maskierung und Filterung von sensiblen Daten und Attributen ist schnell und einfach umgesetzt (z.B. mit FluentD) – Gute Unterstützung für Structured Logs in allen gängigen Frameworks und Technologien – Üblicherweise als JSON (manchmal auch sowas wie Protobuf oder Avro)

Slide 12

Slide 12 text

CNCF Observability and Analysis - Monitoring QAware | 12

Slide 13

Slide 13 text

Technische Metriken sind gut. Fachliche Metriken sind besser, besonders zur Erkennung von Angriffen. QAware | 13 ■ Technische Metriken können ohne großen Aufwand von vielen Frameworks und Technologien automatisch per Konfiguration exponiert werden. ■ Zur Bewertung ob ein Angriff oder eine abnormale Systemnutzung vorliegt braucht es jedoch häufig zusätzliche fachliche Metriken, spezifisch für das jeweilige System. ■ Standard APIs ermöglichen solche fachlichen Metriken sehr einfach zusätzlich zu exponieren. ■ Der Fachbereich oder PO kennen die “normalen” Nutzer am besten. Fachlichen Metriken geben zusätzlich Aufschluss über die Nutzung und Akzeptanz einer Anwendung. – Fachliche Transaktionen pro Tag / Stunde – Suchanfragen pro Nutzer pro Session – Anzahl fehlgeschlagener Loginversuche – ... et al.

Slide 14

Slide 14 text

CNCF Observability and Analysis - Tracing QAware | 14 https://landscape.cncf.io/card-mode?category=observability-and-analysis&grouping=category Wird ersetzt durch OpenTelemetry Easy-to-use Distributed Tracing Backend Die Mutter aller Distributed Tracing Systems (created by Twitter) Standard, APIs und SDKs für Telemetry Daten (Logs, Metriken, Traces) Distributed Tracing Backend

Slide 15

Slide 15 text

Grafana based Observability Stack Architecture QAware | 15 Ping Service Pong Service HTTP GET Traces Traces Metrics

Slide 16

Slide 16 text

lreimer/observability-devsec22 lreimer/observability-spring-boot

Slide 17

Slide 17 text

qaware.de QAware GmbH Aschauer Straße 32 81549 München Tel. +49 89 232315-0 [email protected] twitter.com/qaware linkedin.com/company/qaware-gmbh xing.com/companies/qawaregmbh slideshare.net/qaware github.com/qaware