FrOSCon 2016: Last- und Performancetests in der Cloud?! [DE]

Auf der FrOSCon 2016 habe ich einen Vortrag zum Thema Performancetests in der Cloud gehalten. Die Folien hier sind auf deutsch, vorgetragen habe ich aber auf Wunsch der Zuhörer auf Englisch. Das Video gibt es unter https://media.ccc.de/v/froscon2016-1754-last-_und_performancetests_in_der_cloud

Abstract:
Die Cloud ist unendlich und skalierbar. Punkt. Warum ist es dann noch wichtig, die Performance und Skalierbarkeit von Cloud-basierten Systemen zu testen? Skaliert nicht mein Anbieter mein System, solange ich mir das leisten kann? Ja, aber … Cloud-Anbieter skalieren in erster Linie Ressourcen. Sie sorgen nicht automatisch dafür, dass Anwendungen schnell, stabil und – viel wichtiger – skalierbar sind. Performancetests sind ein wichtiges Instrument, um ein System und dessen Laufzeitumgebung zu verstehen.

https://stormforger.com

Transcript

1. Last- und Performancetests in der Cloud?! Sebastian Cohnen – @tisba – FrOSCon 2016
2. ELLO! • Sebastian Cohnen (@tisba) • 7+ Jahre Beratung und Entwicklung • Fokus auf Performance und Architektur • Gründer & CTO StormForger.com
3. Performance
4. Performance • Fähigkeit eines Systems eine Aufgabe in einer definierten Dimension zu erledigen • Effizienz eines Systems
 • "1 Server schafft 250 tps mit p99 50ms"
5. Skalierbarkeit
6. ≠ Performance Skalierbarkeit
7. Skalierbarkeit • Effektivität mit der die Kapazität durch Ressourcen gesteigert werden kann
 
 
 "1 Server schafft 250 tps mit p99 50ms"
 
 und
 
 "10 Server schaffen 2500 tps mit p99 50ms"
8. Woran erkenne ich, dass ich ein Performance-Problem habe? http://www.slideshare.net/jboner/scalability-availability-stability-patterns/15-How_do_I_know_if Wenn dein System
 langsam für einen einzelnen Benutzer ist.
9. Woran erkenne ich, dass ich ein Skalierungs-Problem habe?
10. Woran erkenne ich, dass ich ein Skalierungs-Problem habe? Wenn dein System schnell für einzelne Benutzer ist, aber langsam unter Last.
11. Performance ⚡ Skalierbarkeit "Scaling usually hurts efficiency…" 
 "…Efficiency projects rarely give you enough improvement to have a big effect on scaling." https://www.facebook.com/note.php?note_id=409881258919 – Robert Johnson
12. Performance Testing
13. –Wikipedia "In software engineering, performance testing is in general, a testing practice performed to determine how a system performs
 in terms of responsiveness and stability under a particular workload." https://en.wikipedia.org/wiki/Software_performance_testing
14. Performance Tests • System anregen mit einer definierten Last • Verhalten beobachten • Eigenschaften verifizieren • Verhalten verstehen • Sammlung nicht-funktionaler Testmethoden
15. Performance Tests Load Testing, Stress Testing, Spike Testing, Soak Testing, Endurance Testing, Resilience Testing, Configuration Testing Scalability Testing, … • Nicht ganz trennscharf zu definieren • Unterschiedliche Ziele und Perspektiven
16. Back to Topic:
 Die Cloud™
17. ☁Die Cloud☁ • IaaS, PaaS, … • APIs und Automatisierung • on-demand • kosteneffektiv • skalierbar
18. Performance-Tests in der Cloud
19. Ja und warum?
20. Die Cloud™ skaliert doch für uns! #
21. Ressourcen skalieren
 ≠ Anwendungen skalieren
22. Ressourcen vs Anwendungen skalieren Elastic Load Balancing Amazon EC2 MySQL DB instance Auto Scaling group
23. Und managed Services? • Provider kümmert sich um alles! • AWS Lambda, GC Functions, … • AWS DynamoDB, GC Datastore, … • AWS Kinesis/SQS, GC Pub/Sub, …
24. –sagen Physiker "Komplexe Systeme sind Systeme mit hoher Wechselwirkung."
25. Komplexität • Komplexität ist nicht verschwunden • {S,P,I}aaS & Co verstecken sie (teilweise) • Auswirkung auf Performance ist nicht-trivial
26. Verständnis aufbauen • Eigene Anwendung • System & Softwarearchitektur • Cloud/Laufzeit-Umgebung • Verwendete Dienste und deren Verhalten
27. Performance-Tests (auch) in der Cloud!
28. Load Testing • Tests mit normaler, zu erwartender Last • Ermittlung von Latenzen, Durchsatz, Fehlerraten, … • Verifikation nicht-funktionaler Anforderungen (SLA)
29. Stress Testing • Tests mit gesteigerter bis extremer Last • Systemverhalten unter (Über)last verstehen • Grenzen und Kapazitäten ermitteln
30. Stress Testing Vorgehen • Qualitätskriterien festlegen (OK / KO) • Last stufenweise steigern
31. Stress Testing Vorgehen • Systemverhalten überwachen • Bottlenecks identifizieren • Kapazität pro Ressource ermitteln
32. Scalability Testing • Wie effektiv werden weitere Ressourcen in Kapazität umgesetzt? • Grundlage für Kapazitätsplanung und Kostenabschätzung
33. Scalability Testing capacity 0 225 450 675 900 resources 5 10 15 20 25
34. Spike Testing • Wie verhält sich das System bei (extremen) Lastspitzen? • Reagieren wir schnell genug? • Anlässe: Marketing $, Reddit, Hacker News, …
35. Soak Testing • Wie verhält sich das System unter Last über einen langen Zeitraum? • (sehr) langer Load Test • Gibt es Langzeiteffekte? Memory Leaks?
36. Configuration Testing
37. Configuration Testing • Wie ändert sich das Verhalten, wenn sich die Konfiguration ändert? • Serie von Testdurchführungen • Auswirkung der Umgebung auf das eigene System untersuchen
38. …in der Cloud • Instanztypen • Auto Scaling Einstellung • Throughput Provisioning • Optimale Nutzung von Diensten?
39. …und überhaupt… • Hypervisor • Betriebssystem • Web & Application Server • Softwarekonfiguration • Softwareabhängigkeiten
40. Availability & Resilience Testing
41. Availability & Resilience Testing • (Zero-Downtime) Deployments unter Last • Änderungen an Infrastruktur • Fehler Szenarien • Failover Testing • => Chaos Engineering
42. Was ist anders im Vergleich zu Früher?
43. Jain… • Notwendigkeit und Methoden unverändert • ABER, neue Möglichkeiten der Durchführung durch die Cloud
44. Testumgebungen in der Cloud • einfach(ere), Bereitstellung von Testumgebungen • Infrastruktur, Services, Server, Code, … • viel kostengünstiger und flexibler
45. Herausforderung: Reproduzierbarkeit • Testdaten und "State" im Allgemeinen sind auch in der Cloud ein komplexes Problem • Wie versetzt man Datenbanken, Caches und Dateisysteme in einen definierten Zustand? • Verwaltung von Testdaten? • Automatisierung des ganzen?
46. Fazit
47. Fazit • Ressourcen ≠ Anwendungen skalieren • Komplexität ist immer noch da • Verständnis ist enorm wichtig • Benutzt die Cloud, um das Testen einfacher zu machen!
48. Fazit • Design • Implementierung • Messen und Validieren • Repeat!
49. Danke! Fragen? Sebastian Cohnen (@tisba) https://stormforger.com