[GER] Interactive Cologne 2014: API Load Testing mit StormForger

At this years Interactive Cologne festival I gave a talk on HTTP API Load Testing and how my product, StormForger.com, can help you.

Transcript

1. 2.005.355.108 Die Zahl des Tages:
2. API Load Testing Interactive Cologne, Mai 2014 Sebastian Cohnen, @tisba StormForger, https://stormforger.com, @StormForgerApp mit StormForger
3. “Unter einem Lasttest […] versteht man einen Softwaretest, mit dem eine zu erwartende, auch extreme Last auf dem laufenden System erzeugt und das Verhalten […] beobachtet und untersucht wird.” http://de.wikipedia.org/wiki/Lasttest_(Computer)
4. Okay…
5. Warum genau?
6. “Brauch isch nich’…”
10. Risiko
11. Qualität
12. Profit
13. Warum noch?
14. Warum noch? • Ermittlung der (aktuellen) Kapazität • Analyse der Skalierbarkeit • Performance Debugging und Profiling
15. Dinge, die es zu beachten gilt…
16. Dinge, die es zu beachten gilt… • Testplanung (Ziele, Pläne, Testdaten, …) • Ressourcen Provisionierung • Test Umgebung aufsetzen • Test Konfiguration & Asset Deployment • Testausführung • Zielsystem Überwachen • Test selber überwachen • Cluster Teardown • Logs einsammeln • Statistische Auswertung • Filtern • Analysieren • Testergebnisse bewerten, einsortieren und vergleichen • …
17. Ich hatte da kürzlich einen Fall,
18. wo es was “mehr” geworden ist.
19. Sagen wir mal deutlich über 250.000 req/s
20. Neue Probleme • Genug File Descriptoren? Ephemeral Ports? • Gleichmäßige Auslastung im Testcluster? • Auswirkungen auf den Test bekannt/kontrollierbar? • Probleme an den Netzwerkinterfaces? • Wie lassen sich Anomalien im Traffic Flow oder Routing identifizieren? • Metriken?!
21. Load Test Metriken
22. Load Test Metriken • Start • Time to Connect • Time to First Byte • Ende • Ziel Host • Request Path • HTTP Response Code • Header Size • Response Size • Transaction Duration • Tags • …
23. …bei 250.000 Anfragen/sek und 11 Datenpunkte pro Anfrage…
24. 2.750.000
 Datenpunkte pro Sekunde
25. Wie dem auch sei.
26. Und nun?
27. Load Testing as a Service Platform
28. StormForger ! • Vereinfachung und Automatisierung von HTTP Lasttests • Durchführung von umfangreichen und reproduzierbaren Lasttests • Fokus auf Vergleichbarkeit und Kollaboration
29. Software as a Service
30. JavaScript & Ruby DSL zur Test Erstellung
31. JavaScript & Ruby DSL zur Test Erstellung definition.session("sign up with referrer token and login”, 80, function(session) { session.get("/status"); ! session.wait(2); ! var user = session.pick("user"); ! session.post("/users/sign_up", { payload: { email: user.email(), password: user.password(), ref_token: session.pick("referrer_token"), phone: "+4917" + session.pick("phone"), } }); ! session.wait(60); ! // … });
32. Tests ausführen via ▶
33. Tests ausführen via ▶ • Bestimmung der erforderlichen Ressourcen • Provisionierung der Testumgebung • Deployment der Testkonfiguration und -assets • Monitoring von Test- und Zielsystem
34. Auswertung
35. Auswertung • Beschreibende Statistiken • (Auto)Korrelationen • Quantile • Indizes zum Vergleich • …
36. Auswertung
37. Ich brauch eure Hilfe!
38. Ich brauch eure Hilfe! • Ich suche weitere Interessen für Feedback • Habt ihr kleine oder große Dinge zu testen? Testet ihr? Wie? • Wenn ihr mehr wissen wollt… • Newsletter: eher technisch; u.a. über die Produktentwicklung • schaut ins Blog • Sprecht mich an!
40. Quizduell im ErstenLasttest • Läuft auf Google App Engine • Im Test: 1 Millionen User • Testcluster: 800 Cores, 1,5 TB RAM, 50 GBits+ Bandbreite • >330.000 Anfragen/sek, >2 Milliarden Requests • Peak Traffic >1,4 GB/sek, über 3,2 TB Traffic
 
 > https://blog.stormforger.com
41. Danke!
 Fragen? Interesse? Sebastian Cohnen, @tisba https://stormforger.com/
 https://blog.stormforger.com/