Spock und Geb: Übersichtlich und nachvollziehbar Testen für alle!

Bei automatisierten Tests ist es oftmals nicht einfach nachzuvollziehen was getestet wurde. Des Weiteren laufen Tests meist durch und geben nur im Fehlerfall etwas aus. Wie soll man mit dem Fachbereich kommunizieren, was getestet wurde?

Die beiden auf Groovy basierenden Frameworks Spock und Geb sorgen seit einiger Zeit für Aufsehen in der Java-Welt. Über Spock werden die Tests schon um einiges lesbarer. Durch die zusätzliche Nutzung von Geb lassen sich funktionale Tests aus der Sicht des Nutzers erstellen - so zu sagen die automatisierte Testfahrt der Applikation. Was noch fehlt sind gute Reports, die das Testvorgehen für alle Beteiligten nachvollziehbar machen.

Transcript

1. Spock und Geb: Übersichtlich und nachvollziehbar Testen für alle! Entwicklertag Karlsruhe, 20.05.2015 Ralf D. Müller, Freelancer Tobias Kraft, exensio GmbH
2. 2 Meine Software wird durch automatisierte Tests überprüft  Keine Fehler, aber was wurde eigentlich getestet? Ich muss manuell testen! Wir haben einen teuren Bug im System! Warum wurde der nicht vorher gefunden? Keine Fehler
3. 3 Funktionales Testing mit Geb Einbindung des Fachbereichs Verständliches Reporting Spock – kurz und übersichtlich
4. 4 JUnit vs. Spock
5. 5 JUnit vs. Spock
6. 6 Spock im Überblick • Test und Spezifikations-Framework • Groovy ist Basis • DSL (Domain Specific Language) • Testing für JVM-fähige Sprachen • IDE-Unterstützung • Version 1.0 seit März 2015 verfügbar
7. 7 Klare Strukturierung von Feature-Methoden mit Blöcken -mal
8. 8 Mehrfache Durchläufe
9. 9 Mehrfache Durchläufe
10. 10 Extensions über Annotationen @Ignore(reason = "Not yet implemented") @IgnoreRest @IgnoreIf({ properties."os.name" ==~ /Linux.*/) }) @Timeout @FailsWidth @Requires({ env.containsKey(„DMS_ENABLED") }) @RestoreSystemProperties @Issue("http://jira.exensio.de/browse/GM-19") @See("http://ldaley.com/post/6570075743/") @Title("a readable title") @Narrative("""a beautiful description for a report""") Dokumentation Ignorieren Weitere Extensions
11. 11 Interaction Based Testing • Verhalten des Codes unter verschiedenen Bedingungen überprüfen
12. 12 Was ist sonst noch interessant in Spock? • Stubs, Mocks und Spies • Umgang mit Exceptions • old Methode • Hamcrest Matchers when: myList .add('foo') then: myList.size() == old(myList.size()) + 1 then: def e = thrown(IllegalArgumentException) e.getMessage().startsWith("No tagCategory") expect: 2.9d closeTo(3, 0.5)
13. 13 Meine automatisierten Tests können jetzt auch vom Fachbereich gelesen werden… Keine Fehler, aber was wurde eigentlich getestet? Ich muss manuell testen! Keine Fehler, aber was wurde eigentlich getestet? Ich spezifiziere es einfach! Keine Fehler
14. 14 Funktionales Testing mit Geb Einbindung des Fachbereichs Verständliches Reporting Spock – kurz und übersichtlich
15. 15 Spezifikation durch den Fachbereich
16. 16 Spezifikation durch den Fachbereich
17. 17 Spezifikation in Code wandeln
18. 18 Screenshot? Link klicken? Formular ausfüllen? Keine Fehler, aber was wurde eigentlich getestet? Ich spezifiziere es einfach! Keine Fehler
19. 19 Funktionales Testing mit Geb Einbindung des Fachbereichs Verständliches Reporting Spock – kurz und übersichtlich
20. 20 Geb im Überblick • Webtesting und Screen-Scraping • DSL auf Groovy basierend • jQuery ähnliche Syntax • Nutzung von WebDriver • IDE-Unterstützung • Integration mit Spock, TestNG oder JUnit • Version 0.10.0
21. 21 Spock in Kombination mit Geb Geb Testing Adapter WebDriver Spock Geb
22. 22 Einfach Selektieren mit JQuery-ähnlicher Syntax
23. 23 Einfach Selektieren mit JQuery-ähnlicher Syntax Beispiele für Selektoren $("div", 2) $("td.odd", 0..2)*.text() $("img", alt: "Titel") $("img", alt: "Titel").previous() $("div#heading").find("div", 3) $("div", text: iStartsWith ("groovy")) $("form").find("input", name: "speaker").value()
24. 24 Page Objects – zur Repräsentation von Webseiten
25. 25 Page Objects – zur Repräsentation von Webseiten
26. 26 Page Objects – zur Repräsentation von Webseiten
27. 27 • Nutzung von WebDriver-Implementierungen • Gängige Browser • PhantomJS • Steuerbar über Konfiguration Testing mit verschiedenen Browsern
28. 28 • Nutzung von WebDriver-Implementierungen • Gängige Browser • PhantomJS • Steuerbar über Konfiguration Testing mit verschiedenen Browsern
29. 29 Meine Tests erfüllen die fachlichen Anforderungen! Keine Fehler, aber was wurde eigentlich getestet? Ich spezifiziere es einfach! Weiterhin Keine Fehler
30. 30 Funktionales Testing mit Geb Einbindung des Fachbereichs Verständliches Reporting Spock – kurz und übersichtlich
31. 31 Probleme beim Reporting • Testing klappt oder klappt nicht • Power-Assertions sind schon sehr hilfreich • 3 Report-Engines
32. 32 Standard Gradle Reports
33. 33 Standard Gradle Reports
34. 34 Spock 1.0-SNAPSHOT Report http://spockframework.github.io/spock/sampleReports/Ninja%20Commander.html
35. 35 Spock-Reports Plugin von Renato Athaydes https://github.com/renatoathaydes/spock-reports
36. 36 Aber was wurde getestet? • Fehler geben Hinweis auf tatsächliche Tests • Ansonsten geben die Reports nur die Spezifikation wieder
37. 37 Lösung Reporting – Geb Screenshots
38. 38 Lösung Reporting – Grails Film-Strip Plugin https://grails.org/plugin/film-strip
39. 39 Lösung Reporting – Spock Reports mit Geb Screenshots https://github.com/rdmueller/etka15
40. 40 Lösung Reporting – Spock Reports mit Geb Screenshots
41. 41 • Weniger manuelle Tests • Nachvollziehbarkeit der Tests Fazit • Übersichtliche Tests mit Spock und Geb • Fachbereich hilft bei Testerstellung • Steigerung der Qualität
42. Partner: Fragen? Vielen Dank! @tokraft tobias.kraft@exensio.de @RalfDMueller ralf.d.mueller@gmail.com
43. 43 Referenzen • Spock und Geb: Übersichtlich und nachvollziehbar Testen für alle! Vortrag, Beispiele Source Code http://rdmueller.github.io/etka15/ • Teil 1 : Mit Mr. Spock beim Testeinsatz, Javamagazin (12/2014) Teil 2 : Mr. Spock ruft Geb, Javamagazin (01/2015) http://www.exensio.de/articles/