Nachvollziehbare, datengetriebene, automatisierte Analysen der Softwareentwicklung (DeveloperCamp2017)

Jeder Schritt in der Entwicklung oder Verwendung von Software hinterlässt wertvolle, digitale Spuren. Die Auswertung dieser „Softwaredaten“ (wie etwa Laufzeitmessungen, Logdateien oder Commits) lässt unser Bauchgefühl zu Fakten und stichhaltigen Beweisen werden.

Ich zeige, wie sich Fragen aus der Softwareentwicklung datengetrieben, automatisiert und nachvollziehbar beantworten lassen. Dazu demonstriere ich das Zusammenspiel von Open-Source-Analysewerkzeugen (wie jQAssistant, Neo4j, Pandas und Jupyter) zur Auswertung von Daten aus unterschiedlichen Quellen (wie Profiler, Jenkins und Git). Gemeinsam sehen wir uns u. a. an, wie wir Lösungen zur Optimierung der Performance erarbeiten, Build-Breaker identifizieren oder Wissenslücken im Quellcode offenlegen können.

Transcript

1. Nachvollziehbare, datengetriebene, automatisierte Analysen der Softwareentwicklung Markus Harrer @feststelltaste feststelltaste.de talk@markusharrer.de software analytics softwaresanierung clean code
2. Coden
3. “Without data you're just another person with an opinion.“ W. Edwards Deming
4. Priorisierungsproblem “Not all parts of a system will be well designed.“ Eric Evans
5. Fragen aus der Praxis • Weshalb schlagen unsere CI-Builds fehl? • Woher kommen die vielen DB-Calls? • Welcher Entwickler kennt sich im Code aus? • Wo gibt es sich gegenseitig überschreibende statische Variablen? • Wo verletzen wir Compliance-Vorgaben? • Welche „JSF-Getter“ greifen auf das Backend durch? • ... •Oft auch: Wo fange ich an?
6. Derzeitiger Stand
7. Derzeitiger Stand
8. Eure Fragen aus der Praxis
9. Anspruch Lösungsoptionen automatisiert, datengetrieben und nachvollziehbar erarbeiten.
10. Motivation Warum? •Probleme sichtbar machen + Klarheit und Verständnis schaffen •Entscheidungen treiben + Budgets sichern + Neue Budgets für weitere Analysen sichern •Kontinuierliches Lernen unterstützen + Herausforderungen meistern + Selbst stetig besser werden
11. Software- daten- analyse Metriken Dash- boards Sweet Spot der Analysen Handlungs- orientierung Nachvollziehbarkeit Rohdaten
12. Anspruch Lösungsoptionen automatisiert, datengetrieben und nachvollziehbar erarbeiten.
13. Anspruch Lösungsoptionen automatisiert, datengetrieben und nachvollziehbar erarbeiten.
14. Checkliste Automatisierung Auswertungen als Skripte mit • Datenbeschaffung • Analysen • Visualisierung DevOps style
15. Anspruch Lösungsoptionen automatisiert, datengetrieben und nachvollziehbar erarbeiten.
16. Arten von Softwareartefakten und Metadaten chronologisch Community Laufzeit statisch
17. Checkliste Daten Pro Variable eine Spalte (mit richtigem Datentyp) Für jede Beobachtung eine Reihe Eine Tabelle für jede zusammengehörige Gruppe von Variablen Für jede Tabelle einer Analyse eine verlinkende Spalte
18. Daten sind dreckig Verwendete Zeit für Datenbereinigung: bis zu 80%
19. Anspruch Lösungsoptionen automatisiert, datengetrieben und nachvollziehbar erarbeiten.
20. Checkliste Nachvollziehbarkeit • Idee / Kontext / Rahmen der Analyse dokumentiert • Annahmen und Vereinfachungen kommuniziert • Vorverarbeitung (insb. Löschungen) dokumentiert • Rechenweg offengelegt • Zusammenfassungen begründet
21. Nachvollziehbarkeit + Automatisierung + Daten Replizierbarkeit
22. Anspruch Lösungsoptionen automatisiert, datengetrieben und nachvollziehbar erarbeiten.
23. Anspruch Lösungsoptionen automatisiert, datengetrieben und nachvollziehbar erarbeiten.
24. Analyse-Pipeline Programmiersprache u. a. für Scientific Computing Einfach Effektiv Schnell Automatisierungsmeister
25. Analyse-Pipeline Pragmatisches Datenanalyse-Framework Effektive, tabellarische Datenstruktuen • Schnell • Flexibel • Ausdruckstark Sehr gute Integration
26. Die Spezialisten (insb. graphartige Daten) Analyse-Pipeline Framework zur statischen Architektur- und Code- Analyse Graph-Datenbank [:SPEICHERT_IN]
27. Analyse-Pipeline ZIP GZ *.class JAR, WAR, EAR MANIFEST.MF *.properties XSD YAML XML application.xml web.xml beans.xml JaCoCo FindBugs CheckStyle pom.xml surefire-reports.xml RDBMS Schema M2 Repository DB CSV Excel BigQuery Inputs HDFStore Web JSON Git Pandas jQAssistant
28. Analyse-Pipeline Interaktives Notebook • Analysen dokumentieren und ausführen Ergebnisse nachvollziehbar • Alles an einem einzigen Platz • Lösungsweg sichtbar • Auswertung wiederholbar
29. Bei Bedarf • Data Mining • NumPy • scikit-learn • SciPy • Visualisierung / Präsentation • matplotlib • plot.ly • Bokeh • python-pptx • ... Analyse-Pipeline
30. Analyse-Pipeline Seit grad‘: Docker
31. Analyse-Pipeline XML/Graph Tabellen matplotlib Pandas, ... Pandas jQAssistant, Neo4j Text xlsx E pptx P Python Jupyter Eingabe Vorver- arbeitung Analyse Ausgabe D3
32. Beispiel Demo Git-Log-Analyse
33. Erfahrungswerte • Frameworks voll ausspielen • Schnelle Installation • Verschiedene Datenquellen kombinieren • Zusammenfassende Analysen vornehmen • Keine Angst vor großen Datenmengen • Analyseumgebung standardisieren • Gegenseitig unterstützen Learning by Doing!
34. Was ist der Wert der Information in Relation zum Aufwand für die Gewinnung der Information? Zu guter Letzt
35. Literatur Leek, Jeff: The Elements of Data Analytic Style. LeanPub, 2015. McKinney, Wes: Python For Data Analysis, O’Reilly, 2012. Mens, Tom; Serebrenik; Cleve, Anthony:Evolving Software Systems. Springer, 2014. Mens, Tom; Demeyer, Serge: Software Evolution. Springer, 2008. Shull, Forrest; Singer, Janice; Sjøberg, Dag I.K.: Guide to Advanced Empirical Software Engineering. Springer, 2008. Tornhill, Adam:Your Code As a Crime Scene. Pragmatic Programmers, 2015.
36. Fragerunde Eure Fragen
37. Fragerunde Fragen, Details, Demos, Pair Programming? Bin heute und morgen hier ;-) !