Software Analytics für Praktiker (JAX2018)

Grundlegende Probleme in altgedienten Anwendungen managementgerecht zu kommunizieren, ist eine schwierige Sache. Wir haben jedoch fast alles, was wir dafür brauchen, vor uns liegen: Eine umfangreiche, wertvolle Datenbasis aus Tickets, Commits, Quellcode, Logdateien und vielem mehr. In der Session stelle ich Software Analytics vor, dessen Vorgehen und Methoden darauf abzielen, die Daten aus der Softwareentwicklung so aufzubereiten, dass sie von Managern zur Entscheidungsfindung herangezogen werden können. Ich zeige auch eine Werkzeugkette (Jupyter, Python, pandas, jQAssistant, Neo4j, D3), mit der sich Analysen von Java-Anwendungen und deren Umgebung (Git, FindBugs, JaCoCo, Profiler, Logfiles etc.) in der Praxis einfach umsetzen lassen. Als Beispiele sehen wir uns die Identifikation von wertlosem Code, die Aufdeckung von Wissenslücken und die Optimierung des fachlichen Schnitts einer Anwendung an.

Transcript

1. Software Analytics für Praktiker JAX 2018, Mainz 25.04.2018 Markus Harrer @feststelltaste feststelltaste.de talk@markusharrer.de
2. Markus Harrer Software Development Analyst @feststelltaste Blog: feststelltaste.de Web: markusharrer.de Ich steh‘ auf Legacy Code!
3. Agenda - Warum? - WTF? - Wie? - Was? Datenanalysen in der Software- entwicklung
4. WARUM?
5. Management
7. Abends in der Kneipe...
8. Wie kommt es denn zu sowas? Wir haben jetzt eine 7-Schichten- architektur! Jedes Jahr gibt es ne‘ neue Schicht, um den Mis t vom letzten Jahr zu überdecken!
9. Symptombehebungen
10. Schrecklich! Was is t denn passiert? Ges tern is t unser Flaggschiffprodukt in Produktion abgeraucht! Nichts! Niemand verwendet es...
11. Wahrnehmungsdiskrepanz
12. Management Entwickler REWRITE!!!!
13. 10 REWRITE 20 SLEEP 3 30 GOTO 10 Software History repeating
14. „Die Definition des Wahnsinns ist, immer dasselbe zu tun und ein anderes Ergebnis zu erwarten.“ – Albert Einstein
16. Software Development is the act of transforming Knowledge into Code by HumanS you have to address that! if you want to fix this
17. Domain-Driven Design Eric Evans
18. Extreme Programming Kent Beck
19. Wie?
20. EMPIRIC THE STRIKES BACK
23. Häufigkeit Fragen Nutze Standard-Tools für allgemeine Fragen Option 2: Setze Software Analytics zur Behandlung riskanter Probleme ein Risiko Software Analytics fokussiert sich auf wichtige Fragen Option 1: Ignoriere Fragen einfach
25. Code Probleme Fachlichkeit
27. Komplett automatisiert Kontext Ideen, Daten, Annahmen und Vereinfachungen aufgeführt Berechnungen verständlich dargelegt Zusammenfassungen erklärt Notebook
30. https://www.feststelltaste.de/production-coverage-demo-notebook/
31. Python Data Scientist's best friend: Einfache, effektive, schnelle Programmiersprache pandas Pragmatisches Datenanalyse-Framework: „Interaktives Excel-Arbeitsblatt“ für Daten bis in den GB-Bereich matplotlib Plotting-Bibliothek für einfache Visualisierungen (Linien-, Balken-, Tortendiagramme etc.) Jupyter Interaktives Notizbuch: Zentrale Stelle für Datenanalysen und Dokumentation Data Science Tools Anaconda
32. deluxe 1. Scanne Softwarestrukturen 2. Speichere in Graphdatenbank 3. Analysiere und erstelle Verbindungen 4. Füge eigene Konzepte hinzu 5. Finde Antworten
33. Java Class Business Subdomain Method Field codeChurn 2 bugs 5 - + insights From developer details to management insights with graphs
34. types 16 bugs 17 codeChurn 5 problems 8 types 5 bugs 29 codeChurn 51 problems 11 - + insights From developer details to management insights with graphs
35. WAS?
36. Individuelle Analysen für individuelle Probleme • Falsch verschachtelte Scopes bei CDI-Beans • Ausgeschaltetes Lazy-Loading durch Mapper • Komplexe Berechnungen in JSF-BackingBeans • Performance-Probleme mit Drittbibliotheken • Ausufernden, langlaufende End2End-Tests • ...
37. Wissenslücken Nutzloser Code Fachlicher Schnitt DEMOS
38. 164) static void rb532_mask_and_ack_irq(struct irq_data *d) 165) { 166) rb532_disable_irq(d); 167) ack_local_irq(group_to_ip(irq_to_group(d->irq))); 168) } 169) 170) static int rb532_set_type(struct irq_data *d, unsigned type) 171) { 172) int gpio = d->irq - GPIO_MAPPED_IRQ_BASE; 173) int group = irq_to_group(d->irq); 174) 175) if (group != GPIO_MAPPED_IRQ_GROUP) Aufdeckung von Wissenslücken Source Code
39. Aufdeckung von Wissenslücken Change per Line efb02d arch/irq.c (Thomas Gleixner 2011-03-23 21:09:10 +0000 164) 73b439 arch/irq.c (Ralf Baechle 2008-07-16 16:12:25 +0100 165) efb02d arch/irq.c (Thomas Gleixner 2011-03-23 21:09:10 +0000 166) efb02d arch/irq.c (Thomas Gleixner 2011-03-23 21:09:10 +0000 167) 73b439 arch/irq.c (Ralf Baechle 2008-07-16 16:12:25 +0100 168) 73b439 arch/irq.c (Ralf Baechle 2008-07-16 16:12:25 +0100 169) efb02d arch/irq.c (Thomas Gleixner 2011-03-23 21:09:10 +0000 170) 4aa0f4 arch/irq.c (Phil Sutter 2008-11-28 20:45:10 +0100 171) efb02d arch/irq.c (Thomas Gleixner 2011-03-23 21:09:10 +0000 172) efb02d arch/irq.c (Thomas Gleixner 2011-03-23 21:09:10 +0000 173) 4aa0f4 arch/irq.c (Phil Sutter 2008-11-28 20:45:10 +0100 174) efb02d arch/irq.c (Thomas Gleixner 2011-03-23 21:09:10 +0000 175) https://www.feststelltaste.de/identifying-lost-knowledge-in-the-linux-kernel-source-code/
40. Aufdeckung von Wissenslücken Change per Line 164) static void rb532_mask_and_ack_irq(struct irq_data *d) 165) { 166) rb532_disable_irq(d); 167) ack_local_irq(group_to_ip(irq_to_group(d->irq))); 168) } 169) 170) static int rb532_set_type(struct irq_data *d, unsigned type) 171) { 172) int gpio = d->irq - GPIO_MAPPED_IRQ_BASE; 173) int group = irq_to_group(d->irq); 174) 175) if (group != GPIO_MAPPED_IRQ_GROUP) Dev Source Code Version Control System Change per Line Linux Kernel GitHub- Repository ! https://www.feststelltaste.de/identifying-lost-knowledge-in-the-linux-kernel-source-code/
41. Aufdeckung von Wissenslücken => Wie hat es sich angefühlt? „Herummatschen im (Daten-)Haufen“ https://github.com/feststelltaste/software- analytics/blob/master/demos/20180425_JAX_Mainz/ Wissensanalyse.ipynb Live Demo Notebook
42. Identifikation von wertlosem Code Web Application Application Server User Coverage per Class JaCoCo Dev Build‘n‘Run& Source Code Version Control System Changes per Class https://www.feststelltaste.de/swot-analysis-for-spotting-worthless-code/ !
43. Optimierung des fachlichen Schnitts einer Anwendung Dev Build Source Code Graph ! Byte Code jQAssistant Neo4j Graph-DB https://www.feststelltaste.de/a-graphical-approach-towards-bounded-contexts/
44. Zusammenfassung
45. + mache sie sichtbar und verständlich + erzeuge sachliche Diskussionen 10 Priorisiere wertvolle Verbesserungen 20 Zeige, dass es besser wird; GOTO 10 + Meistere Herausforderungen gemeinsam + Fange einfach einfach an :-)
46. Weitere Infos Literatur Adam Tornhill: Software Design X-Ray Wes McKinney: Python For Data Analysis Christian Bird, Tim Menzies, Thomas Zimmermann: The Art and Science of Analyzing Software Data Tim Menzies, Laurie Williams, Thomas Zimmermann: Perspectives on Data Science for Software Engineering Software Python Data Science Distribution: anaconda.com Mein Repo: github.com/feststelltaste/software-analytics jQAssistant: github.com/buschmais/spring-petclinic Markus Harrer: @feststelltaste | feststelltaste.de
48. ASK ´ EM ALL
49. Emoji One License: CC BY-SA 4.0 Source: Wikimedia Commons (https://commons.wikimedia.org/wiki/File:Emojione_1F37A.svg) Michelangelo: Creation of Adam License: Public Domain Source: Wikimedia Commons (https://en.wikipedia.org/wiki/The_Creation_of_Adam#/media/File:Creaci%C3%B3n_de_Ad%C3%A1n_(Miguel_%C3%81ngel).jpg) Edvard Munch: The Screams License: Public Domain Source: Wiki Commons (https://commons.wikimedia.org/wiki/File:The_Scream.jpg) Hippolyte Delaroche: The Execution of Lady Jane Grey License: Public Domain Source: Wikimedia Commons (https://commons.wikimedia.org/wiki/File:PAUL_DELAROCHE_- _Ejecuci%C3%B3n_de_Lady_Jane_Grey_(National_Gallery_de_Londres,_1834).jpg) Vassily Kandinsky: Composition 8 License: Public Domain Source: Wiki Commons (https://commons.wikimedia.org/wiki/File:Vassily_Kandinsky,_1923_- _Composition_8,_huile_sur_toile,_140_cm_x_201_cm,_Mus%C3%A9e_Guggenheim,_New_York.jpg) Licenses
50. Licenses Fritz Beinke : The Juggler License: Public Domain Source: Wikimedia Commons (https://commons.wikimedia.org/wiki/File:Fritz_Beinke_-_The_juggler-_a_village_fair_-_Google_Art_Project.jpg) Luca Giordano: Fallen Angels License: Public Domain Source: Wikimedia Commons (https://commons.wikimedia.org/wiki/File:GIORDANO,_Luca_fallen_angels.jpg) Albert Einstein: Abhandlung Citation: Einstein, Albert: Quantentheorie des einatomigen idealen Gases – Zweite Abhandlung. In: Sitzungsberichte der preussischen Akademie der Wissenschaften, page 14, Reichsdruckerei Source: Lorentz Archive (https://www.lorentz.leidenuniv.nl/history/Einstein_archive/Einstein_1925_publication/Pages/paper_1925_12.html) Python Logo Adopted based on work by www.python.org (www.python.org) License: GPL (http://www.gnu.org/licenses/gpl.html) Source: Wikimedia Commons (https://commons.wikimedia.org/wiki/File:Python-logo-notext.svg) Yoni S. Hamenahem: Chuck Norris - The Delta Force 1986 License: CC BY-SA 3.0 (https://creativecommons.org/licenses/by-sa/3.0/deed.en) Source: Wikimedia Common (https://commons.wikimedia.org/wiki/File:Chuck_Norris,_The_Delta_Force_1986.jpg)