Rolle der IT bei BigData und Business Analytics - Chancen und Herausforderungen

Diese Session wurde im Zuge des Digital Leadership Bootcamp von Accelerate Stuttgart entwickelt und ist speziell für IT Entscheider bzw. Chief Information Officers (CIO) oder Chief Data Officers (CDO) und beleuchtet welche Veränderungen, Anforderung und Chancen für die IT Abteilung von mittelständischen Firmen oder Konzernen durch Digitalisierung und BigData anstehen. Ausgehend vom typischen Handlungsraum der IT Abteilung wird beleuchtet, wie mit großen Menge and unterschiedlichen Daten umzugehen ist, auf welcher Plattform diese Daten vorgehalten und verarbeitet werden können und welche bestehenden und neuen IT Prozesse betroffen sind. Zielbild ist eine moderne Enterprise Architecture (EA) für digitalisierte Geschäftsprozesse.

Transcript

1. Rolle der IT bei BigData und Business Analytics Chancen und Herausforderungen
2. Einführung Zum September 2016 startet Daimler einen Accelerator rund um Mobilität
3. Einführung Weil zwischen Produkt und Kunden kein Platz sein soll. Weil zwischen Produkt und Kunden kein Platz sein soll.
4. Digitale Transformation Digitale Transformation versteht sich als Wandlungsprozess, bei dem Digitale Technologien wie Big Data, Sensor-Netzwerke oder Cloud-Dienste genutzt werden um Herangehensweisen im Unternehmen zu ändern: • Wie schafft ein Unternehmen Wert? • Wie interagiert ein Unternehmen mit Kunden und Partnern? • Wie bleibt es in etablierten und neuen Märkten wettbewerbsfähig?
5. Vorstellungsrunde
6. Ablauf & Agenda
7. Einordnung von BigData
8. Warum jetzt? Endgeräte Infrastruktur Rechenleistung Verarbeitung
9. Was bringts? Business Data Driven Analyse als Zusatznutzen Daten als Geschäftsfeld Operationelle Exzellenz Kundennähe Ausnutzungs- grad Neue- Verwendung Recommender Lösungs- bündel
10. Wer sind die Akteure? Management Fachabt. IT Abteilung Kunde • Strategie • Return on Inv. • Ressourcenplan. • Kultur • Idee • Fachwissen • Business Cases • Innovation • Operationelles • Standards • Compliance • Governance • Innovation • Daten • Telemetrie • Verhalten • Bewertungs- grundlage Kooperation
11. Daten erkunden und visualisieren Tiefergehendes Verständnis des Geschäfts Fachabteilung Business Anal. Big Data Experte Big Data Experte Reifegradmodell Steuerung und Durchführung von Prozessen durch Analyse automatisieren. Deskriptiv Modellbildung, Vorhersagen, Build-Measure-Lern-Zyklus Prädiktiv Präskriptiv
12. Erfahrungsaustausch
13. Daten
14. Datenquellen BI & Reporting ERP CRM Filesys. MA. Directory Facebook, Twitter, etc. Enterprise Social Net. Intranet & ECM Website EBusiness Support BDE & I 4.0 IoT Volumen Kritikalitaet Email Daten- banken Unstrukturiert Strukturiert Personen
15. Datenquellen ✓ Mengengerüste hoechst unterschiedlich ✓ Schnittstellen unpassend ✓ Return on Investment ✓ 80% der Daten un-/semistrukturiert Volume Velocity Variety Veracity Menge Vielfalt Geschwind. Richtigkeit
16. DataWarehouse in Zeiten von BigData Relationale Datenarchitektur Deduktive Modellierung Wasserfall Hierarchisch & Immutable Induktives Schliessen Agilitaet Daten gesteuerte Organisation
17. Daten Architektur Architecture is the fundamental organization of a system, embodied in its components, their relationships to each other and the environment, and the principles governing its design and evolution. IEEE Std 1471-2000
18. Architektur Input Stream Speed-Verarbeitung Batch-Verarbeitung Serving Query Stream Processing Realtime View Hist. Rohdaten Batch Proc. Views
19. Kernfragen von Governance und Security Daten Qualität Transparenz Modell- konsistenz Nutzung Sicherheit
20. Meta-Daten ✓ Was sind Meta-Daten? ✓ Was sind semantisch neutrale Meta-Daten? ✓ Wie Meta-Daten verwalten?
21. Erfahrungsaustausch
22. Plattform
23. Workloads - Batch Input Result Gleichzeitige Verarbeitung einer Datenmenge zu einem bestimmten Zeitpunkt oder ab einer bestimmten Menge. Konsequenz: • Hoher Durchsatz • Hohe Latenz
24. Workload - Streaming Verarbeitung der Daten zum Ankunftszeitpunkt. Konsequenz: • Geringerer Durchsatz • Kaum Latenz (Echtzeit)
25. Algorithmen und Verfahren More data beats clever algorithms, but better data beats more data.
26. Traditionelle Statistik & Visualisierung • Datensatz nach Filterung und Selektion oftmals “LittleData”. • Statistische Verfahren sehr mächtig (und machmal kompliziert). • Statistische Verfahren haben Modell und meist Korrektheits-Garantie. • Das Gehirn ist eine Muster- Erkennungs- Maschine, die Konzepte versteht.
27. Mittelwert, Median, Candlestick-Diagramm des Microsoft Aktienkurses (MSFT)
28. Visualisierung einer Zeitreihe & Histogramm-Bildung, US Arbeitslosenquote
29. Statistik: Normalverteilung und Gamma Verteilung
30. Korrelation • Les Miserables • Gemainsame Auftritte
31. Kluster-Analyse • IRIS Dataset • Blütenblatt-Länge • Blütenblatt-Breite
32. Pipelines und Produktionsbetrieb Data Model Train Classifier Machine-Learning Pipeline?
33. Pipelines und Produktionsbetrieb Data Model Train Linear Classifier Bisschen realistischer! Feature Extraction Test Data Pred.
34. Pipelines und Produktionsbetrieb Data Model Hier fehlt immer noch was! Test Data Test Err. Feature Extractor Image Parser Normalizer Convolver Pooler Label Extractor Linear Solver Error Computer Feature Extractor
35. Pipelines und Produktionsbetrieb Data Model Hier fehlt immer noch was! Test Data Test Err. Feature Extractor Image Parser Normalizer Convolver Pooler Label Extractor Linear Solver Error Computer Feature Extractor
36. Single-Node vs. Cluster BigData Systeme skalieren gut, das funktioniert aber nur mit enormen Overhead. System Anzahl Cores Twitter Graph (N=41.6E6, E=1.4E9) UK Click Stream (N=133.6E6, E=5.5E9) Spark 128 857s 1759s GraphLab 128 249s 833s GraphX 128 419s 462s Single Thread 1 300s 651s https://github.com/frankmcsherry/blog/blob/master/posts/2015-01-15.md
37. Single-Node vs. Cluster Verwende keinen BigData Cluster, wenn ein PC genauso schnell ist.
38. Technologien für eine Plattform
39. Das Hadoop Ökosystem Data Workflow Lifecycle & Governance Governance Data Access Security Operations Authentification Authorization Audit & Data Protection Provision Manage & Monitor Scheduling Data Management Script SQL NoSQL Stream Search In-Mem Others HDFS: Hadoop Distributed File System YARN: Data Operating System
40. Alternativen? Spark SQL Spark Streaming Packages graphX MLib Data Source API Spark Core Data Frame API
41. Erfahrungen und Auswahl
42. Prozesse
43. Erarbeitung von Prozessen und Betrieb • BigData gibt es nicht in einer Schachtel. • Zum Teil ist es unbekanntes Terrain. • Unterschiedliche und widersprüchliche Anforderungen ◦ Schnelle Experimente ◦ Langfristige Archivierung • Guter Teil der Komplexität schlägt bei IT und Betrieb auf.
44. Erarbeitung von Prozessen und Betrieb • Vieles bei BigData ist nicht wirklich neu! • Verantwortlichkeiten verschieben sich! • Gewachsene Grenzen machen ggf. keinen Sinn. • Bestehende Frameworks wie ITIL oder COBIT müssen aber ggf. interpretiert werden. • Historie und Denkweise der Tools verstehen
45. Cross Industry Standard Processes for Data Mining (CRISP DM) Business Understanding Data Understanding Data Preparation Modeling Evaluation Deployment Daten
46. Agiles DataWarehouse Der Einzelne und Zusammenarbeit vor Prozessen und Tools Funktionierende DW/BI Systeme vor umfassender Dokumentation Kollaboration mit Benutzern und Stakeholdern vor Vertrags- verhandlungen Auf Veränderung einlassen anstatt einem detaillierten Plan zu folgen
47. Innovation: Richard Feynman gibt eine Vorlesung
48. Recap & Summary Vielen Dank für die Aufmerksamkeit joachim.rosskopf@gmail.com
49. Unkonventionelle Businessmodelle + Technologie + Risiko + Risiko + Risiko = Disruption