Management und Analyse von Test- und Simulationsdaten

Die Menge der Daten, die bei Tests und Simulationen in Automobilbranche gesammelt wird, ist in den letzten Jahren massiv gewachsen und es ist kein Ende dieser Entwicklung in Sicht. Bisherige Techniken zur Analyse stossen an ihre Grenzen. Während die bei Tests und Simulationen anfallende Datenmenge immer grösser wird, können einzelne Computer nicht im gleichen Masse erweitert werden. Damit erreicht die bisher übliche Praxis, Daten zur Analyse auf einen Arbeitsplatzrechner zu kopieren, ihr Limit. Hinzu kommt, dass Transfer und Kopieren der Daten selbst zu einem Zeit- und Kostenfaktor wird.

Die Kombination des vorhandenen ASAM Open Data Services (ODS) Standards, ein von der Automobilindustrie entwickelter Standard zur Verwaltung von Testdaten, mit Big Data bietet einen Ausweg. Unglücklicherweise entstammt ASAM ODS, aus einer Zeit vor Big Data und wurde bislang unabhängig weiterentwickelt. Erst seit kurzem gibt es erste Bemühungen, ODS und Big Data zusammenzubringen.

In diesem Vortrag beleuchtet Simon Skoczylas die verschiedenen Möglichkeiten der Verwaltung von Test- und Simulationsdaten und der Analyse mit Big Data Technologien beleuchtet werden. Wie kommen ASAM ODS und Big Data zusammen?

Transcript

1. 1 Management und Analyse von Test- und Simulationsdaten Simon Skoczylas
2. 2 Simon Skoczylas • Senior Software Engineer • Sprecher auf Konferenzen (Web, Java) • Eclipse openMDM Committer • ASAM ODS Maintenance Member
3. 3 Agenda • Test- und Simulationsdaten • Datenmanagement mit ASAM ODS • ASAM ODS und Big Data • Analyse von Testdaten auf Basis von ASAM ODS
4. 4 Test- und Simulationsdaten
5. 5 Wo entstehen Daten? Simulation Prüfstand Betrieb
6. 6 Bussysteme CAN FlexRay LIN Ethernet und viele mehr
7. 7 Quellen Bremsen Navi / Audio und viele mehr Regensensor Airbag Motor Licht
8. 8 Datenmanagement mit ASAM ODS
9. 9 Motivation ? Rasante Entwicklung erfordert mehr Tests, und entsprechendes Management der Daten
10. 10 Datenmanagement • Nachvollziehbarkeit • Vergleichbarkeit • Suche • Sicherheit • Auswertung / Analyse / KPI
11. 11 ASAM • Association for Standardization of Automation and Measuring Systems • Gemeinnütziger Verband aus Automobilherstellern, Zulieferern, Werkzeuglieferanten, Dienstleistern und Forschungsinstituten • Bereitstellung einer Plattform für Mitglieder zur gemeinsamen Entwicklung von Standards, die die Entwicklung von Fahrzeugen beschleunigen
12. 12 ASAM ODS • Open Data Services • Erste Version 1990, kontinuierlich weiterentwickelt (Version 6.1.1, 2021) • Managementsystem für Testdaten • Basis- und Applikationsmodel • Fokus auf Speicherung und Zugriff von Daten aus Tests • Unterstützung für physikalische Größen
13. 13 Datenmodel • Komponente die getestet wurden • Technische Ausrüstung • Informationen zum durchgeführten Test • Metadaten (Person, Datum, usw.) • Sicherheit (Nutzer und Rollen) • Gemessene Daten (Messdaten, oder Massendaten)
14. 14 Datenmodel Test Projekt Messung Metadaten Messdaten Metadaten Grobe Darstellung eines Datenmodells
15. 15 Speicherung und Zugriff • Durch den Standard definierte Datenbank und Dateistruktur • Abbildung des Datenmodels in der Datenbank • Metadaten • Mess- bzw. Massendaten (Datenbank oder Dateien) • Definierte Schnittstellen (RPC, CORBA, HTTP) • Export- und Transportformate (ATF/CLA und ATF/XML) • Keine effiziente Suche möglich
16. 16 ODS Infrastruktur Client (Desktop/Web) ODS Server Messdaten (ODS Binärformat) RPC, CORBA, HTTP Metadaten
17. 17 Import von Daten ODS Server Messdaten (ODS Binärformat) Metadaten Import z.B. CAN-Bus
18. 18 ASAM ODS und Big Data
19. 19 Motivation Mehr Sensoren, höhere Datenfrequenzen, mehr Daten
20. 20 Ansteigende Datenmenge 0 50 100 150 200 250 300 350 400 450 2019 2020 2021 2022 2023 2024 8 110 290 390 325 400 Terabyte / Monat
21. 21 ODS und Big Data • Erweiterung des Standards um Big Data Connector in Version 6.1.0 • Definition von neuen Exportformaten für Big Data • Avro und JSON für Metadaten • Parquet und Avro für Massendaten
22. 22 Export aus ODS ODS Server Metadaten Massendaten (ODS Binärformat) EXPORT Metadaten Avro/JSON Messdaten Parquet/Avro Big Data
23. 23 Anmerkungen zum Export • Vorteile • Einfache Umsetzung als Ergänzung zu aktuellen ODS Servern • Bekannte Tools im Big Data Kontext können verwendet werden • Nachteile • Durch den Export entsteht ein zusätzlicher Schritt • Doppelte Speicherung der Daten
24. 24 Alternative Ansätze • Direkter Zugriff auf ODS Daten aus der Big Data Infrastruktur • Apache Spark Connector für ODS • ODS Server, der Daten direkt im Big Data Format speichert und liest • Bulk ASAM ODS Plugin (Separates Projekt, noch nicht gestartet)
25. 25 Analyse von Testdaten auf Basis von ASAM ODS
26. 26 Motivation • Auswertung • Visualisierung • Vergleich • Reporting
27. 27 Motivation Analyse über alle Tests mit einer Temperatur über 95°C Massendaten Analyse über alle Tests vom 01.01.2021 mit einer Temperatur über 95°C Massendaten Metadaten
28. 28 Direkter Zugriff auf ODS • Daten werden in die vorhandene Anwendung geladen • Analyse findet auf dem Client statt • Beispiel: NI DIAdem Client (Desktop/Web) ODS Server
29. 29 Export für Experten-Tools • Export von relevanten Daten für schon bekannte Experten-Tools • Datenmenge wird beim Export reduziert • Analyse findet auf dem Client statt • Analyse abhängig vom Inhalt der exportierten Daten • Beispiel: MATLAB Client (Desktop/Web) ODS Server EXPORT
30. 30 Einsatz von Big Data Tools • Export in Big Data Infrastruktur • Keine oder aufwendige Verknüpfung von Metadaten und Massendaten • Analyse findet in der Big Data Infrastruktur statt • Analyse abhängig vom Inhalt der exportierten Daten • Beispiel: JUPYTER ODS Server EXPORT Big Data
31. 31 Vollintegrierter Ansatz • Kein Export der Daten notwendig • ODS Server der direkt mit der Big Data Infrastruktur arbeitet • Verknüpfung von Metadaten und Massendaten • Analyse findet in der Big Data Infrastruktur statt • Beispiel: Lyzium ODS Server Big Data
32. 32 Lyzium • Vollintegrierter Ansatz • ODS Server der direkt auf Big Data Infrastruktur zugreifen kann • Effiziente Suche möglich • Analyse mit Python in Big Data Infrastruktur • Web-Client • Suchen • Definition von Python Funktionen für die Analyse
33. 33 Lyzium Infrastruktur Client (Web) Lyzium Server (ODS Server+) Metadaten Messdaten Parquet/Avro HTTP Big Data
34. 34 Vielen Dank! Gibt es noch Fragen? Fachartikel „Test- und Simulationsdatenanalyse mit Big Data“ bei Hanser-Automotive https://bit.ly/3bR66OD The new home for your measurement data https://lyzium.com
35. simon.skoczylas@karakun.com +49 231 3970 9753 @giftkugel https://www.xing.com/profile/Simon_Skoczylas https://www.linkedin.com/in/simon-skoczylas
36. Karakun GmbH Selkamp 12 44287 Dortmund Deutschland T. E. W. +49 231 3970 9753 info@karakun.com www.karakun.com