Save 37% off PRO during our Black Friday Sale! »

Management und Analyse von Test- und Simulationsdaten

7c61dd08cacb66024f77fc45f51899f9?s=47 Karakun
November 23, 2021

Management und Analyse von Test- und Simulationsdaten

Die Menge der Daten, die bei Tests und Simulationen in Automobilbranche gesammelt wird, ist in den letzten Jahren massiv gewachsen und es ist kein Ende dieser Entwicklung in Sicht. Bisherige Techniken zur Analyse stossen an ihre Grenzen. Während die bei Tests und Simulationen anfallende Datenmenge immer grösser wird, können einzelne Computer nicht im gleichen Masse erweitert werden. Damit erreicht die bisher übliche Praxis, Daten zur Analyse auf einen Arbeitsplatzrechner zu kopieren, ihr Limit. Hinzu kommt, dass Transfer und Kopieren der Daten selbst zu einem Zeit- und Kostenfaktor wird.

Die Kombination des vorhandenen ASAM Open Data Services (ODS) Standards, ein von der Automobilindustrie entwickelter Standard zur Verwaltung von Testdaten, mit Big Data bietet einen Ausweg. Unglücklicherweise entstammt ASAM ODS, aus einer Zeit vor Big Data und wurde bislang unabhängig weiterentwickelt. Erst seit kurzem gibt es erste Bemühungen, ODS und Big Data zusammenzubringen.

In diesem Vortrag beleuchtet Simon Skoczylas die verschiedenen Möglichkeiten der Verwaltung von Test- und Simulationsdaten und der Analyse mit Big Data Technologien beleuchtet werden. Wie kommen ASAM ODS und Big Data zusammen?

7c61dd08cacb66024f77fc45f51899f9?s=128

Karakun

November 23, 2021
Tweet

Transcript

  1. 1 Management und Analyse von Test- und Simulationsdaten Simon Skoczylas

  2. 2 Simon Skoczylas • Senior Software Engineer • Sprecher auf

    Konferenzen (Web, Java) • Eclipse openMDM Committer • ASAM ODS Maintenance Member
  3. 3 Agenda • Test- und Simulationsdaten • Datenmanagement mit ASAM

    ODS • ASAM ODS und Big Data • Analyse von Testdaten auf Basis von ASAM ODS
  4. 4 Test- und Simulationsdaten

  5. 5 Wo entstehen Daten? Simulation Prüfstand Betrieb

  6. 6 Bussysteme CAN FlexRay LIN Ethernet und viele mehr

  7. 7 Quellen Bremsen Navi / Audio und viele mehr Regensensor

    Airbag Motor Licht
  8. 8 Datenmanagement mit ASAM ODS

  9. 9 Motivation ? Rasante Entwicklung erfordert mehr Tests, und entsprechendes

    Management der Daten
  10. 10 Datenmanagement • Nachvollziehbarkeit • Vergleichbarkeit • Suche • Sicherheit

    • Auswertung / Analyse / KPI
  11. 11 ASAM • Association for Standardization of Automation and Measuring

    Systems • Gemeinnütziger Verband aus Automobilherstellern, Zulieferern, Werkzeuglieferanten, Dienstleistern und Forschungsinstituten • Bereitstellung einer Plattform für Mitglieder zur gemeinsamen Entwicklung von Standards, die die Entwicklung von Fahrzeugen beschleunigen
  12. 12 ASAM ODS • Open Data Services • Erste Version

    1990, kontinuierlich weiterentwickelt (Version 6.1.1, 2021) • Managementsystem für Testdaten • Basis- und Applikationsmodel • Fokus auf Speicherung und Zugriff von Daten aus Tests • Unterstützung für physikalische Größen
  13. 13 Datenmodel • Komponente die getestet wurden • Technische Ausrüstung

    • Informationen zum durchgeführten Test • Metadaten (Person, Datum, usw.) • Sicherheit (Nutzer und Rollen) • Gemessene Daten (Messdaten, oder Massendaten)
  14. 14 Datenmodel Test Projekt Messung Metadaten Messdaten Metadaten Grobe Darstellung

    eines Datenmodells
  15. 15 Speicherung und Zugriff • Durch den Standard definierte Datenbank

    und Dateistruktur • Abbildung des Datenmodels in der Datenbank • Metadaten • Mess- bzw. Massendaten (Datenbank oder Dateien) • Definierte Schnittstellen (RPC, CORBA, HTTP) • Export- und Transportformate (ATF/CLA und ATF/XML) • Keine effiziente Suche möglich
  16. 16 ODS Infrastruktur Client (Desktop/Web) ODS Server Messdaten (ODS Binärformat)

    RPC, CORBA, HTTP Metadaten
  17. 17 Import von Daten ODS Server Messdaten (ODS Binärformat) Metadaten

    Import z.B. CAN-Bus
  18. 18 ASAM ODS und Big Data

  19. 19 Motivation Mehr Sensoren, höhere Datenfrequenzen, mehr Daten

  20. 20 Ansteigende Datenmenge 0 50 100 150 200 250 300

    350 400 450 2019 2020 2021 2022 2023 2024 8 110 290 390 325 400 Terabyte / Monat
  21. 21 ODS und Big Data • Erweiterung des Standards um

    Big Data Connector in Version 6.1.0 • Definition von neuen Exportformaten für Big Data • Avro und JSON für Metadaten • Parquet und Avro für Massendaten
  22. 22 Export aus ODS ODS Server Metadaten Massendaten (ODS Binärformat)

    EXPORT Metadaten Avro/JSON Messdaten Parquet/Avro Big Data
  23. 23 Anmerkungen zum Export • Vorteile • Einfache Umsetzung als

    Ergänzung zu aktuellen ODS Servern • Bekannte Tools im Big Data Kontext können verwendet werden • Nachteile • Durch den Export entsteht ein zusätzlicher Schritt • Doppelte Speicherung der Daten
  24. 24 Alternative Ansätze • Direkter Zugriff auf ODS Daten aus

    der Big Data Infrastruktur • Apache Spark Connector für ODS • ODS Server, der Daten direkt im Big Data Format speichert und liest • Bulk ASAM ODS Plugin (Separates Projekt, noch nicht gestartet)
  25. 25 Analyse von Testdaten auf Basis von ASAM ODS

  26. 26 Motivation • Auswertung • Visualisierung • Vergleich • Reporting

  27. 27 Motivation Analyse über alle Tests mit einer Temperatur über

    95°C Massendaten Analyse über alle Tests vom 01.01.2021 mit einer Temperatur über 95°C Massendaten Metadaten
  28. 28 Direkter Zugriff auf ODS • Daten werden in die

    vorhandene Anwendung geladen • Analyse findet auf dem Client statt • Beispiel: NI DIAdem Client (Desktop/Web) ODS Server
  29. 29 Export für Experten-Tools • Export von relevanten Daten für

    schon bekannte Experten-Tools • Datenmenge wird beim Export reduziert • Analyse findet auf dem Client statt • Analyse abhängig vom Inhalt der exportierten Daten • Beispiel: MATLAB Client (Desktop/Web) ODS Server EXPORT
  30. 30 Einsatz von Big Data Tools • Export in Big

    Data Infrastruktur • Keine oder aufwendige Verknüpfung von Metadaten und Massendaten • Analyse findet in der Big Data Infrastruktur statt • Analyse abhängig vom Inhalt der exportierten Daten • Beispiel: JUPYTER ODS Server EXPORT Big Data
  31. 31 Vollintegrierter Ansatz • Kein Export der Daten notwendig •

    ODS Server der direkt mit der Big Data Infrastruktur arbeitet • Verknüpfung von Metadaten und Massendaten • Analyse findet in der Big Data Infrastruktur statt • Beispiel: Lyzium ODS Server Big Data
  32. 32 Lyzium • Vollintegrierter Ansatz • ODS Server der direkt

    auf Big Data Infrastruktur zugreifen kann • Effiziente Suche möglich • Analyse mit Python in Big Data Infrastruktur • Web-Client • Suchen • Definition von Python Funktionen für die Analyse
  33. 33 Lyzium Infrastruktur Client (Web) Lyzium Server (ODS Server+) Metadaten

    Messdaten Parquet/Avro HTTP Big Data
  34. 34 Vielen Dank! Gibt es noch Fragen? Fachartikel „Test- und

    Simulationsdatenanalyse mit Big Data“ bei Hanser-Automotive https://bit.ly/3bR66OD The new home for your measurement data https://lyzium.com
  35. simon.skoczylas@karakun.com +49 231 3970 9753 @giftkugel https://www.xing.com/profile/Simon_Skoczylas https://www.linkedin.com/in/simon-skoczylas

  36. Karakun GmbH Selkamp 12 44287 Dortmund Deutschland T. E. W.

    +49 231 3970 9753 info@karakun.com www.karakun.com