Monitoring data science models in production

Dutch slides for this meetup: https://www.meetup.com/Hands-On-Big-Data-Architecture/events/239208075/

Monitoring, logging and tracing are often after thoughts for data science models. When done properly though, they can help detect and mitigate issues with operational performance, accuracy, and improve the ability to debug. In this presentation, we discuss the concepts, techniques and tools to accomplish those goals.

Transcript

1. DATA SCIENCE | BIG DATA ENGINEERING | BIG DATA ARCHITECTURES MONITORING MODELS WELKOM EN EET SMAKELIJK! OM 18:30 GAAN WIJ VAN START
2. Actionable insights Embedded analytics Use-case discovery Data science as-a-service Integrated data solutions Big data awareness Training & consultancy Onze Sponsor
3. Big Data Scientist Big Data Architect Big Data Engineer Onze Sponsor
4. PROGRAMMA Tijd Activiteit 18:00 Pizza & drinks 18:30 Inleiding, concepten en technieken 19:00 Hands-on 20:45 Wrap up
5. LEERDOELEN Je leert vandaag: 1. Welke concepten en technieken er zijn voor het toetsen van de juiste werking van een model in productie; 2. De ELK stack gebruiken om dit te bereiken.
6. EMBEDDED ANALYTICS INGEST BIG DATA INFRASTRUCTUUR BATCH SPEED EXECUTION stream processing engine data lake processing engine data api model store (cache) data ingest enterprise systems DATA SCIENCE LAB DATA SCIENCE CLUSTER data lake processing engine data science hub
7. CONCEPTEN Perspectief Doel Middel Applicatie Wat is er gebeurd? Logging Request Waar is een request geweest? Tracing Operations Werkt het nog? Monitoring Data science Werkt het goed? Monitoring
9. CONCEPTEN Perspectief Doel Middel Applicatie Wat is er gebeurd? Logging Request Waar is een request geweest? Tracing Operations Werkt het nog? Monitoring Data science Werkt het goed? Monitoring
11. CONCEPTEN Perspectief Doel Middel Applicatie Wat is er gebeurd? Logging Request Waar is een request geweest? Tracing Operations Werkt het nog? Monitoring Data science Werkt het goed? Monitoring
13. CONCEPTEN Perspectief Doel Middel Applicatie Wat is er gebeurd? Logging Request Waar is een request geweest? Tracing Operations Werkt het nog? Monitoring Data science Werkt het goed? Monitoring
17. RELEVANTE METRICS 1. Operations 1. Throughput 2. Request latency (gemiddeld of percentielen) 3. Error rate 2. Data science 1. Coverage 2. Accuracy 3. Verdeling tussen classes Vergelijken van modellen (A/B testing, shadow mode)
19. RELEVANTE METRICS 1. Operations 1. Throughput 2. Request latency (gemiddeld of percentielen) 3. Error rate 2. Data science 1. Coverage 2. Accuracy 3. Verdeling tussen classes Vergelijken van modellen (A/B testing, shadow mode)
20. CONCEPTEN Perspectief Doel Middel Applicatie Wat is er gebeurd? Logging Request Waar is een request geweest? Tracing Operations Werkt het nog? Monitoring Performance Werkt het goed? Monitoring
21. TECHNIEKEN Logging Tracing Monitoring Data backends
22. USE CASES – OPERATIONAL DASHBOARD • Overzicht • Wat gaat er nu fout? • Prometheus + Grafana + Snel + Geschikt voor tijdreeksen - Weinig detail
23. USE CASES – DEEP DIVE • Uitzoek- en speurwerk • Begrijpen wat er gebeurt • ELK stack + Gedetailleerd - Textueel
24. ELK STACK
25. HANDS-ON • Data science modellen • 6 opdrachten • Een aantal open opdrachten
26. ELK STACK
27. WRAP UP We hebben geleerd: 1. Welke concepten en technieken er zijn voor het toetsen van de juiste werking van een model in productie; 2.De ELK stack gebruiken om dit te bereiken.
28. WRAP UP
29. WRAP UP .es('model:"predicted"', timefield=“time” metric='avg:temperature') .subtract( .es('model:"measured"', timefield=“time”, metric='avg:temperature') ) .abs() .mvavg(5)
30. +31 (0)1 - 68479294 Coltbaan 4E, Nieuwegein info@bigdatarepublic.nl www.bigdatarepublic.nl bigdata-republic @bigdatarep DATA SCIENCE | BIG DATA ANALYTICS | BIG DATA ARCHITECTURES