DATA SCIENCE | BIG DATA ENGINEERING | BIG DATA ARCHITECTURES
MONITORING MODELS
WELKOM EN EET SMAKELIJK!
OM 18:30 GAAN WIJ VAN START
Slide 2
Slide 2 text
Actionable
insights
Embedded
analytics
Use-case discovery
Data science
as-a-service
Integrated
data solutions
Big data
awareness
Training &
consultancy
Onze Sponsor
Slide 3
Slide 3 text
Big Data Scientist Big Data Architect
Big Data Engineer
Onze Sponsor
Slide 4
Slide 4 text
PROGRAMMA
Tijd Activiteit
18:00 Pizza & drinks
18:30 Inleiding, concepten en technieken
19:00 Hands-on
20:45 Wrap up
Slide 5
Slide 5 text
LEERDOELEN
Je leert vandaag:
1. Welke concepten en technieken er zijn voor het toetsen van de juiste werking
van een model in productie;
2. De ELK stack gebruiken om dit te bereiken.
Slide 6
Slide 6 text
EMBEDDED ANALYTICS
INGEST
BIG DATA INFRASTRUCTUUR
BATCH
SPEED
EXECUTION
stream
processing
engine
data lake
processing
engine
data api
model store
(cache)
data ingest
enterprise
systems
DATA SCIENCE LAB
DATA SCIENCE CLUSTER
data lake
processing
engine
data science
hub
Slide 7
Slide 7 text
CONCEPTEN
Perspectief Doel Middel
Applicatie Wat is er gebeurd? Logging
Request Waar is een request geweest? Tracing
Operations Werkt het nog? Monitoring
Data science Werkt het goed? Monitoring
Slide 8
Slide 8 text
No content
Slide 9
Slide 9 text
CONCEPTEN
Perspectief Doel Middel
Applicatie Wat is er gebeurd? Logging
Request Waar is een request geweest? Tracing
Operations Werkt het nog? Monitoring
Data science Werkt het goed? Monitoring
Slide 10
Slide 10 text
No content
Slide 11
Slide 11 text
CONCEPTEN
Perspectief Doel Middel
Applicatie Wat is er gebeurd? Logging
Request Waar is een request geweest? Tracing
Operations Werkt het nog? Monitoring
Data science Werkt het goed? Monitoring
Slide 12
Slide 12 text
No content
Slide 13
Slide 13 text
CONCEPTEN
Perspectief Doel Middel
Applicatie Wat is er gebeurd? Logging
Request Waar is een request geweest? Tracing
Operations Werkt het nog? Monitoring
Data science Werkt het goed? Monitoring
Slide 14
Slide 14 text
No content
Slide 15
Slide 15 text
No content
Slide 16
Slide 16 text
No content
Slide 17
Slide 17 text
RELEVANTE METRICS
1. Operations
1. Throughput
2. Request latency (gemiddeld of percentielen)
3. Error rate
2. Data science
1. Coverage
2. Accuracy
3. Verdeling tussen classes
Vergelijken van modellen (A/B testing, shadow mode)
Slide 18
Slide 18 text
No content
Slide 19
Slide 19 text
RELEVANTE METRICS
1. Operations
1. Throughput
2. Request latency (gemiddeld of percentielen)
3. Error rate
2. Data science
1. Coverage
2. Accuracy
3. Verdeling tussen classes
Vergelijken van modellen (A/B testing, shadow mode)
Slide 20
Slide 20 text
CONCEPTEN
Perspectief Doel Middel
Applicatie Wat is er gebeurd? Logging
Request Waar is een request geweest? Tracing
Operations Werkt het nog? Monitoring
Performance Werkt het goed? Monitoring
Slide 21
Slide 21 text
TECHNIEKEN
Logging Tracing Monitoring
Data backends
Slide 22
Slide 22 text
USE CASES – OPERATIONAL DASHBOARD
• Overzicht
• Wat gaat er nu fout?
• Prometheus + Grafana
+ Snel
+ Geschikt voor tijdreeksen
- Weinig detail
Slide 23
Slide 23 text
USE CASES – DEEP DIVE
• Uitzoek- en speurwerk
• Begrijpen wat er gebeurt
• ELK stack
+ Gedetailleerd
- Textueel
Slide 24
Slide 24 text
ELK STACK
Slide 25
Slide 25 text
HANDS-ON
• Data science modellen
• 6 opdrachten
• Een aantal open opdrachten
Slide 26
Slide 26 text
ELK STACK
Slide 27
Slide 27 text
WRAP UP
We hebben geleerd:
1. Welke concepten en technieken er zijn voor het toetsen
van de juiste werking van een model in productie;
2.De ELK stack gebruiken om dit te bereiken.
+31 (0)1 - 68479294
Coltbaan 4E, Nieuwegein
[email protected]
www.bigdatarepublic.nl
bigdata-republic
@bigdatarep
DATA SCIENCE | BIG DATA ANALYTICS | BIG DATA ARCHITECTURES