VAN VIDEOBEELDEN NAAR GESTRUCTUREERDE DATA VOOR VOORRANGSVOERTUIG ONDERZOEK IBS: Fabian Langer NIPV: Vincent Jansen

Isatis Business Solutions biedt data-specialisten en oplossingen op maat. Met complexe data bouwen wij duidelijke oplossingen.

Data Solutions •Business Intelligence •Data Engineering •Data Modelling •Front End Development •Data Warehousing Data Science •Statistische Analyse •Machine Learning •Data Analyse •Business case tot inzichten •Process mining Agile Product Management •Scrum Master •Product Owner •Inrichten van Scum werkwijze •Team optimalisatie •Agile training Data Management •Data Strategies •Data Management Tool Kit •Data Governance& Quality •Data gedreven werken

► Onderwijs ► Ondersteuning ► Onderzoek ► Informatie Nederlands Instituut Publieke Veiligheid Verbinden veiligheidsregio’s, Rijksoverheid en crisispartners met:

HOE IS IBS BETROKKEN? NIPV zocht Data Analisten

HOE IS IBS BETROKKEN? Aangenomen als Data Analist Expertise in Data Science NIPV ambities voor Machine Learning

HOE IS IBS BETROKKEN? Data Collection Data Insights Predictions Kennis vergaren over: ▪ Data Kwaliteit ▪ Data Hoeveelheid ▪ Business Cases Kansen spotten voor Machine Learning en deze realiseren.

No content

Er is geen (wetenschappelijk) onderzoek naar de vraag wat het gebruik van OGS in Nederland bijdraagt aan het snel ter plaatse komen en welke factoren daarbij een rol spelen. Aanleiding onderzoek Kans op ongeval bij rijden met OGS is 30x hoger dan zonder OGS (Ongevallenstatistiek 2018-2019). Brancherichtlijn: “”gebruik OGS alleen indien daartoe voldoende noodzaak bestaat waarbij de bestuurder een afweging moet maken tussen het te nemen risico en beoogde doel”.

► Verzamelen van data d.m.v. dashcams (met GPS) Praktijkonderzoek ► Gebruik van bijscholingsritten op de openbare weg ► Parameters: ► Discipline (Politie, Brandweer, Ambulance) ► Verkeerssituatie (Binnen BBK, Buiten BBK, Snelweg) ► Prioriteit (gebruik OGS/zonder)

Kansen pakken!? •Project met kans gevonden! Van Videobeelden naar Gestructureerde Data. •Dataplatform?

► Veilig dataplatform Databricks Pilot met JenV Datalab ► Samenwerking met JenV Datalab, NFI, JUSTID en IVO Rechtspraak

Pyscenedetect - Scene detection ► Verkennen traditionele beeldanalyse ► Over het algemeen slecht idee binnen image recognition: Deep learning >>> traditional computer vision ► Echter, betrekkelijk eenvoudige detectie ► Unsupervised ► Parcimonie: als twee modellen dezelfde resultaten genereren, gebruik dan een eenvoudiger model ► Vereist minder compute power, sneller resultaten

Pyscenedetect - Scene detection ► Detecteren van scenes ► Grote overgangen in beeld

Pyscenedetect - Scene detection ► Overgangen – normale rijomstandigheden

Pyscenedetect - Scene detection ► Overgangen – kaart in beeld

Pyscenedetect - Scene detection ► ~90-95 % accuraatheid ► ~90% van totaal gevonden ► Nadere verkenning vals positieven ► Door tunnel rijden ► Geparkeerd staan, van geparkeerd staan gaan rijden ► Vals negatieven: (net) buiten gestelde grenswaarde

CLIP – Hoe werkt het? ► CLIP is een AI die afbeeldingen kan vergelijken met tekst ► Vraag: “hoeveel lijkt deze afbeelding op deze tekst?” ► Antwoord: score tussen de 0 en 1 (cosine similarity) ► Technisch: van zowel afbeelding als tekst wordt een embedding gemaakt in dezelfde vectorruimte https://openai.com/research/clip

CLIP – Hoe werkt het? ► Belofte: robuust en efficiënt ► Ook inzetbaar voor “slechtere” foto’s ► Nodig: ► Foto’s om te trainen ► Foto’s voor de “others”-klasse ► Foto’s om te evalueren ► Een zin die je klasse goed beschrijft (prompt) https://openai.com/research/clip

CLIP – Hoe werkt het? ► Prompts: ► - “a screenshot made by a dashcam” ► + “a colored card partially obscuring the camera” ► + “a colored card fully obscuring the camera” ► Sla predictie op n.a.v. probability thresholds

► SotA model getrained op ImageNet ReaL ► Gefinetuned op gelabelde dataset ViT – Vision Transformer Classificatiemodel Link to original paper: https://arxiv.org/abs/2010.11929

Overzicht Resultaten Accuraatheid Scene detect CLIP Methode Pros Cons Weinig rekenkracht Geen kleurdetectie + Werkt direct Kleurkaartdetectie - Werkt niet altijd even goed - Veel rekenkracht + +++ ViT Hoge accuraatheid Kleurkaartdetectie - Veel rekenkracht - Trainingsdata nodig Manueel Flexibel en laagdrempelig Tijdsintensief Repetitief +/-

Wat betekent deze samenwerking voor NIPV? Inzicht gekregen in: • Praktische toepassing van DL bij onderzoeksdomein • (on)mogelijkheden van diverse DL-modellen • Infrastructuur en Kennis die nodig is Winst die te behalen is in het versnellen van analyses.

Bedankt! NIPV: Vincent Jansen IBS: Fabian Langer NFI: Edwin Rijgersberg, Claire Wagenaar Justid: Rick Kosse IVO Rechtspraak: Minke Brandenburg JenV Datalab: Dennis van Muijen, Martha van Kempen

Vragen? Benieuwd wat Isatis Business Solution voor jou kan betekenen op het vlak van Generative AI, Data Solutions, Data Science, Data Management of Agile Product Management? We zien je graag bij onze stand! - Stand 10