TNO

Transcript

1. OP WEG NAAR BETROUWBARE AI BIJ OVERHEDEN JOK TANG – ADJUNCT MANAGER DATA SCIENCE (TNO, UNIT ICT) Data Insight Conference, 22 juni 2022, Utrecht Copyright © 2022 TNO, The Hague Alle rechten voorbehouden. De informatie in dit document mag niet zonder de schriftelijke toestemming van TNO aan derden ter inzage of beschikking worden gesteld.
2. 2 EVEN KENNISMAKEN
3. “VLIEGWIEL VOOR INNOVATIE” TNO: SLIMME OPLOSSINGEN VOOR KLANTEN & PARTNERS ONTWIKKELEN FUNDAMENTALE KENNIS KENNIS ONTWIKKELING KENNIS TOEPASSING KENNIS TRANSFER KLANTEN & PARTNERS TNO is in 1932 bij wet opgericht om kennis toepasbaar te maken voor bedrijven en overheden. Als publiekrechtelijke organisatie hebben we een onafhankelijke positie. 3
4. TNO ICT DATA SCIENCE 4
5. 5 AI IN DE MEDIA...
6. 6 POLL TIJDENS EEN TNO-INFORMATIESESSIE (2021) Wat vinden jullie belangrijk?
7. 7 DE WEG NAAR BETROUWBARE & VERANTWOORDE AI Richtlijnen vanuit Ministerie Justitie en Veiligheid Link: rijksoverheid
8. 8 DE WEG NAAR BETROUWBARE & VERANTWOORDE AI Richtlijnen vanuit Europese Commissie (link) The European ethics guidelines on trustworthy AI state that it should be: • Lawful – respecting all applicable laws and regulations • Ethical - respecting ethical principles and values • Robust – both from a technical perspective while taking into account its social environment These guidelines translate into 7 key requirements that AI systems should meet , the principles of trustworthy AI. Trustworthy principles Trustworthy AI Societal & environmental well-being Non-discrimination & fairness Transparency Privacy & Data Governance Technical Robustness & Safety Human agency & Oversight Accountability
9. EUROPESE WETGEVING OP KOMST Welke impact voor overheden? Afhankelijk van: • Of overheden AI (willen gaan) gebruiken • En of AI (mogelijke) onzekerheden en risico’s heeft 9
10. “NISSEWAARD-CASUS” EEN CASUS TER TOELICHTING Maar.... Hoe goed of hoe slecht is het gebruikte AI-algoritme nu echt?
11. Algoritme voor opsporen van misbruik en oneigenlijk gebruik in bijstand. Het algoritme was ontwikkeld door Totta Data Lab. Gemeente Nissewaard heeft TNO gevraagd om een onderzoek. Eindrapport is publiekelijk beschikbaar (link). 11 TNO-ONDERZOEK NAAR AI-ALGORITME NISSEWAARD-CASUS Ethische Richtlijnen Interviews Inspectie code en data
12. 12 Het AI-algoritme is ondersteunend aan het werk van de sociaal rechercheurs. Suggesties van algoritme zijn een deel van input. De verantwoordelijkheid van de beoordeling van casussen ligt bij de sociale rechercheurs. Voordeel van inzet van algoritme: voorkomen dat burgers onnodig gecontroleerd worden. POSITIEVE BEVINDINGEN
13. Reproduceerbaarheid niet op orde Codekwaliteit niet op peil Wetenschappelijke exploratiecode, géén productiecode. 13 HIGHLIGHT 1: AUDITEERBAARHEID VERBETERPUNTEN Piet in de top 10 Piet NIET in de top 300 13
14. Doeltreffendheid onvoldoende onderzocht Uitsluitend een anekdotische evaluatie Willekeurigheid van de algoritme-uitkomsten niet in acht genomen in de inbedding. 14 HIGHLIGHT 2: DOELTREFFENDHEID VERBETERPUNTEN 14
15. Op methodologisch vlak: De methodiek van het AI-algoritme dient verbeterd en zorgvuldig getest te worden. Op code-technisch vlak: De code van het AI-algoritme en bijbehorende documentatie dienen geprofessionaliseerd te worden. Op procesmatig vlak: Doeltreffendheid van het AI-algoritme dient structureel te worden gemonitord. In een observatieperiode en in een veilige testomgeving (“zandbak”) kan de adequaatheid van een verbeterd AI-algoritme verder onderzocht worden. 15 AANBEVELINGEN AAN NISSEWAARD
16. TNO-onderzoek concludeert algoritme is van onvoldoende kwaliteit. Nissewaard besloot vervolgens om algoritme te stoppen. Misbruik en oneigenlijk gebruik van bijstand wordt weer met de hand gedaan. 16 IMPACT VAN NISSEWAARD-CASUS
17. Nogmaals de positieve noot: Gemeente Nissewaard had goede intenties met AI-algoritme. Uitdaging om abstracte richtlijnen te operationaliseren. TNO impact: Handboek voor reproduceerbaarheid 17 IMPACT VAN NISSEWAARD-CASUS Wel heel makkelijk met vinger wijzen...  Mooie (ook inhoudelijke discussie) over eindrapport... ☺
18. Probleem: experimenteren met AI EC: regulatory sandboxes (“regelgevende zandbakken”) TNO: inclusieve “Trustworthy AI” experimenten Via b.v. AI Oversight Lab Kansen en onzekerheden (risico’s) omtrent AI Veel organisaties en bedrijven nog huiverig Ligt heel gevoelig bij media en burgers Veel ethische kaders ontwikkeld, nu richting AI governance en van experiment naar implementatie 18 AI ACT & REGULATORY SANDBOXES Vergelijk betrouwbare AI met betrouwbare auto
19. 19 TRUSTWORTHY AI – EEN ONTWIKKELMETHODIEK • Inclusieve AI • Publiek waarden • Technisch demonstreren van betrouwbaarheid • Lange-termijn impact meten • Feedback-loops met eindgebruikers Zie AI in de publieke sector | TNO
20. VERDER (FUNDAMENTEEL) ONDERZOEK VEREIST! 20 Link: NL AI Coalitie
21. Verschillende Stakeholderprojecten Lab Room 1 AI in het kader van beleid en regelgeving Lab Room 2 Best practices en vereisten voor instrumenten FOCUS OP BETROUWBARE & VERANTWOORDE AI-ALGORITMES TNO’S AI OVERSIGHT LAB 21 systeemaanpak & co-creatie met partners → innovatie om vertrouwen in AI-algoritmes te vergroten APPL.AI
22. VISIE: NATIONALE FACILITEIT VEREIST BETROUWBARE AI: GEZAMENLIJKE INSPANNING 22 Overheden & andere publieke partijen Kennisinstituten & universiteiten Softwarebedrijven Auditors & overig bedrijfsleven Ecosysteem voor ontwikkelen, testen en verbeteren van AI-toepassingen (link).
23. TAKE-HOME MESSAGES 23 AI kan zeker meerwaarde hebben voor jouw organisatie. Laat je niet ontmoedigen. Laat je goed adviseren over de onzekerheden en risico’s van jouw (potentiële) AI-toepassing. De wetenschap rondom betrouwbare, verantwoorde en ethische AI is nog volop in ontwikkeling. Verbind je met partners om op de hoogte te blijven en om gezamenlijk stappen te zetten. Belangrijk om AI-applicaties eerst veilig te testen (daarna pas experimenteren in praktijk).
24. VRAGEN, OPMERKINGEN EN VERDER CONTACT EMAIL: JOK.TANG@TNO.NL Fijne dag verder en tot zo bij de borrel!