Van complexe tuchtzaken naar bruikbare content: generative AI in de praktijk

Transcript

1. Van knowledge base tot browserplugin Zo zet je AI effectief in voor jouw organisatie Marin Schrijen · Lead Strategie & Innovatie, Stichting DSI Data Expo 2026
2. EVEN IETS RECHTZETTEN Dienst Speciale Interventies Wie dacht dat hij hiervan een presentatie kwam bijwonen? 2
3. 27 jaar kennis. Eén hoofd. DSI bestaat sinds 1999. Zo’n 50 tuchtuitspraken en 17 uitspraken van de commissie van beroep: openbaar, als PDF, op onze eigen site. En één legal-collega die ze allemaal in zijn hoofd heeft zitten. 3
4. Maak kennis met DSI De vier kernfuncties van DSI: Accrediteren Certificeren Permanent Leren Inspireren Onafhankelijke stichting, in 1999 door en voor de financiële sector opgericht. Staat voor een betrouwbare financiële sector met vakbekwame en integere professionals. 4
5. Waar de sector zich aan committeert • Committeren aan DSI gedragscode • Gedragscode vertaald in 10 kernprincipes • • • 5 Neem verantwoordelijkheid Focus op klantbelang Gedraag je zorgvuldig Toon leiderschap Leef de regels na Waarborg vertrouwelijkheid Wees duidelijk over belangen Communiceer open Toon deskundigheid Handel eerlijk Handhaving na melding Mogelijke tuchtzaak en tuchtuitspraak Van tuchtuitspraak naar artikel zodat iedereen er van kan leren Een uitspraak wordt pas een les als je hem aan een principe koppelt.
6. Zo ziet dat er nu uit
7. Zo ging het Een uitspraak kwam op twee manieren bij de sector terecht. Allebei leverden ze weinig op. NIEUWE UITSPRAAK KERNPRINCIPE UITLICHTEN Een kort bericht op de site We vroegen het aan de legal collega Met de volledige juridische uitspraak als PDF eronder. Wie Hij herinnerde zich de juiste zaak en schreef het stuk. Van het écht wil weten, leest twintig pagina's. idee tot artikel: drie tot vier weken. Geen leereffect En als hij een drukke week had of met vakantie was? 7 Weinig leereffect
8. “We teerden op zijn brein.” Dat is geen toekomstbestendige manier van werken. 8
9. Maar dat was niet het echte probleem 9 Wat iedereen ziet Wat er werkelijk speelde Het duurde lang en er gebeurde weinig Wij wilden véél meer met die uitspraken doen, maar hadden er de capaciteit niet voor. 27 jaar een handvol aan learnings artikelen per jaar
10. De vraag die we onszelf stelden Kunnen we van die 27 jaar iets maken waar de sector daadwerkelijk van leert? Leren betekent bij ons: een uitspraak koppelen aan een van onze tien kernprincipes. Daar zo meer over. 10
11. Dit was geen AI project Het schrijven van een artikel + het koppelen aan de kernprincipes gebeurde uit het hoofd. 1 2 3 Ik deelde de uitdaging met Hij zag er een AI-oplossing Hij haakte slimme collega’s een collega consultant in aan Ik ben niet een AI-project gestart. Ik heb een probleem hardop uitgesproken. 11 4 We gingen brainstormen
12. En het paste in wat we al wilden “Op de website zullen we actief content genereren op gerichte thema’s. Mogelijk in combinatie met AI, waarbij menselijke controle op juistheid en relevantie van belang is”. DSI Strategie 2026–2028 Deze zin beschreef precies waar we heen wilden, dus hoefde ik niemand te overtuigen dát dit erbij hoorde. Een AI-initiatief dat niet aansluit bij je strategie, komt nooit in productie. 12
13. Dus gingen we bouwen. Maar eerst een paar keuzes. Geen nieuw AI-team, maar een bestaande partner. Klein beginnen, met een mens die eindverantwoordelijk blijft. 13
14. Wat het moest worden Uit het brainstormen kwam één idee: een bot die zélf de artikelen schrijft. Daar legden we drie eisen onder. Zinnige artikelen In onze eigen stem Flexibel Over echte tuchtzaken, waar de Herkenbaar als DSI: onze toon, onze Verschillende soorten artikelen voor sector iets van kan leren. Geen kernprincipes, onze manier van verschillende doelgroepen. Niet één samenvatting van een juridisch uitleggen. vaste vorm. document. Die drie eisen bepaalden waaruit we het gingen opbouwen. 14
15. Vier bouwstenen 1 Knowledge base Agents Alle tuchtuitspraken, publicaties en domeinkennis. Nu 82 Digitale journalisten. Elk met één taak en een eigen documenten, bewust begrensd op 250. system prompt. 3 Flows Een reeks agents die samen één soort artikel maakt. 15 2 4 Schrijversprofielen Stijl, vorm en tone of voice. Per flow te kiezen.
16. De knowledge base wordt slimmer …naarmate je hem vult. Bij elk nieuw document controleert de achterkant of er verbanden te leggen zijn met wat er al in zit. Er ontstaat een web van logica, de RAG-agent wordt daardoor met elk document beter. RAG · retrieval-augmented generation Bij elke vraag worden eerst de relevante passages uit onze eigen documenten opgezocht. Die krijgt het taalmodel mee als bron. Het schrijft dus uit onze stukken, niet uit zichzelf. 16 82 van 250 documenten
17. Waar het op draait Mendix n8n OpenRouter De voorkant. Hier stel je de De achterkant: een Eén ingang naar meerdere agents, flows en workflow-tool. Agents zijn hierin taalmodellen. schrijversprofielen in, en hier ketens van stappen: data ophalen, bedien je het geheel. Nieuw prompt naar het model, door naar gebouwd voor de bot. de volgende agent. Die laatste keuze is niet technisch maar strategisch: We hebben ons niet aan één model vastgelegd. 17
18. Zo gebruik je het Prompt invoeren 18 → Schrijversprofiel kiezen → Flow toepassen → Concept binnen seconden
19. Van idee naar productie in een half jaar 19 Oktober Enkele weken later Winter Maart / april Start met Clevr V1 op acceptatie V2 en V3 Productie
20. Versie 1 versus versie 2 en 3 v1 — oktober v2/v3 — maart/april Flow vast, altijd alle agents flexibel, agents eruit of erbij Lengte lang: titel-, outline-, conclusie-agent veel korter: een titel kan in de schrijfagent Ophalen altijd RAG keuze: RAG of gewone agent Kwaliteit werkbaar duidelijk beter Testen hele flow opnieuw draaien herstart vanaf de agent die je aanpaste We dachten dat meer agents meer kwaliteit betekende. Het omgekeerde bleek waar. 20
21. Wat ik dacht dat het werk was Verwacht Werkelijkheid Architectuur Talloze uren Integraties in prompts Modelkeuze 21
22. ▶ Leermomenten
23. Wat een prompt goed maakt 1 2 3 4 23 Zeg wat de agent níet moet doen Minstens zo bepalend als wat hij wél moet doen. Geef taalvoorbeelden Beschrijven hoe iets moet klinken werkt niet. Laten zien wel. Wees specifiek of juist bewust níet Te veel sturing maakt de output vlak. Per agent ligt dat omslagpunt ergens anders. Prompt en taalmodel zijn één geheel Dezelfde prompt geeft op een ander model een ander resultaat.
24. En zo ziet één agent er écht uit De system prompt van onze composition-agent. Elke agent in de flow heeft er zo één. # AGENT 1003 - COMPOSITION AGENT (PROFIEL-DRIVEN, ARTIKEL-GEBONDEN) ## DIRECT COMMANDO JE SCHRIJFT NU METEEN. Geen analyses, geen validatie, geen checklists. Je output is UITSLUITEND de geschreven tekst (+ bronvermelding). Niets anders. Geen metadata, geen woordtelling, geen beschrijvingen. SCHRIJF. PUNT. Les 1: zeg wat hij níet moet doen “ABSOLUUT VERBODEN: externe kennis toevoegen, analyses in output, woordtellingen.” ## PROFIEL IS LEIDEND Het schrijversprofiel bepaalt ALLES zonder voorbehoud: - Target audience, expertise level, writing style, tone, voice - Paragraph size, vocabulary level, sentence complexity - Opsommingstekens, koppen, koppenconventie, alles ## KRITISCH: JE SCHRIJFT ARTIKEL-GEBONDEN Dit is geen aparte columnistische reflectie. Je duidt het artikel uit dat je ontvangt van Agent 1001. Lezers moeten constant weten: dit is duiding OP dit artikel. 1. Ontvang artikel-data van Agent 1001 (titel, bron, URL, kernvraag) 2. Schrijf 4-staps structuur 3. Voeg bronvermelding toe 4. Controleer: staat het artikel min. 2-3x expliciet genoemd? ## DE 4-STAPS STRUCTUUR (ALTIJD) ### JE is verplicht (NOOIT U), persoonsvorm volgt PROFIEL FOUT: "Vraag uzelf af...", "Bescherm uw clienten..." GOED: "Vraag jezelf af...", "Bescherm je clienten..." - Profiel zegt "je-vorm" -> "Vraag jezelf af: ..." - Profiel zegt "derde persoon" -> "Professionals vragen zich af: ..." ### Stap 1: Aanleiding (artikel-anker) Wat stelt het artikel? Wie zegt het? Waarom raakt dit professionals? ### Stap 2: DSI-duiding (artikel-gevolg) Werk de 2-3 DSI-principes in die Agent 1002 aanleverde. Per principe: noem het expliciet en zet om in: wat moet de professional ANDERS doen? ### Stap 3: Wat leert dit professionals? ### Stap 4: Reflectieve afsluiting (artikel-vraag) Formuleer deze vraag vrij - gebruik geen vaste zinsopening. ## ABSOLUUT VERBODEN - Externe kennis toevoegen (alleen van Agent 1001/1002) - Analyses/checklists in output, woordtellingen, metadata Les 2: geef taalvoorbeelden “FOUT: Vraag uzelf af… GOED: Vraag jezelf af…” Les 3: of juist bewust níet specifiek “Formuleer deze vraag vrij. De voorbeelden zijn illustraties, geen templates.” Je hoeft dit niet te lezen. Dat is precies het punt. 24
25. Een agent kan niet terugvragen In een flow gaat het werk één kant op. Agent 2 kan niet zeggen: ik snap het even niet, ga terug naar agent 1. Agent 1 → Agent 2 → Agent 3 → Resultaat terug kan niet Alles wat agent 2 nodig heeft, moet dus al kloppen voordat hij begint. Je kunt fouten niet later herstellen, alleen vooraf uitsluiten. 25
26. “USE YOUR BRAIN” is geen system prompt. In een chatvenster kun je terugpraten. In een flow niet. 26
27. Versiebeheer v1 Na vier aanpassingen bleek de eerste versie soms de beste. Zonder versiebeheer op je prompts weet je niet meer wat je hebt v2 weggegooid. v3 Behandel prompts als code, niet als tekst in een veld. En elke test kostte in een eerste versie een hele flow. Nu herstart ik vanaf de agent die ik aanpas. 27 v4 toch de beste
28. Ik heb mijn laptop bij vlagen bijna uit het raam gegooid. Uren werk, en de output klopte niet. Een prompt die het gisteren deed en vandaag niet, maar niet snappen waarom. 28
29. Wat dit kost In uren Bij DSI Bij Clevr 1 persoon ± 50 uur veel uren, verspreid over een half jaar blauwdruk, architectuur in n8n, het Mendix-werk In € • Licentie n8n van € 21 • Credits bij OpenRouter voor de verschillende taalmodellen (mogelijkheid om kostenbewust te sturen) Doordat Clevr het bouwwerk deed, kon ik mij volledig richten op de prompts en de output. Daar kwam de kwaliteit 29 vandaan.
30. Wat het oplevert 82 5 min 20-30 27 jaar documenten in de voor een concept was 3 à 4 artikelen inmiddels gedraaid aan uitspraken ontsloten; knowledge base, van weken van idee tot artikel niet langer één hoofd maximaal 250 En de reactie van die collega? Opluchting. Niet “neemt dit mijn werk over”, maar “eindelijk kan ik met die uitspraken doen wat ik altijd al wilde”. 30
31. En dit komt eruit Zelfde soort uitspraak. Vijf minuten later. Kernprincipes, automatisch gekoppeld. Voorbeeldweergave — dit artikel staat niet op de site 31
32. Waarom dit in de financiële sector kán Openbaar en Wat we bewust níet doen Altijd een mens Alle tuchtuitspraken die we Overwegingen van advocaten en Er kijkt altijd een mens naar de gebruiken staan al openbaar en rechters zijn niet geanonimiseerd. Ze output. Ook als die goed is. Dat is geanonimiseerd op onze site. Dat is zouden de output beter maken, en geen tijdelijke maatregel, dat is de waarom deze use case veilig kon tóch liggen ze buiten de knowledge regel. starten. base. geanonimiseerd Deze grens kost ons kwaliteit. We trekken hem toch. 32
33. Een vraag die pas kón ontstaan toen de structuur flexibel was “Als we flows zelf kunnen samenstellen, kunnen we dan ook iets doen met content die er al is?” Bij een vaste flow was dit een nieuw project geweest. Nu was het een nieuwe flow; dezelfde flexibiliteit die vandaag op productie draait. 33
34. De browserplugin Chrome-plugin. Je staat op een artikel: een nieuwsbericht, een publicatie van een toezichthouder, een sectorartikel. Je kiest een flow en een schrijversprofiel. Dezelfde bouwstenen. Dezelfde knowledge base. Ander startpunt. 34
35. Twee dingen die de plugin doet Artikel samenvatten Verrijken met DSI-input Een lang stuk terugbrengen tot wat ervan telt. Het artikel duiden vanuit onze context en onze tien kernprincipes. Dat tweede is het interessante: we hoeven niet te wachten tot iemand tijd heeft om een sectorontwikkeling te duiden. We plaatsen actuele content in ons eigen kader, op de dag dat het speelt. 35
36. Hoe de kernprincipes erin zitten Simpeler dan mensen verwachten. Onze tien kernprincipes staan als document ín de knowledge base. Plus een link in de RAG naar de pagina op onze site. Geen aparte agent of apart systeem. Juist daardoor kan élke flow ze meenemen. Elk artikel, elke samenvatting, elke plugin-actie: de principes zijn er altijd bij. 36
37. De plugin was geen tweede project Hij was mogelijk omdát we de architectuur flexibel hadden gemaakt. Een goede architectuur levert producten op die je niet gepland had. Dat is het verschil tussen een oplossing en een platform. 37
38. Wat nog niet af is Dit draait in productie. Af is het niet. Modelbeheer is handwerk Storingen zoeken kost tijd Ik houd zelf bij of taalmodellen nog actief zijn en of er Als een agent vastloopt, zoek ik het zelf uit in n8n. Ligt het nieuwere versies zijn. Dat vraagt scherpte, en het is aan de prompt, aan het model, of is er storing? precies het werk dat je vergeet zodra het systeem loopt. 38
39. Zeven lessen 1 2 3 4 39 Begin bij een probleem dat al in je strategie staat. Anders blijft het een pilot. Minder agents, betere prompts. Onze v2 was korter dan v1 en beter. De kwaliteit zit in de prompt, maar wel in combinatie met het model. Zet versiebeheer op je prompts vanaf dag één. 5 6 7 Ontwerp voor een flow die niet terug kan. Wat een agent nodig heeft, moet vooraf kloppen. Bouw flexibel, ook als je maar één ding wilt maken. En zorg dat je losse stappen apart kunt draaien. Omring je met slimme mensen. Weten wat je zelf níet moet doen is een strategische keuze.
40. Waar we begonnen 27 jaar kennis. Eén hoofd. Waar we nu staan Een knowledge base die slimmer wordt met elk document dat we toevoegen. Marin Schrijen · Stichting DSI · Hier begint vertrouwen 40