Kritische evaluatie van GenAI-output voor literatuuronderzoek VOGIN workshop Maastricht University Library Marieke Schor Anna-Lena Hoh Janet Turra & Digit / https://betterimagesofai.org / https://creativecommons.org/licenses/by/4.0/ 

Agenda • Introductie • Evaluatiecriteria voor literatuuronderzoek • Hoe zoeken we met AI naar literatuur - Experiment: Zoeken met (hulp van) AI • Analyse & reflectie • Afsluiting - hoe kunnen we dit gebruiken in ons werk (IV onderwijs, support systematisch literatuuronderzoek) • Leesvoer & links 

No content

Introductie 

Maastricht University Library 6 faculteiten Divers en internationaal Bibliotheek voor UM plus Brightlands, MUMC+, Open Universiteit In het hart van de Euregio 

Introductie – wie zijn wij Van informatievaardigheden naar systematisch literatuur onderzoek en Digital Literacy • Skills and Academic Support team • Digital Literacy team • Systematic Literature Review Support team Copyright of Maastricht University 

Zoeken met en zonder AI Traditioneel: • Boolean zoekstrategie per database • Citatiezoeken • Lijst bronnen AI literatuur zoeken • Verzoek in "natuurlijke" taal • Iteratief optimaliseren door verdere vragen • Lijst bronnen en/of samenvatting In between: • Boolean zoekstrategie ontwikkelen m.b.v. AI 

Voor- en nadelen van AI voor literatuur zoeken Voordelen Makkelijk Snel Smalle focus Nadelen Black box Smalle focus Hiaten Misrepresentatie brontype 

Source: https://www.vrt.be/vrtnws/en/2026/01/08/ghent-university- rector-petra-de-sutter-uses-fabricated-quotes-i/ on 02 February 2026 Source: https://retractionwatch.com/2025/06/30/springer-nature-book-on-machine-learning-is- full-of-made-up-citations/ 

Verantwoord en genuanceerd (AI-)tool gebruik Genuanceerd AI gebruik: • hoe zet je de tool in? • waar gebruik je de tool voor? • wat voor vaardigheid/kennis vervang je? • hoe kan de tool ondersteunen? Voorbeelden: teksten polijsten, vertalen van niet- sensitieve content, feedback/brainstorm Vier basisprincipes: 1. Jij bent verantwoordelijk 2. Wees transparent over jouw GenAI gebruik 3. Controleer of de output correct is 4. Respecteer copyright en privacy 

Welke tool (voor welk doel) • Wat voor soort tool is het? Gespecialiseerde/algemene tool? • Waar is het op gebaseerd (trainingsdata)? Hoe transparant is het? • Wat zijn de opties? Gratis/betaald account/institutionele licentie? • Wat staat er in het privacybeleid? Hoe privé zijn de gegevens die je invoert? • Mag je het gebruiken voor deze taak? Welke regels en voorschriften zijn van toepassing? BRAINSTORM (CHATGPT, CLAUDE) TEXT EDITING (CHATGPT, CLAUDE, QUILLBOT, GRAMMARLY) CONCEPT EXPLANATION (CHATGPT, CLAUDE) TRANSLATION (DEEPL) FEEDBACK/ONLINE TUTOR (AI TUTOR PRO, CHATGPT) RESOURCE DISCOVERY (PERPLEXITY, CHATGPT, CLAUDE, ELICIT, UNDERMIND) PLANNING, ORGANISING, COOKING (GOBLIN.TOOLS) 

Evaluatiecriteria Stimuleren van kritisch verantwoord gebruik van AI bij het zoeken naar literatuur 

Project/Ontwikkeling van de criteria Dec ‘25: Ontwikkeling van evaluatiecriteria voor het beoordelen van (AI-)resultaten bij literatuuronderzoek binnen de UB Jan ’26: Test en feedback van de eerste opzet bij een symposium Feb ‘26: Criteria verder uitgewerkt en getest met informatiespecialisten Maart ‘26: Eerste versie hand-out met criteria April ‘26: Testen criteria VOGIN Juni ‘26: Criteria inbedden in het onderwijs (sessie op de UM onderwijsdagen) en onderzoek (workshop) 

Evaluatiecriteria TR3CA: Evaluatie van uw (AI-ondersteunde) literatuuronderzoek 0. Heeft u onlangs de transparantie en reproduceerbaarheid van deze tool voor dit doel beoordeeld? Of kunt u een betrouwbare bron of bibliotheekmedewerker citeren die dit heeft gedaan? 1. Is de informatie die de tool oplevert relevant voor uw onderzoeksvraag/doel? 2. Is de informatie die de tool oplevert betrouwbaar? 3. Hoe is de dekking van alle informatie die de tool oplevert? 4. Is de informatie die de tool oplevert accuraat? Link naar de handout: Feedback op de handout: 

Hoe zoeken we (met AI) naar literatuur 

Experiment instructies 1. We zullen op 2 manieren een literatuuronderzoek uitvoeren met AI-tools en de resultaten evalueren. 2. Gebruik hiervoor de onderzoeksvraag: “How do AI literature searches compare to traditional literature searches?” 

Uitdaging 1: Zoeken naar literatuur in traditionele databases met hulp van AI Uitdaging 2: Direct zoeken naar literatuur met AI tools → Beoordeel de resultaten van je zoektocht Mogelijke tools: Semantic Scholar,ChatGPT, Claude, Undermind, Perplexity, Elicit, Mistral, of jouw favoriete AI tool Tip: Als je geen account wilt aanmaken, gebruik: https://aipedagogy.org/guide/comparison/ Experiment instructies 

Uitdaging 1: Zoekstrategie ontwikkelen met AI Gebruik een van de AI-aangedreven tools voor de volgende stappen om met behulp van AI een zoekstrategie te ontwikkelen. 1. Gebruik de bovenstaande onderzoeksvraag voor dit experiment. Of een alternatief onderwerp waar jij de inhoud goed kunt beoordelen. 2. Vraag aan de AI tool welke (academische) database handig is om in te zoeken. 3. Laat de tool sleutelbegrippen en trefwoorden voor je zoekstrategie ontwikkelen. 4. Laat de tool een zoekstrategie/zoekstring ontwikkelen. 5. Test de door AI ontwikkelde zoekopdracht door deze in te voeren in de academische database om ten minste 1 relevant artikel te vinden. 6. Laat ons weten als je deze taak voltooid hebt! Mogelijke AI tools: ChatGPT, Claude, Mistral, Perplexity 

Uitdaging 2: Direct zoeken met een AI tool Gebruik je favoriete AI-tool om ten minste twee relevante bronnen voor jouw onderzoeksvraag te vinden. Je kunt hiervoor eventueel gebruik maken van de prompt op de volgende slide. Mogelijke tools: Undermind, Elicit, Consensus, Perplexity (prompt), ChatGPT (prompt), Claude (prompt) 

Prompt: Literatuur zoeken Context Act as a university librarian and recommend me relevant, up-to-date and traceable references for my research on: “X topic”. I am currently studying “X” at a University in Europe and am doing an assignment for “X” OR writing my BA/MA thesis. My (preliminary) research question is: “X”. I need sources on these key aspects: 1. X 2. X 3. X Scope Provide me with a list of 10-20 relevant sources for my research question. Explain why these resources were selected and include links where they come from, ideally traceable to the publisher. Listed sources should be accurate, and the coverage should be comprehensive, including a variety of source types, viewpoints, and publication dates. Explain the coverage of your search. Please ensure that the literature retrieved is academic and includes: published peer-reviewed articles, manuscripts, grey literature and/or preprints. Exclude: news, systematic reviews and opinion pieces. Please include worldwide manuscripts on “X” for my research design: quantitative/qualitative/mixed methods research. With my research I want to reach this target audience: scientists/students/educators/X. You can include manuscripts in the following languages: “X”. Do not translate the original titles of the publications and the journals names to make it fit with my language requests. Task The results should be a list of relevant and traceable literature that critically assesses aspects of my research question and valid for higher education in the field of “X”. You can/cannot suggest other potentially relevant topics. If you do not need any additional information, then you can get started. 

Uitdaging 2: Direct zoeken met een AI tool Gebruik je favoriete AI-tool om ten minste twee relevante bronnen voor jouw onderzoeksvraag te vinden. Je kunt hiervoor eventueel gebruik maken van de prompt op de volgende slide. Mogelijke tools: Undermind, Elicit, Consensus, Perplexity (prompt), ChatGPT (prompt), Claude (prompt) Download hier de instructies en de prompt 

Evalueren 1. Vergelijk je AI-zoekresultaten met de zoekresultaten uit de databases uit de eerste uitdaging. Zijn dezelfde artikelen gevonden? 2. Bekijk je beide sets resultaten: Evalueer deze kritisch op basis van de evaluatiecriteria. 

Analyse en reflectie 

Analyse - reflectie 

Hoe willen wij dit gebruiken in ons werk? • Uitkomsten: Hand-out en prompt • Inzetten in ons onderwijs en materiaal: - Prompt in onze prompt library - Modules rond zoeken, incl AI (ook voor onderzoekers) - Advies voor docenten • Advies en training voor onderzoekers voor systematisch literatuur onderzoek 

Afsluiting 

Leesvoer voor verder onderzoek Position statement on artificial intelligence (AI) use in evidence synthesis across Cochrane, the Campbell Collaboration, JBI and the Collaboration for Environmental Evidence 2025 & RAISE documents Scholarly kitchen blog – waarom en hoe AI gebruik aangeven Thoughts on what AI search should (not) do 

Maastricht UB bronnen Generiek: • Literature search & systematic reviews • Digital & Information Literacy Materialen & modules: • Online modules • Prompt library Copyright of Maastricht University 

Thank you! Copyright of Maastricht University