Chatbot dokter en leraar

Door de komst van AI is het nu nog eenvoudiger om je vraag rechtstreeks aan een chatbot te stellen. Zowel in de medische wereld als in het onderwijs wordt er veel mee geëxperimenteerd en van geleerd. Hoewel de domeinen anders zijn, zijn de bevindingen vergelijkbaar. Andrikyan en collega’s (2024) keken in hun studie bijvoorbeeld naar de leesbaarheid, volledigheid en nauwkeurigheid van de antwoorden van Bing Copilot – een zoekmachine met AI-chatbot-functies – op vragen over de 50 meest voorgeschreven medicijnen in de Verenigde Staten in 2020. Aan de chatbot werden voor elk van de 50 medicijnen tien vragen gesteld, bijvoorbeeld over bijwerkingen, wat resulteerde in een totaal van 500 antwoorden.

Uit de analyses blijkt dat de antwoorden lastig te begrijpen zijn. Over het algemeen moet je daarvoor academisch geschoold zijn en zelfs de meest begrijpelijke antwoorden van de chatbot vereisen nog een middelbare schoolopleiding. Om te toetsen of de antwoorden in lijn waren met de wetenschappelijke kennisstand, vroegen Andrikyan et al. (2024) 7 experts om de antwoorden te evalueren. Maar 54 procent van de antwoorden was in overeenstemming met de wetenschappelijke consensus en in ruim 30 procent van de antwoorden werd beoordeeld dat er een aanzienlijke kans op schade is wanneer een individu de adviezen volgt. Een chatbot-dokter kan dus nuttig zijn, maar kan je niet blind vertrouwen.

Hoe zit dat met de inzet van een AI tutor in onderwijs? Geeft die leerlingen goede hulp? En draagt deze hulp bij aan goede prestaties? Daar lijkt het wel op. Onderzoekers hebben 194 studenten onderverdeeld in twee groepen (Kestin et al., 2024). De eerste groep heeft gedurende twee weken twee lessen per week gevolgd, waarin zij actief aan de slag gingen met leerinhoud op het gebied van de discipline natuurkunde. De tweede groep maakte gebruik van een AI-tutor die gebaseerd was op GPT-4 technologie. Vooraf aan een les maakten studenten een pre-test, na afloop een post-test. Ook kregen ze stellingen over betrokkenheid en motivatie. Studenten in de AI-groep behaalden hogere scores vergeleken met de controlegroep. Verder gaven studenten in de AI-groep aan zich significant meer betrokken en gemotiveerd te voelen.

Toch zijn de bevindingen niet louter positief. Bastani et al. (2024) tonen dat AI het leren lijkt te helpen, maar er tegelijkertijd minder wordt geleerd. Op een middelbare school in Turkije bij meer dan 1000 leerlingen werd het gebruik van twee GPT-gebaseerde tutors getest tijdens wiskundelessen: GTP Base en GPT Tutor. De resultaten laten zien dat hoewel GPT-4 de prestaties tijdens oefensessies aanzienlijk kan verbeteren. In de GPT Base conditie zorgde het voor 48% verbetering ten opzichte van de controle conditie, in de GPT tutor conditie was er zelfs sprake van een verbetering van 127%. Dat de oefening verbetert, betekent echter niet dat de uiteindelijke prestatie op de toets ook hoger is. Leerlingen in de GPT Base conditie presteerden juist slechter op examens dan leerlingen in de controle conditie. ChatGPT had teveel het werk voor ze gedaan. Dit negatieve effect was echter afwezig bij de GPT Tutor conditie. Een ChatGPT tutor kan dus nuttig zijn, maar dan moet deze wel didactisch kundig zijn.

Tot slot nog dit. Bastani en collega’s (2024) merken aan het eind van het artikel op dat ChatGPT onjuiste antwoorden kan geven en leerlingen niet de juistheid van een antwoord kunnen en willen controleren. Leerlingen volgen gemakkelijk wat de AI tutor ze opdraagt. Het advies dat Bastani et al. (2024) in het verlengde hiervan geven sluit naadloos aan bij het advies van Andrikyan en collega’s (2024) over het gebruikmaken van een medische chatbot. Het advies luidt: blijf altijd een deskundige raadplegen! Soms is dat een arts, soms is dat een leerkracht.

Geïnteresseerd in wat AI wel en niet kan. Meer hierover op 6 november aanstaande tijdens het Daltoncongres PO in Amersfoort!

Symen van der Zee, lector Vernieuwend Onderwijs Saxion

Literatuur:

1. Andrikyan et al. (2024): https://qualitysafety.bmj.com/content/qhc/early/2024/09/18/bmjqs-2024-017476.full.pdf
2. Kestin et al. (2024): https://www.researchsquare.com/article/rs-4243877/v1
3. Bastani et al. (2024): https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4895486