Wetenschap is ook maar een mening

Wetenschap is ook maar een mening
Door Patrick Sins, lector Vernieuwingsonderwijs
Er is een cartoon die ik geregeld in presentaties gebruik waarmee ik illustreer hoe we in de maatschappij in toenemende mate belang hechten bij onderwijs dat wordt gebaseerd op werkwijzen die wetenschappelijk zijn bewezen. Op de cartoon zien we een vrouw die zich van de kijker afwendt en zegt: ”Unless you’re using evidence-based practices, I can’t hear a word you’re saying.” Volgens dit streven, dat bekend staat als evidence based onderwijs, mogen onderwijsvernieuwingen alleen worden ingevoerd als er bewijs is geleverd dat ze effectief zijn. Vernieuwen in het onderwijs mag alleen als het “werkt” of “bewezen effectief is”. 
Het evidence based onderwijs gaat uit van het idee van een effectieve interventie. Evidence based onderwijs ziet alles wat we in het onderwijs doen, zoals het geven van een bepaalde instructie of het introduceren van coöperatieve werkvormen, als een interventie. Evidence based onderwijs vraagt onderzoekers bewijs te leveren die laat zien of een interventie effectief is. Onderzoek moet dus aantonen “wat werkt”, zodat vervolgens alleen de effectieve interventies in het onderwijs worden toegepast. Het evidence based werken kent meer belang toe aan “harde” bewijzen. Volgens het model van evidence based werken zijn dat bevindingen die voortkomen uit grootschalige experimenten, waarin personen willekeurig aan groepen (zoals bijvoorbeeld een controle- en interventiegroep) zijn toegewezen. Deze aselecte toewijzing stelt de onderzoeker in staat om te controleren voor de mogelijke effecten van andere relevante variabelen, zoals geslacht of leeftijd. 
Voorstanders van evidence based onderwijs veronderstellen dat dit type onderzoek harde bewijzen kan leveren over de mate waarin de interventie tot de gewenste effecten leidt. Zo kan een onderzoeker bijvoorbeeld besluiten om na te gaan of een bepaalde aanpak van samenwerkend leren effectief is voor het leren van leerlingen. Een grote groep leerlingen wordt aselect toegewezen aan een groep waarin wordt samengewerkt volgens de desbetreffende aanpak (interventiegroep) of aan een groep waarin zelfstandig wordt gewerkt (controlegroep). Als de onderzoeker vindt dat er een verschil is in de gemiddelde leeropbrengst tussen beide groepen, dan kan hij volgens voorstanders van evidence based onderwijs met grote zekerheid stellen dat de hogere leeropbrengsten toe te dichten zijn aan de aanpak voor samenwerkend leren. De aanpak is bewezen effectief. 
Evidence based onderwijs heeft echter de nodige beperkingen, wat gevolgen heeft welke betekenis we moeten geven aan de geleverde ‘harde’ bewijzen. Zo is het bijvoorbeeld maar de vraag of het praktisch mogelijk is leerlingen volstrekt willekeurig te verdelen in verschillende groepen. Als blijkt dat na aselecte toewijzing de ene helft van de klas moet samenwerken en de andere helft zelfstandig aan de slag gaat, hoe zorgen we ervoor dat ze elkaar niet storen en kunnen leraren twee compleet verschillende didactieken toepassen in hun klas? En wat als een deel van de leerlingen volgens aselecte toewijzing moeten samenwerken met leerlingen van andere scholen, hoe is dat te organiseren? 
Waar gaat het evidence based onderwijs de mist in?
Het evidence based werken reduceert de onderwijswerkelijkheid tot een eenvoudig model van oorzaak en gevolg. Het gaat ervan uit dat er een ondubbelzinnige relatie bestaat tussen een interventie (als oorzaak) en de opbrengsten (als effecten) daarvan. Een interventie veroorzaakt de effecten. Een voorbeeld is dat samenwerkend leren tot hogere leeropbrengsten leidt. Echter, de onderwijspraktijk is natuurlijk veel weerbarstiger dan een eenvoudig oorzaak en gevolg model. Of onderwijsinterventies bepaalde effecten op bijvoorbeeld het leren van leerlingen hebben, is namelijk uiteindelijk afhankelijk van de manieren waarop leerlingen het gegeven onderwijs interpreteren en de mate waarin ze hier betekenis aan kunnen ontlenen. 
Onderwijs is context gebonden: in het onderwijs hebben we te maken met leraren en leerlingen die afzonderlijk en in interactie met elkaar invloed uitoefenen op de mate waarin een interventie
 2
effectief is. Daardoor kan een interventie onder bepaalde omstandigheden verschillende effecten teweegbrengen. Zo kan leraar A bijvoorbeeld prima uit de voeten met samenwerkend leren in klas A, maar leidt dezelfde aanpak in klas B alleen maar tot chaos. Daarnaast kan de effectiviteit van samenwerkend leren sterk afhangen van leerlingkenmerken. Zo kan een geplande discussie onverwacht een andere wending nemen door de inbreng van een van de groepsleden of kan een goedlopende samenwerking verziekt worden door de houding van een groepslid. Een leraar heeft in dit soort dagelijkse situaties er niet zoveel aan als hij/zij weet dat een bepaalde aanpak volgens de “harde” bewijzen gemiddeld meer effectief is, omdat de situatie om een passende context-specifieke interventie van hem/haar vraagt. Het is aan de leraar hier zelf over te oordelen. De vraag voor een leraar zou niet moeten zijn: “wat is effectief?”, maar eerder:  “wat is doelmatig voor deze kinderen onder deze omstandigheden?”
Interventies in het onderwijs moeten dus niet worden gezien als eenduidige oorzaken met duidelijk aanwijsbare effecten, maar als mogelijkheden voor leerlingen om hierop te reageren en door hun reacties er mogelijk iets van te leren. Rest nu nog wel de vraag hoe we in het onderwijs om moeten gaan met bevindingen uit onderwijsonderzoek.
Hoe kan onderwijsonderzoek bijdragen aan beter onderwijs?
De evidence based benadering komt voort uit de geneeskunde. In zijn artikel “Evidence based medicine: What is is and what is isn’t” geeft de Amerikaanse pionier van het evidence based werken in de geneeskunde David Sackett aan dat het gaat om het integreren van de individuele klinische expertise van een arts en de beste mogelijke bewijsvoering.  “Geneeskunde op basis van bewijs” gaat er volgens hem om dat er in de besluitvorming rondom de zorg van individuele patiënten  gewetensvol, expliciet  en verstandig gebruik wordt gemaakt  van het best beschikbare bewijs. Goede artsen gebruiken volgens Sackett zowel hun individuele klinische expertise als de best beschikbare bewijsvoering, waarbij geen van beide alleen voldoende is. Evidence based werken houdt niet in dat de zorg wordt gedomineerd door bewijs, aangezien zelfs het beste bewijs niet geldt of ongeschikt is voor een bepaalde individuele patiënt. Bewijs is volgens Sackett nodig om de individuele klinische expertise van artsen te informeren en het is deze expertise die besluit in hoeverre het bewijs relevant en van toepassing  is en zo ja hoe deze in de besluitvorming over de zorg van een individuele patiënt moet worden opgenomen. Evidence based werken in de geneeskunde is volgens Sackett niet beperkt tot experimenteel onderzoek en meta-analyses. Het gaat erom dat een professional het best beschikbare bewijs vindt waarmee hij/zij een klinische vraag kan beantwoorden.
In het onderwijs wordt het evidence based werken minder genuanceerd opgevat. Ondanks dat wordt erkend dat individuele leraren onderzoeksbevindingen mogen vertalen naar hun eigen praktijk, stellen voorstanders van evidence based onderwijs dat het vernieuwen van onderwijs alleen mogelijk mag zijn als er “harde” bewijs voorhanden is dat het werkt. En van onderzoek wordt verwacht dat het ons kan vertellen “wat werkt”.  Een arts in zijn/haar besluitvorming over een specifieke behandeling bij een patiënt baseren op experimenten, waarin is onderzocht of deze interventie tot de gewenste effecten leidt. Met andere woorden een arts kan bepalen of de behandeling werkt aan de hand van experimenteel onderzoek. In de geneeskunde is dat juist mogelijk, omdat effecten veelal beter te relateren zijn aan een oorzaak. Zo leidt de toediening van een antibioticum in de meeste gevallen tot een verlichting van de klachten die worden veroorzaakt door een bacteriële infectie. De situatie in het onderwijs kan, zoals we hebben gezien, niet worden gevat in zo’n eenduidig oorzaak en gevolg model – een specifieke hoeveelheid aan samenwerkend leren zou volgens deze gedachte tot een bepaalde verhoging in de leeropbrengst moeten leiden. De onderwijswerkelijkheid is natuurlijk veel complexer. 
Onderwijsonderzoek vertelt ons wat heeft gewerkt, maar vertelt ons niet wat werkt of in de toekomst effectief zal blijken. Dit betekent dat conclusies uit onderzoek niet zonder meer vertaald kunnen worden in onmiddellijk toepasbare tips en trucs voor de onderwijspraktijk. Onderzoek geeft
 3
inzicht in de mogelijkheden die hebben gewerkt, het kan ons niet voorschrijven wat we moeten doen. Kennis verkregen uit onderzoek helpt de leraar juist in het begrijpen van problemen die in de dagelijkse onderwijspraktijk worden ervaren. Bovendien is onderzoek nuttig in het kunnen beargumenteren en verantwoorden voor de keuzes die een leraar maakt in zijn/haar onderwijs. Of iets werkt moet blijken uit het toepassen ervan in de eigen onderwijspraktijk. Een voorbeeld is hier wel op zijn plaats.
Stel een leraar vraagt zijn/haar leerlingen om in drietallen aan tien opdrachten te werken waarin ze samen problemen moeten oplossen. Na afloopt blijkt dat de helft van de groepjes gemiddeld acht problemen succesvol hebben opgelost, de overige groepjes hebben minder dan de helft van de opdrachten succesvol voltooid. Wat maakt het verschil tussen de succesvolle en minder succesvolle groepjes? En belangrijker nog: wat kan een leraar eraan doen om de minder succesvolle groepjes succesvol te laten zijn? Uit onderzoek naar samenwerkend leren blijkt dat succesvolle groepjes doorgaans meer passend en met een hogere mate van betrokkenheid op elkaar reageren. Dit betekent dat leerlingen elkaars inbreng accepteren en/of een opbouwende discussie beginnen naar aanleiding van een voorstel van een medeleerling. Minder succesvolle groepen, daarentegen, negeren elkaars inbreng of wijzen het voorstel van de andere(n) simpelweg af zonder daar verder op in te gaan. Dit blijken ze wel tot tien keer vaker te doen dan succesvolle groepen. Onderzoek wijst verder uit dat dit verschil in de mate waarin leerlingen op elkaar reageren gevolgen heeft voor de leerprestatie. 
Deze onderzoeksbevindingen vertellen, zoals gezegd, niet wat we in de praktijk moeten doen. Het zegt ons wel wat heeft gewerkt en wat niet en kan de leraar informeren over het probleem waarmee hij/zij zich geconfronteerd ziet. Op basis van het hiervoor beschreven onderzoek kan de leraar de hypothese opstellen dat het verschil tussen de succesvolle en minder succesvolle groepen in zijn/haar klas komt door de verschillende manieren waarop leerlingen op elkaar reageren. Hij/zij kan dan in zijn/haar instructie tijd besteden aan het oefenen van de samenwerking waarbij expliciet aandacht wordt besteed aan de manier waarop er op elkaars inbreng wordt gereageerd. Ook hier kan de leraar zich laten informeren door beschikbare relevante studies waarin aanpakken voor het trainen van het samenwerkend leren zijn onderzocht. Voorop staat dat de leraar zijn/haar eigen keuzes maakt op basis van een eigen beredeneerd oordeel, kennis uit onderzoek dient hierbij als een belangrijk hulpmiddel. Experimenteren dus, op basis van beschikbare kennis – uit onderzoek – over wat heeft gewerkt. Of de gemaakte keuzes succesvol zijn, moet blijken uit de praktijk. 
Geraadpleegde literatuur Berends, R., & Sins, P.H.M. (2012). Samenwerkend Leren in het Daltononderwijs: Geschiedenis, Praktijk en Onderzoek . Deventer:  Saxion Dalton University Press. Biesta, G. (2007). Why “what works“ won’t work: Evience-based practice and the democratic deficit in educational research. Educational Theory, 57 (1), 1-22. Kirschner, P.A. (2009). Evidence based onderwijs: waar gaat het nou over? In S. Peterink, A.L. van der Vegt & S. Beekhoven (Eds.), Ideeën over het Bewijs voor Onderwijs. Een debat over de  on)mogelijkheden van evidence base d onderwijs in de praktijk (pp. 9-12). (Sardes Speciale Editie 7). Utrecht: Sardes. Gravemeijer, K.P.E. & Kirschner, P.A. (2007). Naar meer evidence based onderwijs? Pedagogische Studiën, 84 , 463-472. Sackett, D.L., Rosenberg, W., Gray, J.A.M., Haynes, R.B., & Richardson, W. (1996). Evidence-based medicine: what it is and what it isn’t. British Medical Journal, 312 , 71–72. Zee, S. Van der (2015). De effectiviteit van daltononderwijs. Deventer:  Saxion Progressive Education