2-sigma’s en de echte effecten van tutoring

In 1984 publiceerde de onderwijspsycholoog Benjamin Bloom een artikel dat uitgroeide tot één van de meest geciteerde publicaties in de onderwijswereld. Hierin stelde hij dat individuele begeleiding door een tutor de beste leeromstandigheden biedt die we kunnen bedenken. Volgens Bloom konden leerlingen dankzij tutoring hun prestaties met maar liefst twee standaarddeviaties verbeteren. Uitgedrukt in onderzoekstermen: een effect van twee sigma.

Twee sigma klinkt misschien abstract, maar het impliceert dat een leerling die gemiddeld presteert (op het 50e percentiel) door tutoring zou kunnen doorgroeien naar het 98e percentiel. Bloom zag hierin het bewijs dat leerlingen tot veel meer in staat zijn dan ze op school laten zien. Het probleem was niet een gebrek aan potentieel, maar het ontbreken van de mogelijkheid om iedere leerling individueel te begeleiden. De uitdaging was daarom: hoe kunnen we de voordelen van tutoring realiseren zonder voor iedere leerling een persoonlijke tutor in te zetten?

Blooms artikel, bekend geworden als The 2 Sigma Problem, had impact. Het idee sprak tot de verbeelding. Met de komst van computers en later kunstmatige intelligentie werd regelmatig gesuggereerd dat technologie eindelijk een antwoord zou kunnen bieden. Zo presenteerde Sal Khan, oprichter van Khan Academy, in 2023 nog AI-gestuurde tutoring als een mogelijke ‘twee-sigma-oplossing’.

Maar hoe realistisch is het twee sigma effect? Recent hebben Matthew Kraft en collega’s de resultaten van 263 gerandomiseerde experimentele studies naar tutoring samengebracht. Hun conclusie is duidelijk: tutoring werkt, maar de effecten zijn aanzienlijk kleiner dan Bloom suggereerde. Gemiddeld bedraagt het effect ongeveer 0,40 standaarddeviaties. Een eerdere meta-analyse van Andre Nickow, Philip Oreopoulos en Vincent Quan kwam uit op een vrijwel identiek effect van 0,37 standaarddeviaties. Dat zijn indrukwekkende resultaten, maar ver verwijderd van de twee sigma’s van Bloom.

Waar kwamen Blooms spectaculaire cijfers dan vandaan? Bloom baseerde zich op twee promotieonderzoeken van zijn eigen promovendi: Joanne Anania en Arthur Burke. Beide studies rapporteerden zeer grote effecten van tutoring ten opzichte van klassikale instructie. Maar twee studies vormen een smalle basis voor verstrekkende conclusies. Bovendien was er in deze onderzoeken meer aan de hand dan alleen tutoring. Leerlingen kregen extra toetsen, intensieve feedback en aanvullende begeleiding naast het reguliere onderwijs. De tutoren waren bovendien zorgvuldig geselecteerd en uitgebreid getraind. Met andere woorden: de hoge effecten waren waarschijnlijk het resultaat van een combinatie van factoren en niet van tutoring alleen.

De recente meta-analyse van Kraft en collega’s laat bovendien zien dat de omvang van een tutorprogramma ertoe doet. Kleine studies met minder dan honderd leerlingen laten gemiddeld een effect van 0,51 standaarddeviaties zien. Bij grootschalige programma’s met meer dan duizend leerlingen daalt dat effect naar ongeveer 0,16 standaarddeviaties. Nog steeds positief, maar aanzienlijk minder spectaculair. Dat is ook niet verrassend. Een tutorprogramma op grote schaal is simpelweg iets anders dan de kleinschalige, zorgvuldig gecontroleerde omstandigheden waarin de oorspronkelijke studies werden uitgevoerd.

Wat betekent dit voor ons? Vooral dat we tutoring niet moeten afschrijven, maar ook niet moeten idealiseren. De wetenschappelijke evidentie laat zien dat tutoring een effectieve onderwijsinterventie is. Tegelijkertijd is het geen wondermiddel dat leerprestaties met twee sigma’s verhoogt. Misschien is dat wel de belangrijkste les van ruim veertig jaar onderzoek: tutoring werkt. Alleen niet zo spectaculair als de mythe van de twee sigma’s ons heeft doen geloven.

Symen van der Zee,
lector Vernieuwend Onderwijs, Saxion