In het middagprogramma van de conferentie over Onderwijsvernieuwing, onderzoek & data, schuiven Gerard, Martijn en Joke aan tafel bij Trudie Schils, hoogleraar onderwijseconomie aan de universiteit van Maastricht voor een speeddate. ‘Brand maar los met jullie vragen’, opent Trudie het gesprek.

Martijn: ‘Vertel eens wat over jouw manier van onderwijsonderzoek doen?’

‘Ik doe onder andere onderzoek in – en samen met – scholen, naar hoe je ingevoerde onderwijsvernieuwingen goed kunt evalueren. Denk bijvoorbeeld aan formatief evalueren of aan 10–14-onderwijs. In mijn onderzoeken werk ik bewust heel nauw samen met scholen.

Wat mij tegenstaat aan de werkwijze van veel andere, vooral traditionele, onderwijsonderzoekers, is dat ze een onderzoeksvraag bedenken zonder zich voldoende af te vragen of de praktijk ook precies die vraag heeft. Vervolgens walsen ze de school binnen en zeggen (ik chargeer een beetje): ‘Dit willen we weten en deze data hebben we nodig; dus jullie moeten 500 vragen invullen op maandag, 600 op dinsdag…’ Dan denk ik: ‘Dat mag wel wat respectvoller, de leerkracht is toch echt de vakspecialist.’ Ikzelf investeer graag tijd om scholen te leren kennen (en zij mij). Dan kunnen we samen onderzoek ontwikkelen naar vragen die in de praktijk van die school zelf leven.’

Joke: ‘Dat ‘binnenwalsen’ zou voor mij als schooleider een reden kunnen zijn om af te zien van onderzoek. Zie je dat bij andere scholen ook gebeuren?’

‘Veel scholen zijn bezig met nieuwe onderwijsconcepten. Bijvoorbeeld het loslaten van het leerstofjaarklassensysteem om te zorgen dat leerlingen meer op het eigen tempo kunnen leren. Of ze hebben een interventie bedacht om de leesmotivatie van leerlingen te verhogen.

Omdat ze willen weten of ze het goede doen, willen ze dat graag laten onderzoeken; maar door slechte ervaringen zijn ze er vaak niet zo happig op om zomaar onderzoekers binnen te halen. Ze laten dan bijvoorbeeld onderzoek doen door een eigen leraar die een master of promotie doet, onder begeleiding van een universiteit of hogeschool.’

Joke: ‘Hoe komen scholen samen met jou tot een onderzoeksontwerp?’

‘Ik besteed altijd veel tijd aan de beginfase, aan samen precies, helder en meetbaar formuleren wat het doel is van de onderwijsvernieuwing die een school wil inzetten. Het veel genoemde doel ‘we willen het kind centraal stellen’ is echt niet zomaar onderzoekbaar.

Een voorbeeld van een geslaagde beginfase: een vo-school wilde gepersonaliseerd leren invoeren. Ze hadden als doelen geformuleerd dat daardoor leerlingen in hun eigen tempo zouden kunnen leren en dat de leerprestaties omhoog zouden gaan. Bovendien zouden leerlingen zo meer eigenaar worden van hun eigen leerproces. Ze vonden zelf dat dit heel concrete doelen waren…

Mijn collega en ik kwamen bijeen met een bestuurder, de schooldirecteur en een aantal leraren. Wij zijn gaan doorvragen: ‘Wat bedoel je met dat eigenaarschap?’ ‘Dat de leerling snapt wat-ie nodig heeft.’ ‘En wat heeft-ie nodig, om te kunnen snappen wat-ie nodig heeft?’ We kwamen onder andere uit op vaardigheden als plannen, kritisch denken en reflecteren.

Ik vind het altijd belangrijk om eerst heel breed uit te waaieren en de diepte in te gaan. Om alles te benoemen wat we kunnen bedenken dat invloed heeft. Vervolgens gaan we keuzes maken, want je kunt niet alles meenemen. Maar dan weet je in elk geval dat je bewust bepaalde dingen wel of niet hebt gekozen, je bent ze niet vergeten.

Uiteindelijk komen we dan uit op een mooie onderzoeksopzet, waar we samen de juiste instrumenten bij zoeken (die niet te belastend zijn voor de school) en dan kunnen we aan de slag.’

Gerard: ‘Welke onderwerpen worden momenteel – onder jouw hoede – onderzocht op scholen?’

‘Verschillende scholen zijn bezig met een versoepeling van de overgang van po naar vo. Andere scholen willen hun aanbod meer aanpassen aan de ontwikkeling van vaardigheden die steeds meer door de arbeidsmarkt worden gevraagd. Weer een andere school worstelt met het vraagstuk hoe er goed op in te springen dat er vanuit een asielzoekerscentrum in korte tijd veel leerlingen met een niet-Nederlandstalige achtergrond bijkomen. Die komen bij andere vakken ook moeilijk mee door hun taalachterstand. Maar dom zijn ze niet; doordat ze onder hun niveau zitten, verdwijnt de motivatie. Dat heeft ook weer gevolgen voor de andere leerlingen in de klas.

Pas als je snapt op welke punten kinderen extra begeleiding nodig hebben en welke mechanismen een rol spelen, kun je het onderwijs erop aanpassen. Om dat helder te krijgen, is onderzoek nodig en moet je data verzamelen – samen met het onderwijs zelf.’

Martijn: ‘Data, meer = beter?’

‘Veel collega-onderzoekers vinden dat wel, omdat hoe meer data je hebt, hoe beter je kunt bekijken of bepaalde factoren een rol spelen. Maar bij onderwijsonderzoek ligt het anders. Soms moeten we dingen die ook interessant zouden zijn om te weten, laten liggen, omdat het onderzoek en de dataverzameling anders te uitgebreid en te belastend worden.

Bovendien is het zo dat leraren wel moeten begríjpen waarom we deze data nodig hebben. Bij het onderzoek naar gepersonaliseerd leren dat ik al noemde, verzamelden wij ook data over de persoonlijkheid van leerlingen. Bij leerlingen die heel consciëntieus en zorgvuldig werken, vind je namelijk vaak grotere effecten dan bij anderen. Deze factor beïnvloedt het effect van je onderwijsverandering, dus wilden wij die meenemen in de metingen. Omdat we begonnen waren met breed inventariseren, was duidelijk waarom we die data ook nodig hadden. Als je niet dat niet van tevoren besproken hebt, is de kans op weerstand tegen zo’n uitgebreide vragenlijst groter.’

Gerard: ‘Hoe doe je dat met controlegroepen?’

‘Dat is een goede vraag, dat is niet altijd eenvoudig aan te pakken. Maar sinds 2009 hebben we jaarlijks een regionale, langlopende dataverzameling om de ontwikkelingen in het Limburgse onderwijs te kunnen volgen, de OnderwijsMonitor Limburg. We proberen in die monitor zoveel mogelijk variabelen op te nemen die scholen kunnen benutten voor de evaluatie van hun onderwijsvernieuwingen en die wijzelf kunnen gebruiken voor ons onderzoek. Denk aan vragen over leesmotivatie, zelfvertrouwen of 21^eeeuwse vaardigheden… Als een school dingen wil weten over plannen en organiseren, stoppen we een blok vragen daarover gedurende een paar jaar bij die regionale monitor. Op deze manier heb je altijd een zogenaamde ‘benchmark’ en een indirecte controlegroep, dat is handiger en flexibeler dan steeds per project een controlegroep op te zetten.

Dat kan alleen als je een grote onderzoeksgroep kunt inzetten. Dat is bij ons zo: in het vo doet 100% van de Limburgse scholen mee. In het po hebben we 85 à 90 % binnenboord. Met deze dekking ben ik al behoorlijk tevreden.’

Joke: ‘Hoe gaat dat met analyseren van de verzamelde gegevens en conclusies trekken over of de onderwijsvernieuwing het gewenste resultaat heeft?’

‘Analyseren van de verzamelde gegevens is echt de expertise van ons, onderzoekers. Wij kunnen zorgen voor de juiste methoden, ook om selectiviteiten eruit te halen die kunnen ontstaan als scholen bepaalde populaties hebben omdat ze in een specifieke wijk staan. Dat doen we heel zorgvuldig, gedegen onderzoek doen is onze kernwaarde. Dat kost tijd. Scholen vinden dat vaak lastig, die willen – begrijpelijk – graag snel resultaat zien.

Wij presenteren onze conclusies en gaan in gesprek met de betreffende school. Herkennen ze dit beeld? Kunnen ze bepaalde resultaten verder duiden? Zijn er nog andere stappen nodig? Dan trekken we samen de conclusie of de onderwijsvernieuwing werkt of niet.’

Gerard: ‘Met al die verzamelde data, hoe hou je dat AVG-proof?’

‘Ik vind het wel ingewikkelde materie, wat er precies wel en niet mag met data. Gelukkig hebben wij een fulltime ‘datasteward’. Die is daar heel alert op, hij zorgt dat alle datastromen AVG-proof verlopen. Met alle scholen die meedoen met ons onderzoek hebben wij een getekende samenwerkingsovereenkomst; dat is de onderlegger op grond waarvan we die data mogen verzamelen. Die houden we elk jaar even tegen het licht.

Ouders kunnen aangeven dat ze niet willen dat hun kind meegenomen wordt in het onderzoek, ongeveer 2% van de ouders doet dat. Zo’n kind maakt vaak wel die vragenlijst in de klas, omdat de school het kind niet wil uitsluiten van een groepsactiviteit. Vervolgens vernietigen wij die data.

Wij als onderzoekers zien geen individuele leerlingen – daar heb ik ook geen behoefte aan. Gegevens worden gedepersonaliseerd; leerlingen worden als het ware ‘onthoofd’ (dat klinkt heel onaardig). Die hoofdjes worden bewaard op een aparte server en er is maar één iemand die daartoe een sleutel heeft, een onafhankelijke externe partij. Een ethische commissie vanuit de universiteit ziet op dit hele proces toe.’

Gerard: ‘Zijn er al scholen, die onder jouw begeleiding onderzoek hebben gedaan, zover dat ze zinvolle conclusies hebben getrokken?’

‘Voor conclusies uit onderzoek naar onderwijsvernieuwing is het nog te vroeg. Er is wel een mooi voorbeeld van gezamenlijk onderzoek naar voortijdig schoolverlaters (leerlingen die einde vo of begin mbo de school verlaten zonder diploma, kortweg vsv’ers). Hieruit kregen we veel informatie over persoonskenmerken, leergedrag en leerresultaten van vsv’ers. Interessant genoeg behaalden zij aan het eind van groep 8 vaak prima leerresultaten, maar hadden een matige leerhouding. Dit beeld was versterkt aanwezig in het derde leerjaar van het vo. Deze informatie is omgezet in nieuwe maatregelen: een training voor mentoren om in een vroeg stadium kenmerken van potentiële vsv’ers te kunnen herkennen en daar adequaat op te reageren. Vaak gaat het dan om intensievere begeleiding en vergroting van ouderbetrokkenheid.’

Joke: ‘Wat een mooi voorbeeld! Heb je tot slot nog advies voor ons?’

‘Jammer dat jullie niet van dezelfde school zijn, anders konden jullie meteen aan de slag samen om jullie onderzoeksidee uit te werken. Want die verschillende niveaus zijn in scholen vaak totaal verschillende werelden, dat kan heel belemmerend werken. Dan bedenkt de schoolbestuurder iets, zonder dat-ie goed weet hoe het op de werkvloer toegaat, de leraar wordt daar een beetje kregelig van en de schooldirecteur zit er vaak tussenin.’

Trudie trekt een denkrimpel en telt mee op haar vingers: ‘Ik raad jullie dit stappenplan aan:

• Ga eerst gezamenlijk bedenken wat je precies zou willen. Maak het daarbij voor jezelf zo concreet mogelijk.
• Vervolgens ga je op zoek in je regio naar interessante universiteiten of lectoraten bij hogescholen die expertise hebben op dat terrein. Ga kijken waar je de kennis die je nodig hebt, vandaan kunt halen.
• Dan kom je in het proces dat ik eerder beschreef: ga gezamenlijk nog concreter maken welke onderwijsvernieuwing je wil gaan inzetten en hoe je het onderzoek gaat aanpakken.
  Ga niet als school zitten wachten tot een onderzoeksteam met een perfect plan komt, maar neem die onderzoeker mee in wat jullie zelf willen.
• Stel een onderzoeksteam samen, waarin je alle betrokkenen bij elkaar haalt. Misschien moet de kwaliteitsmedewerker er nog bij, of de IB’er, of mensen van de gemeente, of van het samenwerkingsverband voor passend onderwijs. Waak er wel over dat mensen van buiten de school niet de leiding over het onderzoek naar zich toetrekken. En werk samen met mensen uit de onderzoekswereld. Zorg dat je met elkaar in gesprek blijft. Wij noemen dat tegenwoordig vaak ‘professionele leergemeenschappen’, omdat je met elkaar aan het leren bent wat je moet doen. ‘

Joke, Martijn en Gerard hebben tijdens deze speeddate – die langer uitviel dan volgens het programma de bedoeling was – naast veel antwoorden ook veel stof tot nadenken gekregen. De rest van het middagprogramma laten ze aan zich voorbij gaan. Gerard haalt een rondje bier, thee en cola  en dan beginnen ze vast informeel met stap 1 van Trudies stappenplan…