Annemarie Neeleman

6.2 Samenvatting

Deze sectie vat de onderzoeksdoelen, methodologische benaderingen en belangrijkste bevindingen van elk van de vier studies samen.

6.2.1 De constructie van een empirisch onderbouwde classificatie van schoolinterventies en de toepassing van deze classificatie op de distributie van huidige Nederlandse interventies in het voortgezet onderwijs (Hoofdstuk 2)
Deze studie presenteerde eerst de constructie en validatie van een empirisch onderbouwde classificatie van schoolinterventies die de identificatie, analyse en vergelijking van de feitelijke uitoefening van schoolautonomie mogelijk maakt. De classificatie is georganiseerd via drie hoofddomeinen: onderwijs, organisatie en personeel. Elk van deze domeinen bestaat uit verschillende subdomeinen, waarbij het volledige raamwerk is samengesteld uit 16 dergelijke subdomeinen. De constructie is gebaseerd op de digitale vragenlijstreacties van 196 Nederlandse schoolleiders in het voortgezet onderwijs die in totaal 735 schoolinterventies rapporteerden. Vanwege het hoge niveau van schoolautonomie in Nederland hebben schoolleiders op veel terreinen beslissingsbevoegdheid. In een bewuste poging om het volledige potentieel van feitelijke schoolinterventies te vatten, formuleerde de onderzoeker de vraag over schoolinterventies op een open wijze. Om dezelfde reden werd een schoolinterventie breed gedefinieerd als een geplande actie bedoeld om verandering in de school teweeg te brengen. Om praktische (d.w.z. face en content) validatie van de classificatie te bereiken, betrok de onderzoeker schoolleiders actief in alle stadia van het onderzoek. Bijgevolg kan de classificatie een breed scala aan schoolinterventies omvatten; heeft het voldoende diepgang en detail om betekenisvolle onderscheiden mogelijk te maken; en beschikt het over een logica en structuur om de brede bruikbaarheid op lokaal, nationaal of interventieniveau door praktijkmensen, beleidsmakers, opleidingsinstituten en onderzoekers te vergroten.

Met behulp van de ontwikkelde classificatie presenteerde deze studie vervolgens twee distributies: één met de 595 schoolinterventies die de schoolleiders hadden ingevoerd of op het punt stonden in te voeren, en één met de 140 interventies die zij serieus hadden overwogen maar niet hadden ingevoerd. Beide distributies benadrukken de dominantie van onderwijskundige interventies: bijna de helft van alle ingevoerde en overwogen interventies was onderwijskundig van aard. Organisatorische interventies waren op hun beurt frequenter dan personeelsinterventies. Er was een duidelijke dominantie van 4 van de 16 subdomeinen: onderwijsprogramma's, leeromgevingen, pedagogische aanpakken en professionele cultuur. Deze vier subdomeinen—waarvan er drie in het onderwijsdomein liggen—besloegen bijna 60% van alle schoolinterventies die de Nederlandse schoolleiders nastreefden of overwoog na te streven. De drie meest voorkomende interventies waren digitale hulpmiddelen en methoden voor lesgeven en leren, collegiale professionalisering en differentiatie-interventies.

6.2.2 De relatie tussen feitelijke schoolinterventies en factoren gevonden in syntheses van onderwijseffectiviteit (Hoofdstuk 3)
Deze studie analyseerde hoe de huidige Nederlandse schoolinterventies zich verhouden tot de effectiviteitsfactoren die worden gepresenteerd in drie internationaal gezaghebbende syntheses over onderwijseffectiviteit: Robinson et al. (2009), Scheerens (2016) en Hattie (2009). Meta-analyses bestaan uit meerdere individuele rigoureuze studies en presenteren als zodanig robuuste resultaten over de effectiviteit van de betreffende onderwerpen. Omdat er geen syntheses exclusief gebaseerd zijn op Nederlands onderzoek naar voortgezet onderwijs, werden internationale syntheses gebruikt. Om de interventies vanuit zowel een schoolperspectief als een schoolleiderschapsperspectief te analyseren, maakte de onderzoeker gebruik van syntheses uit beide effectiviteitstradities. Er werd rekening gehouden met de verschillende aggregatieniveaus van de effectiviteitsfactoren, en effectgroottes en rangordes werden opgenomen indien beschikbaar.

De vergelijkende analyse resulteerde in vijf belangrijke bevindingen. Ten eerste was de overgrote meerderheid van de analogieën tussen schoolinterventies en effectiviteitsfactoren algemeen van aard. Dit betekent dat de analogieën zo abstract waren dat ze niet erg informatief waren. Ten tweede kwamen een paar schoolinterventies overeen met relatief specifieke factoren van Scheerens (2016) en in het bijzonder Hattie (2009). De factoren gepresenteerd in Robinson et al. (2009) hadden allemaal een algemeen karakter. Ten derde ontbrak bij een breed scala aan schoolinterventies, en vooral die in de organisatorische en personele domeinen, een analoge effectiviteitsfactor geheel. Ten vierde gaven de berekende gemiddelde effectgroottes voor de interventies die analoog waren aan effectiviteitsfactoren aan dat de huidige Nederlandse schoolinterventies in alle syntheses de neiging hadden vergelijkbaar te zijn met factoren met relatief lage—of zelfs negatieve—effectgroottes. Ten vijfde suggereerde de meer gedetailleerde analyse van de drie meest frequente interventies dat de drie syntheses die voor deze vergelijkende analyse werden gebruikt, weinig bewijs leveren dat deze specifieke interventies de leerprestaties van leerlingen aanzienlijk verbeteren. Al met al toonde de vergelijkende analyse aan dat een breed scala aan huidige Nederlandse schoolinterventies een analoge factor mist in een of meer van de onderzochte syntheses, ondanks de relatief inclusieve houding die werd aangenomen bij het identificeren van die analogieën. Daarnaast toonden de gemiddelde effectgroottes, samen met de bevindingen over de drie meest geïmplementeerde interventies, aan dat de drie syntheses weinig bewijs bieden dat de overgrote meerderheid van de interventies de cognitieve prestaties van leerlingen substantieel verbetert.

6.2.3 Persoonlijke overtuigingen van schoolleiders en de motieven achter hun beslissingen over schoolinterventies (Hoofdstuk 4)
Deze studie was gericht op het verkrijgen van een beter inzicht in de motieven achter de beslissingen van Nederlandse schoolleiders over schoolinterventies. Hiervoor werden 10 individuele semigestrestructureerde interviews gehouden met schoolleiders die doelgericht waren geselecteerd op basis van de strategie van maximale variatiesteekproeven. Een literatuuronderzoek toonde aan dat gedragingen en acties van schoolleiders beïnvloed worden door een groot aantal, vaak onderling verbonden, factoren op persoonlijk, organisatorisch en maatschappelijk niveau. Vanwege de waargenomen dominantie van persoonlijke overtuigingen in dit samenspel in sommige onderzoeken, werd dit concept opgenomen in de onderzoeksvragen. Om het onderwerp besluitvorming over schoolinterventies concreet genoeg te maken, paste de onderzoeker het criterium van specificiteit toe. Om zowel aan te sluiten bij de huidige voorkeuren van schoolleiders als een potentieel grote steekproef mogelijk te maken, selecteerde de onderzoeker voor dit doel een specifieke interventie die vaak in de vragenlijst voorkwam: differentiatie. Aan het einde van het interview werd schoolleiders gevraagd om een lijst met factoren op persoonlijk, organisatorisch en maatschappelijk niveau te scoren die mogelijk de beslissingen over schoolinterventies beïnvloeden. De factorlijst werd opgenomen als een vorm van datatriangulatie om de validiteit van de interviewbevindingen te vergroten.

De persoonlijke overtuigingen van Nederlandse schoolleiders, besproken met een opvallend vergelijkbaar vocabulaire, verwijzen naar het verbinden met en samenwerken met anderen, een zoektocht naar morele doelen en betekenis, en de noodzaak om talentontwikkeling, welzijn en een veilige leeromgeving te faciliteren. Deze gedeelde kernovertuigingen stralen een sterke, waardengedreven, holistische, mensgerichte oriëntatie uit met de nadruk op relaties met leerlingen en collega's en hun ontwikkeling en welzijn. De redenen waarom de schoolleiders kozen voor een differentiatie-interventie bleken nauw samen te hangen met hun persoonlijke overtuigingen. In plaats van gemotiveerd te worden door de (expliciete) ambitie om de cognitieve prestaties van leerlingen te verbeteren of om onderzoek te volgen, werd differentiatie voornamelijk gemotiveerd door de overtuigingen van de schoolleiders over de pedagogische taak van het onderwijs. Drie van de vier meest voorkomende motieven hielden verband met het bieden van onderwijs op maat dat gericht is op talentontwikkeling, dat leerlingen motiveert en activeert, en dat hen voorbereidt op hun toekomstige rol in een veranderende samenleving. Het vierde dominante cluster van motieven kwam voort uit de noodzaak om als school te overleven. De schoolleiders hechtten groot belang aan het onderscheidende profiel en imago van de school ten opzichte van naburige scholen om de instroom van leerlingen te waarborgen in een onderwijssysteem met schoolkeuze en, in veel gebieden, dalende leerlingenaantallen. Individuele organisatorische en maatschappelijke factoren speelden een kleinere rol in de besluitvorming van de schoolleiders over de differentiatie-interventie dan de meeste persoonlijke factoren. De belangrijkste uitzondering was het missiestatuut van de school, dat factoren van alle drie de niveaus neigde te verenigen en als zodanig de schoolleiders de organisatorische (schoolbeleid) basis bood om de specifieke interventie na te streven. Deze missiestatuten sloten op hun beurt nauw aan bij de persoonlijke overtuigingen van de schoolleiders. Ten slotte gaven alle schoolleiders aan dat hun persoonlijke overtuigingen niet alleen van invloed waren op hun beslissing over de specifieke differentiatie-interventie, maar hun beslissingen over interventies in het algemeen stuurden.

6.2.4 Bewijsgebruik door schoolleiders bij de besluitvorming over schoolinterventies (Hoofdstuk 5)
Deze studie was gericht op het bieden van inzicht in het feitelijke gebruik van bewijs door schoolleiders bij hun besluitvorming over schoolinterventies. Het bewijsgebruik van schoolleiders werd verkend door middel van een mixed-methods benadering die observaties van een groot aantal en een grote variëteit aan schoolleiders combineerde met illustraties van het feitelijke gebruik en de interpretatie van bewijs in hun besluitvormingspraktijk. Bewijs werd breed gedefinieerd en omvatte schoolgegevens, praktijkonderzoek op school en onderzoeksbewijs (niet uitsluitend academisch bewijs). In een digitale vragenlijst werd schoolleiders gevraagd om per ingevoerde schoolinterventie aan te geven of zij bewijs hadden gebruikt in hun overwegingen om de interventie al dan niet voort te zetten. Schoolleiders werd vervolgens gevraagd om de geraadpleegde bron(nen) van bewijs op te sommen voor een van hun—willekeurig geselecteerde—schoolinterventies.

In een reeks semigestrestructureerde interviews werden geen directe vragen gesteld over de rol van bewijs in het besluitvormingsproces om een mogelijke sociaal wenselijke bias te vermijden. Er werd aangenomen dat als bewijs de beslissingen van de schoolleiders inderdaad had beïnvloed, dit naar voren zou komen in hun verslagen van hun overwegingen.

In de vragenlijstreacties toonden 196 schoolleiders ten eerste een zeer hoog zelfgerapporteerd gebruik van bewijs aan bij hun besluitvorming over schoolinterventies. De vragenlijst wees ten tweede op grote verschillen in bewijsgebruik over de 16 subdomeinen van schoolinterventies. Ten derde bleken schoolgegevens en praktijkonderzoek de voorkeursbronnen van schoolleiders te zijn, maar andere bronnen van bewijs—zoals bewijs uit de academische wereld, kennismakelaars of andere scholen—vormden ook een aanzienlijk deel van het totale bewijsgebruik. Ten vierde gebruikten schoolleiders vaak twee of meer bronnen van bewijs in het besluitvormingsproces rond één interventie. Ten vijfde wijzen de open antwoorden van schoolleiders over bronnen van bewijs op een zeer liberaal gebruik en daarmee interpretatie van bewijs, zelfs vergeleken met de gehanteerde brede definitie.

Vergeleken met de bevindingen uit de vragenlijst werden de hoge niveaus van zelfgerapporteerd bewijsgebruik in de interviews eerder afgezwakt dan ondersteund. Ten tweede onderstreepten de interviews de liberale interpretatie en het gebruik van bewijs. De interviews gaven bovendien aan dat bewijsgebruik sterk afhankelijk is van persoonlijke relaties. In plaats van te verwijzen naar geformaliseerde bronnen van bewijs, toonden de schoolleiders bewijsgebruik aan dat afkomstig was uit gepersonaliseerde bronnen, zoals professionele leernetwerken, leraren die masteropleidingen volgen, kennismakelaars en goede praktijken op andere scholen. De meeste schoolleiders gebruikten bewijs hooguit conceptueel, zelfs met de brede definitie die de schoolleiders zelf nog verder oprekten. Slechts 1 van de 10 geïnterviewde schoolleiders gebruikte bewijs instrumenteel. Ten tijde van de interviews waren twee schoolleiders op zoek naar academisch bewijs ter ondersteuning van een interventie die zij al hadden ingevoerd. Als zij er inderdaad in slaagden bewijs te vinden, zouden deze gevallen symbool staan voor symbolisch/politiek bewijsgebruik.