Microsoft Office User

In dit hoofdstuk geef ik een Nederlandstalige samenvatting van wat ik in dit proefschrift in het Engels heb beschreven. Eerst beschrijf ik de context en het probleem van het project als geheel en dan leg ik de toepassing van signaaldetectie in selectie van studenten voor een universitaire opleiding uit. Die uitleg is bedoeld om te helpen bij het lezen van de daarop volgende samenvattingen van hoofdstuk 2, 3 en 4, waarin ik signaaldetectieanalyses gebruik. Daarna volgt een samenvatting van de samenvatting en een conclusie. Ik sluit het hoofdstuk af met een blik op de horizon.

Context van dit proefschrift
Het bachelorprogramma Psychologie aan de Universiteit Utrecht zou in 2014 voor het eerst zelf (decentraal) gaan selecteren (in plaats van de centrale loting door de Dienst Uitvoering Onderwijs). Volgens de regels van het spel geschiedt selectie op basis van meer dan alleen het gemiddelde middelbareschoolcijfer. Op grond van ervaringen aan de Universiteit van Amsterdam en de literatuur leken proefstuderen en bepaalde psychosociale factoren zinvolle toelatingsinstrumenten. Om volgens de regels en inhoudelijk zinvol te kunnen selecteren, werden in 2013 een week proefstuderen en een aanmeldformulier ontworpen. De proefstudeerweek had twee doelen: de kandidaten informeren over hoe goed de Bachelor Psychologie aan de Universiteit Utrecht aansluit bij hun interesses en de opleiding voorzien van voorspellers van academisch potentieel.

Gezien de eenzijdige beslissing van de universiteit om een aanmelder af te wijzen, is het ook de eenzijdige verantwoordelijkheid van de universiteit om afwijzingsbesluiten te baseren op degelijke informatie en procedures. Om gefundeerde selectiebeslissingen te kunnen nemen, is informatie nodig over welke voorspellers geschikt zijn en over hoe ze te gebruiken. In de literatuur worden vrijwel uitsluitend regressie-analyses gerapporteerd en hoe informatief die ook zijn, ze bieden geen informatie over hoe hoog een aanmelder zou moeten scoren om een bepaalde kans op studiesucces te hebben. Om goed geïnformeerd maatwerk te kunnen leveren in decentrale selectie onderzochten we de voorspellende waarde van onze toelatingsinstrumenten. Daarbij namen we de vrijheid om buiten de gebaande analyse-paden te treden.

Probleem
Studiesucces wordt meestal gedefinieerd als Grade Point Average (GPA), cursuscijfers of op tijd afstuderen. De voorspellende waarde van de beschikbare instrumenten die iets zeggen over de kans op studiesucces is verre van perfect. Toch moet op individueel niveau besloten worden of iemand toegelaten wordt of niet. De beslissers moeten het doen met onvolmaakte informatie en zullen dus onvermijdelijk incorrecte beslissingen nemen: toelating van personen die later onsuccesvol blijken en afwijzing van personen die succesvol zouden zijn geworden. Dit proefschrift biedt een (niet het) antwoord op de vraag hoe incorrecte beslissingen in selectie te minimaliseren.

De voorspelling van studiesucces en signaaldetectietheorie
Ieder individu heeft een bepaald potentieel voor academisch succes. De zichtbaarheid daarvan wordt mede bepaald door allerlei factoren binnen en buiten de persoon. Relevante factoren buiten de persoon zijn kenmerken van het onderwijs (didactisch en sociaal) en de sociale omgeving (familieomstandigheden, vriendenkring, woonomgeving). Het academisch succes in een opleiding (het ‘signaal’), waaraan de persoon nog moet beginnen, kan geschat worden op het moment van aanmelding, maar pas later blijkt of de persoon daadwerkelijk succesvol is. Er kunnen twee soorten incorrecte toelatingsbeslissingen genomen worden: afwijzen van personen die succesvolle studenten zouden zijn geworden (misses) en toelaten van personen die de opleiding niet afronden (false alarms). De vraag is hoe accuraat ten tijde van de aanmelding het onderscheid gemaakt kan worden.

Op groepsniveau informeert signaaldetectie over zowel sensitiviteit als specificiteit van toelatingsinstrumenten en over de effecten van specifieke criteria. Dit maakt het mogelijk om te streven naar het voorkomen van de ene soort incorrecte beslissing ten opzichte van de andere of om te streven naar selectie die neutraal is. Naast de informatie op groepsniveau geeft signaaldetectie ook informatie op individueel niveau over met welk instrument en welk criterium een specifiek persoon terecht of onterecht zou worden toegelaten.

Overzicht van onderzoek en resultaten
Hoofdstuk 2 begon met een onderzoek naar de voorspellende waarde van middelbareschoolcijfers, proefstudeercijfers en een psychosociale score voor studiesucces. De berekeningen lieten zien dat het proefstudeercijfer en de psychosociale score mogelijk zinvollere voorspellers zijn dan de meer gebruikelijke regressie-analyses laten zien. Ieder van de drie enkelvoudige instrumenten selecteerde bovendien meer succesvolle dan onsuccesvolle unieke studenten, die dus niet door de andere twee instrumenten werden geselecteerd.

Hoofdstuk 3 onderzocht drie lichtingen studenten. De psychosociale score verloor aan voorspellende waarde nu er geselecteerd werd (mogelijk door sociaal-wenselijk invullen). Het bleek dat het gebruik van proefstudeercijfers en een psychosociale score naast de middelbareschoolcijfers zinvol is. Zowel de sensitiviteit als de specificiteit waren hoger bij de gecombineerde instrumenten en het drievoudige toelatingsinstrument was het meest accuraat.

Hoofdstuk 4 breidde de voorspelling uit naar de gehele bachelor. De voorspelling van studiesucces-in-jaar-twee-en-drie op basis van de voorspeller-aan-de-poort bleek even accuraat als de voorspelling voor jaar 1. Wel was het gemiddelde eerstejaarscijfer een accuratere voorspeller van later succes. Ook bleek dat succes in theoretische cursussen beter voorspelbaar was dan succes in onderzoeksvaardigheden en professionele vaardigheden. Focusgroepen bevestigden dat academisch succes breder is dan alleen cijfers en ook kritisch denken, vragen stellen en integriteit omvat.

Hoofdstuk 5 concludeert dat 'niet-cognitieve' factoren in de literatuur vaak slecht geordend zijn. Een integratief literatuuroverzicht bood grond om vijf clusters te onderscheiden die matchen met de vijf elementen van welbevinden uit de positieve psychologie: Persoonlijkheid (Positieve emoties), Nieuwsgierigheid & creativiteit (Betrokkenheid), Communicatie (Relaties), Motivatie (Betekenisgeving), en Coping & zelfregulatie (Succeservaringen).

Hoofdstuk 6 integreert de bevindingen. De conclusie is dat de accuratesse van toelatingsinstrumenten te wensen overlaat. Zodra je er voor kiest om niet iedereen toe te laten, is het voorkomen van misses onmogelijk. Kwaliteit kan technisch gewaarborgd worden door jaarlijkse signaaldetectieanalyses. De overgang naar universitair onderwijs brengt een grote verschuiving met zich mee voor adolescenten. Het is onmogelijk om voor iedereen vóór de start een accurate voorspelling te geven. Drie thema's staan centraal: 1) Gebruik signaaldetectie om kwaliteit te waarborgen; 2) Ontwikkel proefstudeerprogramma's die zelf-selectie informeren; 3) Realisatie van academisch succes is een gezamenlijke inspanning van studenten en docenten die uit hun comfortzone in 'magic zones' stappen.

Blik op de horizon
Signaaldetectietheorie is een eenvoudig te implementeren methode. Instellingen kunnen samenwerken aan een beter begrip van factoren in selectie. Onderwijs is een gezamenlijk avontuur; een VWO-diploma en proefstuderen bieden geen garanties, maar een hoopvol startpunt.