Hidde Leplaa

Aan de start van dit proefschrift was een onderzoekslijn gepland over replicatieonderzoek. COVID ontregelde, naast de rest van de wereld, ook dit plan. Door COVID kwam de kans aan te sluiten bij een veldexperiment naar gedragsbe¨ınvloeding. Het leidt tot een proefschrift met twee delen, maar wel binnen een overkoepelend doel. Het proefschrift is erop gericht een bijdrage te leveren aan de kwaliteit van de sociale wetenschappen door gebruikelijke methoden toe te passen in minder gebruikelijke contexten. Dat gebeurt eerst door in te gaan op stand van zaken met betrekking tot replicatieonderzoek, vervolgens door de toegevoegde waarde van kwalitatieve methoden in experimentele contexten te onderzoeken. Hoofdstuk 2 gaat in op de replicatiecrisis in psychologie. Publicaties van het Open Science Collaboration toonden dat slechts 36 tot 47% van de studies in psychologie bij herhaling dezelfde conclusies zouden opleveren. In de jaren na deze publicaties is er een aanzienlijke hoeveelheid literatuur gepubliceerd waarin wordt ingegaan op replicatiestudies, hoofdzakelijk geschreven door methodologen en statistici. Er is echter weinig literatuur te vinden waarin de perspectieven van de onderzoekers binnen psychologie zelf ten opzichte van replicatie centraal worden gesteld. Met deze studie worden de meningen en idee¨en van de onderzoekers binnen psychologie vastgelegd, op basis van 11 interviews, in 2019 uitgevoerd, met onderzoekers aan de afdeling Psychologie van een Nederlandse universiteit. Deze onderzoekers werden bevraagd over hun idee¨en over waarom, hoe, en wanneer replicatiestudies zouden moeten worden uitgevoerd. De data hebben geleid tot de ontwikkeling van een typologie waarin vier verschillende perspectieven ten aanzien van replicatiestudies beschreven worden. Deze typen worden beschreven op basis van tien karakteristieken, zoals idee¨en over het doel van replicaties, voorkeuren voor methodologische benaderingen, de volgens hen gepaste wijze van analyse, evenals bredere concepten zoals hun idee¨en over wetenschap en de uitdagingen die men daarin tegenkomt. De uiteindelijke typologie geeft een aantal hoofdthema’s weer die ook in de eerdere literatuur al naar voren kwamen, maar geeft daarnaast ook nieuwe inzichten over hoe onderzoekers binnen de psychologie replicatie zien en ervaren. Hoofdstuk 3 gaat door op het onderwerp replicatieonderzoek. Hierin wordt een methode voorgesteld om vast te stellen of de resultaten van een oorspronkelijke studie opnieuw worden gevonden in de replicatiestudie. Het paper wordt ge¨ıllustreerd met twee replicatiestudies en hun bijbehorende oorspronkelijke studies, beide afkomstig uit het reproducibility project psychology van het Open Science Collaboration. In de voorgestelde methode is het opstellen van de te toetsen hypothesen flexibel, juist omdat het vertalen van ’het resultaat van een studie’ naar hypothesen cruciaal zijn voor replicatie. De ene manier van het vaststellen van de hypothesen is door deze te formuleren op basis van de introductiesectie van de originele studie, wat leidt tot zogenaamde informatieve hypothesen. Alternatief kan er gekozen worden om de statistieken uit de resultatensectie van de originele studie om te zetten naar interval-hypothesen. Middels de Bayes factor kan dan worden vastgesteld of de hypothesen gebaseerd op de originele studie als meest waarschijnlijk naar voren komen op basis van de data in de replicatie. Met de voorgestelde methode om replicatiesucces te bepalen kunnen replicerende onderzoekers meer accuraat toetaen in hoeverre de studies vergelijkbare resultaten vinden. Hoofdstuk 4 gaat in op het bepalen van effecten van interventies in een experimenteel design met behulp van kwalitatieve data en analysemethoden. Er worden verschillende stappen en afwegingen gepresenteerd die gemaakt zouden moeten worden bij de kwalitatieve evaluatie van resultaten van experimentele designs. Voor elk van de stappen wordt methodologische instructie geboden, van het formuleren van de onderzoeksdoelen, via data-verzameling en analyse, tot het interpreteren van het potenti¨ele effect van de interventie. Daarbij wordt specifiek ingegaan op het versterken van de kwaliteit van de studie. De instructies zijn ontwikkeld aan de hand van een empirisch voorbeeld, dat in het paper als illustratie wordt gebruikt. In het empirische voorbeeld werd de constructivistische grounded theory benadering toegepast om te evalueren of er een effect is van prompts gericht op empathie, op gedrag en intenties met betrekking tot het opvolgen van COVID-gerelateerde richtlijnen. Middels de gepresenteerde stappen is het mogelijk voor andere onderzoekers om hun eigen kwalitatieve analyse van data afkomstig uit een experimenteel design uit te voeren. Hoofdstuk 5 beschrijft de empirische studie die ten grondslag lag aan het vorige hoofdstuk. Het beschrijft het kwalitatieve experiment dat tijdens de COVID-pandemie werd uitgevoerd op de campus van een Nederlandse universiteit en hogeschool om te onderzoeken hoe empathie-oproepende prompts gedrag be¨ınvloeden. Middels een A-B design, wisselend tussen controle (A) en experimentele (B) weken, werd het effect van prompts op gedrag onderzocht. De prompts werden aangeboden in de vorm van video’s, posters, en een robot. Deze prompts riepen op de COVID-richtlijnen op te volgen in het belang van anderen: ’Houd afstand voor mij’. De bevindingen tonen de complexiteit van het gedrag van de studenten, waar attitudes met betrekking tot COVID gerelateerde richtlijnen invloed lijken te hebben op voorgenomen gedrag. Deze intenties leiden echter niet per se tot zichtbare veranderingen in het gedrag. De contextuele factoren waarin het gedrag tot stand kwam bleek de relatie daartussen te be¨ınvloeden. Daarnaast werden er slechts minimale verschillen vastgesteld tussen de controlegroep en de experimentele groep, wat suggereert dat de invloed van de prompts op gedrag zeer beperkt was. Deze dissertatie is gestart voordat COVID de kop opstak. In de eerste jaren, voor COVID, zijn de studies uitgevoerd gericht op replicatie, tijdens COVID is de focus verlegd naar kwalitatieve methoden. In Hoofdstuk 6 wordt een blik geworpen op de recente ontwikkelingen op het gebied van replicatie. In de jaren sinds Hoofdstuk 2 en 3 is het veld van replicaties in beweging gebleven. Ten eerste zijn er meerdere methodologische papers geschreven over de wijze waarop Bayesiaanse statistiek toegepast kan worden in de context van replicaties (e.g. om te bepalen of een studie succesvol gerepliceerd is of om de steekproefgrootte te bepalen). Ten tweede zijn er meer (directe) replicaties gepubliceerd, hoewel de toename gering genoemd kan worden. Het zijn indicaties van een wetenschappelijke wereld die in beweging is, en waarschijnlijk zal blijven. De hoop is dat deze dissertatie een bijdrage kan leveren aan de kwaliteit van de wetenschap.