Rashmi Khazanchi

Het gebruik van kunstmatige intelligentie (AIED) in het onderwijs groeit snel en heeft een aanzienlijke invloed op de onderwijs- en leerprocessen. AI-gebaseerde systemen kunnen direct feedback geven en instructies in realtime aanpassen, waardoor er mogelijkheden ontstaan voor interactie en betrokkenheid bij het leerproces die vaak moeilijk te realiseren zijn in traditionele klaslokalen, waar leerkrachten niet altijd individuele ondersteuning kunnen bieden aan leerlingen met leerproblemen. Verschillende onderzoeken hebben veelbelovende resultaten laten zien wanneer AI-gebaseerde systemen worden gebruikt als aanvullend hulpmiddel in klassen van het basis- en voortgezet onderwijs.

AI-gebaseerde systemen zoals ITS en ALS hebben de potentie om leerlingen adaptief en gepersonaliseerd onderwijs te bieden, met name in STEM-vakken zoals wiskunde, waar veel leerlingen moeite mee hebben. Dit is vooral duidelijk bij kansarme leerlingen uit plattelandsgebieden, die vaak achterlopen op de verwachtingen voor hun leerjaar vanwege beperkte middelen, een gebrek aan hooggekwalificeerde leraren en de gevolgen van armoede.

Het leerverlies als gevolg van de COVID -19-pandemie heeft de wiskundeprestaties van leerlingen aanzienlijk beïnvloed, waardoor de bestaande prestatieverschillen verder zijn toegenomen. Om dit probleem aan te pakken en de prestatiekloof te verkleinen, hebben verschillende scholen in de Verenigde Staten AI-gebaseerde tools geïmplementeerd ter ondersteuning van het wiskundeonderwijs. Een middelbare school op het platteland in het zuiden van de Verenigde Staten heeft in het schooljaar 2021-2022 een pilot uitgevoerd met ALEKS, een ITS, om leerlingen uit groep 8 te ondersteunen die het moeilijk hebben. In het schooljaar 2022-2023 heeft de school Edmentum Exact Path, een ALS, geïmplementeerd om de ondersteuning voort te zetten.

Dit proefschrift bestaat uit vier hoofdstukken: Hoofdstuk 1 bespreekt een onderzoek dat met ALEKS is uitgevoerd; Hoofdstuk 2 breidt het eerste onderzoek uit voor publicatie in een tijdschrift; Hoofdstuk 3 onderzoekt het gebruik van Edmentum Exact Path; en Hoofdstuk 4 presenteert een systematisch literatuuronderzoek naar op AI gebaseerde systemen en hun impact op wiskundige prestaties.

Hoofdstuk 1 richt zich op het effect van intelligente bijlessystemen op de wiskundeprestaties van onderpresterende leerlingen. Deze quasi-experimentele studie gebruikte ALEKS om de impact ervan op 158 leerlingen uit groep 8 te evalueren, van wie 62-68% in een economische achterstandspositie verkeerde en slechts 12% bekwaam was in wiskunde. Deze studie had als doel om: 1) de effectiviteit van ALEKS te vergelijken met traditioneel onderwijs ter verbetering van de wiskundeprestaties van leerlingen; 2) de voortgang van leerlingen ten opzichte van de wiskundenormen per leerjaar te beoordelen met behulp van ALEKS gedurende één schooljaar; 3) de prestatieverschillen tussen lesperiodes te analyseren met behulp van ALEKS-implementatie.

We vergeleken de resultaten van de voor- en natoets, gebaseerd op door de docent gegeven instructies en de door ALEKS gegeven instructies, gedurende twee opeenvolgende jaren. In het eerste jaar werd alleen het Reveal- wiskundecurriculum van McGraw gebruikt. In het tweede jaar werd ALEKS geïmplementeerd als aanvullend hulpmiddel in een wiskundeles, gedurende 50 minuten om de dag, naast het Reveal-wiskundecurriculum. We analyseerden ook gegevens van vijf jaar aan het einde van het leerjaar (EOG) van de staatsexamens (zonder ALEKS) en vergeleken deze met EOG-gegevens uit het jaar waarin ALEKS werd geïmplementeerd.

De bevindingen toonden aan dat leerlingen die instructie kregen van een leerkracht, betere wiskundeprestaties lieten zien dan leerlingen die instructie kregen van een ALEKS-leerkracht. Deze uitkomst kan worden toegeschreven aan het feit dat ALEKS zich nog in de pilotfase bevond, waarbij leerkrachten nog moesten leren hoe ze het effectief konden gebruiken. Veel leerlingen werkten aan de vereiste vaardigheden omdat ze onder het niveau van hun leerjaar zaten. De COVID-19-pandemie heeft dit effect waarschijnlijk versterkt, aangezien leerlingen naar groep 8 gingen zonder staats- of schoolexamens af te leggen, omdat ze een groot deel van hun instructie in groep 7 hadden gemist vanwege schoolsluitingen.

Uit deze studie bleek ook dat ALEKS bijdroeg aan de verbetering van alle elf wiskundestandaarden binnen vijf wiskundedomeinen. De meeste leerlingen konden echter niet alle standaarden afronden, omdat ALEKS gebaseerd is op beheersing, wat betekent dat leerlingen een nauwkeurigheid van 80% moeten behalen op de vereiste vaardigheden voordat ze verder kunnen. Beperkte toegang tot ALEKS (alleen om de dag) beperkte ook de slagingspercentages. Een andere bevinding gaf aan dat hoogpresterende leerlingen met een sterke werkethiek beter presteerden in vergelijking met groepen met verschillende niveaus, waaronder leerlingen met een beperking.

Hoofdstuk 2 werd uitgebreid voor publicatie in tijdschriften door statistische analyse, waaronder gepaarde t-toetsen en ANOVA, te integreren om de effectiviteit van ALEKS op de wiskundeprestaties van leerlingen te evalueren. Een literatuuronderzoek en een nulhypothese werden ook toegevoegd. De resultaten gaven aan dat door de leraar geleide instructie effectiever was, met hogere testscores en een lagere variantie in vergelijking met ALEKS. De studie had twee hoofddoelen: 1) onderzoeken of het gebruik van ALEKS een statistisch significante verbetering in de wiskundeprestaties van leerlingen liet zien in vergelijking met traditionele door de leraar geleide instructie, en 2) bepalen of het gebruik van ALEKS een statistisch significante verbetering liet zien over de wiskundestandaarden van alle leerjaren heen over één schooljaar. De analyse wees uit dat zowel door ALEKS als door de leraar geleide instructie statistisch significant was, waarbij door de leraar geleide instructie effectiever was.

Een vergelijkbaar patroon werd waargenomen bij vergelijking van vijf jaar aan gegevens over het einde van het leerjaar (EOG) met en zonder ALEKS. Hoewel het gebruik van ALEKS alle wiskundestandaarden aanzienlijk verbeterde, varieerde de winst, waarschijnlijk vanwege het op beheersing gebaseerde leren, waarbij 80% beheersing vereist is voordat naar het volgende onderwerp kan worden doorgegaan. Omdat leerlingen ALEKS slechts om de dag gebruikten, konden ze niet alle elf standaarden afronden.

Over het geheel genomen bieden de bevindingen van deze studie waardevolle inzichten in het gebruik van ITS-systemen in het basis- en voortgezet onderwijs. Wiskunde ITS-systemen zoals ALEKS bieden adaptieve en gepersonaliseerde leermogelijkheden en kunnen de prestaties van onderpresterende leerlingen aanzienlijk verbeteren.

In hoofdstuk 3 onderzochten we de effectiviteit van Edmentum Exact Path, een op AI gebaseerd instructiesysteem, in het verbeteren van de wiskundeprestaties en -betrokkenheid (affectief en cognitief) onder leerlingen in groep 8 in het zuiden van de Verenigde Staten. Deze quasi-experimentele studie omvatte 78 leerlingen uit sociaaleconomisch achtergestelde milieus. We vergeleken een experimentele groep die zowel traditionele, door de leerkracht geleide instructie als door Edmentum Exact Path geleide instructie kreeg, met een controlegroep die alleen traditionele, door de leerkracht geleide instructie kreeg.

De drie doelstellingen van dit onderzoek waren: 1) Het vergelijken van de effectiviteit van Edmentum Exact Path en traditioneel, door docenten geleid onderwijs op de wiskundeprestaties van leerlingen. 2) Het onderzoeken van de verschillen in affectieve betrokkenheid van leerlingen tussen Edmentum Exact Path-onderwijs en traditioneel, door docenten geleid onderwijs. 3) Het onderzoeken van de verschillen in cognitieve betrokkenheid van leerlingen tussen Edmentum Exact Path-onderwijs en traditioneel, door docenten geleid onderwijs.

De experimentele groep gebruikte het Reveal-wiskundecurriculum van McGraw-Hill en integreerden Edmentum Exact Path als aanvullend instrument. De experimentele groep volgde ook ondersteunende wiskundelessen, waar ze werkten aan geïndividualiseerde leerpaden in Edmentum Exact Path, ontwikkeld op basis van diagnostische beoordelingen die aan het begin van het schooljaar werden afgenomen. De wiskundige prestaties werden gemeten met behulp van pretests en posttests, terwijl de betrokkenheid van de leerlingen werd gemeten met een 35-items, 5-punts Likert-schaal Student Engagement Instrument (SEI), afgenomen na de posttest om affectieve en cognitieve betrokkenheid te beoordelen. Een belangrijke beperking van deze studie is de afwezigheid van een SEI-enquête vóór de interventie, wat de mogelijkheid beperkt om veranderingen in betrokkenheid in de loop van de tijd te meten.

De gegevens werden geanalyseerd met behulp van t-toetsen en ANOVA. Het resultaat toonde aan dat zowel de experimentele als de controlegroep statistisch significante verbeteringen in wiskundeprestaties lieten zien. De controlegroep liet echter een grotere winst zien in affectieve betrokkenheid, terwijl er geen statistisch significante verschillen werden waargenomen in cognitieve betrokkenheid tussen de twee groepen.

Deze resultaten suggereren dat de integratie van AI-gebaseerde systemen zoals Edmentum Exact Path de wiskundeprestaties en cognitieve betrokkenheid kan verbeteren door in te spelen op individuele leerbehoeften. Dergelijke tools zijn echter mogelijk minder effectief in het vergroten van de affectieve betrokkenheid, mogelijk vanwege een gebrek aan emotionele responsiviteit. Verder onderzoek is nodig om de rol van AI bij het bevorderen van de betrokkenheid van leerlingen beter te begrijpen, met name onder de achtergestelde bevolking in plattelandsgebieden.

In hoofdstuk 4 hebben we een systematisch literatuuronderzoek uitgevoerd om de impact van AI-gebaseerde systemen op de wiskundeprestaties in klassen van het basis- en voortgezet onderwijs te onderzoeken. Het onderzoek was gericht op de volgende doelstellingen: 1) Identificeren welke soorten AI-gebaseerde systemen worden gebruikt in het wiskundeonderwijs en op welk onderwijsniveau ze worden geïmplementeerd. 2) De impact van AI-gebaseerde systemen op de wiskundeprestaties van leerlingen in het basis- en voortgezet onderwijs identificeren. 3) Onderzoeken of op AI gebaseerde systemen de kloof in wiskundeprestaties onder leerlingen uit lage sociaaleconomische milieus helpen verkleinen, en welke systeemkenmerken hieraan bijdragen.

We volgden de PRISMA-richtlijnen en doorzochten zes belangrijke databases: ACM Digital Library, ERIC (EBSCO), JSTOR, Wiley, ScienceDirect (Elsevier) en SpringerLink om peer-reviewed artikelen te vinden die tussen 2008 en 2023 zijn gepubliceerd. Een eerste pool van 1945 studies werd geïdentificeerd op basis van vooraf gedefinieerde inclusie- en exclusiecriteria. Na screening werden 42 artikelen geselecteerd voor diepgaande analyse. De gegevens werden georganiseerd en geanalyseerd met behulp van spreadsheets.

De bevindingen geven aan dat AI-gebaseerde systemen op grote schaal worden gebruikt in klassen van het basis- en voortgezet onderwijs in verschillende landen om gepersonaliseerde en adaptieve leerervaringen te bieden ter ondersteuning van het wiskundeonderwijs van leerlingen. De meeste onderzoeken zijn uitgevoerd in de Verenigde Staten. Zowel Intelligent Tutoring Systems (ITS) als Adaptive Learning Systems (ALS) worden gebruikt op de basisschool, middelbare school en middelbare school. Verschillende onderzoeken meldden ook het gebruik van adaptieve leergames, zoals Lynnette, DragonBox, Woot Math Adaptive Learning (WMAL) en Math Whizz. De meest gebruikte AI-gebaseerde systemen in de VS zijn ALEKS, CTA1, ASSISTments, HALF, Math IVLE, MathSpring en Decimal Point. Uit onderzoeken uit andere landen blijkt dat er gebruik wordt gemaakt van AI-gebaseerde systemen zoals MIT, dialooggebaseerde docenten, ACALS, adaptieve CER-gebaseerde wiskundespellen, PEDALE, PAT2Math, ZPDES, RiaRiT, AmritaITS, UZWEBMAT, APPEAL en HINTS.

Over het algemeen suggereren de bevindingen een matig positief effect van AI-gebaseerde systemen op de wiskundeprestaties van leerlingen. De meeste studies rapporteerden matige tot significante verbeteringen in de prestaties, betrokkenheid en retentie van leerlingen. Verschillende AI-gebaseerde systemen, zoals ALEKS, MathSpring en eFit, werden geassocieerd met verbeterde resultaten bij leerlingen met een lage sociaaleconomische achtergrond, wat hun potentieel om onderwijsgelijkheid te ondersteunen onderstreept.

De discussie presenteert de bevindingen van elk onderzoek in dit proefschrift, samen met de bijdragen en beperkingen van dit onderzoek. Gebaseerd op de integratie van AI-gebaseerde instructiesystemen en gepersonaliseerde leerkaders, tonen de studies aan hoe AI-gebaseerde systemen de leerresultaten van leerlingen in wiskunde kunnen verbeteren. Deze AI-gebaseerde systemen tonen potentieel in het verbeteren van de cognitieve betrokkenheid en academische prestaties van leerlingen. De bevindingen onthullen echter ook beperkingen in het bevorderen van affectieve betrokkenheid, en benadrukken de uitdagingen waarmee AI-gebaseerde systemen worden geconfronteerd bij het repliceren van de emotionele connectie van menselijk lesgeven. De studie toont beperkingen in affectieve betrokkenheid en laat de uitdagingen zien van AI-gebaseerde systemen om de emotionele en relationele aspecten van menselijk lesgeven te repliceren. Dit proefschrift draagt bij aan het bredere discours binnen de AIED-gemeenschappen en levert empirisch bewijs voor de pedagogische impact van AI-gebaseerde instructies op de wiskundeprestaties en betrokkenheid van leerlingen in kansarme bevolkingsgroepen in landelijke onderwijscontexten.

Toekomstig onderzoek zou de impact van verschillende AI-gebaseerde systemen moeten onderzoeken door hun effectiviteit te vergelijken met ITS en ALS, zoals ALEKS en Edmentum Exact Path. Hierbij zouden factoren zoals instructieontwerp, leerlingkenmerken en specifieke leerresultaten in aanmerking moeten worden genomen. Door de sterke punten van deze AI-gebaseerde systemen te benutten, kunnen docenten en beleidsmakers weloverwogen beslissingen nemen over de integratie ervan, wat uiteindelijk de prestaties van leerlingen in wiskunde en aanverwante disciplines verbetert.