Daniel Schumacher

Hoofdstuk 1

Hoofdstuk 1 beschrijft de recente vraag naar een verbeterde link tussen de onderwijsresultaten uit de medische vervolgopleiding en de kwaliteit van de patiëntenzorg. Hoewel het bereiken van dit doel aan de basis ligt van competentiegericht onderwijs, belemmeren huidige hiaten in toetspraktijken en trainingen gericht op kwaliteitsverbetering pogingen om dit te bereiken. Met hiaten in toetspraktijken refereren we aan de ongewenste variatie in toetsen alsook aan de slechte afstemming van deze toetsing op de patiëntenzorg. In dit hoofdstuk stellen we dat patiëntgerichte toetsing van prestaties, en in het bijzonder entrustable professional activities (EPA’s) en kwaliteitsmaten die betrekking hebben op het werk dat aiossen verrichten (welke we in het navolgende “aios-specifieke kwaliteitsmaten”, oftewel ASKM’s zullen noemen), een manier is om deze belemmeringen weg te nemen. Met het nemen van deze hordes zetten we een eerste stap richting een betere afstemming van onderwijsresultaten op de patiëntenzorg. Hoewel EPA’s de afgelopen 10 jaar veel internationale populariteit hebben genoten, is het empirische bewijs daarvoor momenteel onvoldoende; daarnaast zijn er onvoldoende kwaliteitsmaten voor het werk dat aiossen verrichten. Dit bracht ons tot de volgende centrale onderzoeksvragen voor dit proefschrift:

Welke aspecten komen er kijken bij de ontwikkeling en toepassing van kwaliteitsmaten, welke we “aios-specifieke kwaliteitsmaten” (ASKM’s) noemen, die grotendeels aan aiossen zijn toe te schrijven en die van belang zijn voor de patiëntenzorg?

Wat is het verband tussen entrustment decisions, oftewel besluiten om een kritische activiteit aan aiossen toe te vertrouwen, en hun prestaties op de ASKM’s?

De studies in dit proefschrift vinden plaats in de context van een medische vervolgopleiding Kindergeneeskunde in de VS. Bij onze eerste stappen in deze baanbrekende onderzoeksrichting richtten we ons meer specifiek op de afdeling spoedeisende hulp (SEH) van dit specialisme.

Hoofdstuk 2

In Hoofdstuk 2 wordt de vraag naar nieuwe benaderingen van prestatietoetsing teneinde onderwijsresultaten en de kwaliteit van de patiëntenzorg beter op elkaar te laten aansluiten, verder aangevuld door te stellen dat de toekomst van kwalitatief hoogwaardige zorg afhangt van een verbeterde toetsing van artsprestaties. Er wordt een drieledige onderzoeksagenda op dit gebied voorgesteld. Ten eerste moeten EPA’s ingevoerd en uitgebreid onderzocht worden. Ten tweede moet het verband tussen entrustment decisions over aiossen en kwaliteitsmaten voor de zorg die zij verlenen onderzocht worden. Ten slotte zouden de publieke en private sector deze inspanningen moeten financieren en daar voorrang aan moeten geven, aangezien slechts 2% van de totale uitgaven voor de gezondheidszorg naar gezondheidszorgonderwijs voor alle beroepen samen gaat.

Hoofdstuk 3

Het in dit proefschrift voorgestelde onderzoeksprogramma richt zich op individuele ASKM-prestaties en op besluiten om een kritische activiteit aan individuen toe te vertrouwen. Gezien de recente focus op zorgverlening door teams is het echter van belang deze toespitsing op individuen te verantwoorden. Hoofdstuk 3 licht toe waarom het belangrijk is te focussen op zowel individuen (door de toeschrijving van zorg aan een individu te overwegen) als teams, programma’s en systemen (door de bijdrage aan zorg te overwegen). ‘Bijdrage’ richt zich op de diverse maten waarin verschillende eenheden aan een resultaat bijdragen. Daarbij speelt het een belangrijke rol bij het analyseren van resultaten op programma- en systeemniveau die als input dienen voor programma-evaluatie en -verbeteringen voor de toekomst. In de zorg is de rol van een individu en de aspecten van zorg die aan een individueel teamlid kunnen worden toegeschreven echter net zo belangrijk. Het is waardevol om individuen informatie te verschaffen over hun functioneren in het team, omdat dit hen kan aanzetten tot persoonlijke verbetering. Verder is het zo dat we individuele artsen, niet teams, laten afstuderen, hen diplomeren en hen kwalificaties toekennen voor de artsenpraktijk. Bovendien zijn prestatiebekostigingsmodellen ook gericht op de kwaliteit van de door individuen verleende zorg, waardoor het belangrijk is om de resultaten van individuele prestaties te kunnen meten. In dit hoofdstuk onderzoeken we hoe analyses van ‘toeschrijving’ en ‘bijdrage’ aanvullend kunnen worden toegepast om te achterhalen welke resultaten aan individuen en welke aan teams en programma’s kunnen en moeten worden toegeschreven.

Hoofdstuk 4

Hoofdstuk 4 beschrijft pogingen om de inhaalslag met betrekking tot kwaliteitsmaten voor gebruik onder aiossen te maken, door ASKM’s te ontwikkelen voor gebruik op de afdeling kinder-SEH. In deze studie gebruikten we een nominal group technique (NGT) en Delphi-methode met stafleden en collega-supervisoren van het Cincinnati Children’s Hospital Medical Center (CCHMC) om mogelijke ASKM’s te ontwikkelen (d.m.v. de NGT) en te prioriteren (d.m.v. de Delphi) voor contacten met patiënten met acute verergering van astma, bronchiolitis en licht schedeltrauma. We vroegen de groepen om mogelijke ASKM’s te bedenken (in de NGT) en deze te scoren (in de Delphi) op basis van de volgende twee criteria: 1) het belang van de maat voor de betreffende ziekte; en 2) de kans dat een aios, en geen ander teamlid of het team gezamenlijk, de handeling waarop de maat van toepassing is, verricht. De NGT leverde 67 maten op voor astma, 46 voor bronchiolitis en 48 for licht schedeltrauma. Deze vormden de input voor de eerste ronde van de Delphi-methode. Na twee rondes voldeden 18 maten voor astma, 21 voor bronchiolitis en 21 voor licht schedeltrauma aan de criteria voor automatische inclusie. Uit deze potentiële eindmaten stelden de deelnemers in ronde drie hun top 10 en de volgende 5 op. De maten die geprioriteerd werden, vielen vaak in een van de volgende drie categorieën: 1) passend medicatiegebruik; 2) documentatie; en 3) informatieverstrekking bij ontslag van de patiënt. Samenvattend biedt deze studie een richtsnoer voor het identificeren en ontwikkelen van ASKM’s die kwalitatief hoogwaardige zorgverlening tijdens en na de opleiding kunnen helpen bevorderen.

Hoofdstuk 5

Hoofdstuk 5 vult het werk van hoofdstuk 4 op twee manieren aan: 1) het herhaalt het proces voor het ontwikkelen van ASKM’s voor astma, bronchiolitis en licht schedeltrauma op de kinder-SEH met aiossen Kindergeneeskunde; en 2) het betrekt belanghebbenden als aiossen en supervisoren ten behoeve van de ontwikkeling van ASKM’s en vervolgstappen daarin. Net als de stafleden en collega-supervisoren richtten aiossen in de NGT en Delphi-rondes zich bij de drie betreffende ziektes voornamelijk op maten die betrekking hadden op: 1) passend medicatiegebruik; 2) documentatie; en 3) informatieverstrekking bij ontslag van de patiënt. De daaropvolgende focusgroepen met zowel aiossen als stafleden en collega-supervisoren merkten ziekenhuisgeneeskunde en Algemene Kindergeneeskunde aan als prioritaire gebieden voor het ontwikkelen van toekomstige ASKM’s, maar wezen ook op omgevingsvariabelen die de toepassing van vergelijkbare maten in andere settings beïnvloeden (de teamsamenstelling van de afdeling Algemene Kindergeneeskunde kan bijvoorbeeld de bruikbaarheid van enkele maten beperken). Aiossen en supervisoren hadden zowel vergelijkbare als unieke inzichten in het ontwikkelen van ASKM’s. Zo leverde de NGT met aiossen meer maten op dan de NGT met supervisoren en beide focusgroepen meenden dit te kunnen toeschrijven aan het feit dat aiossen volop in de praktijk bezig waren en daardoor meer details kenden van de zorg die daar verleend werd. Supervisoren merkten echter op dat aiossen mogelijk niet voldoende in staat zijn de juiste prioriteiten te stellen of niet weten welke middelen tot hun beschikking staan om hun werk goed te kunnen verrichten. Aiossen daarentegen, gaven aan dat supervisoren mogelijk zelfs geen weet hebben van de details die bij het verlenen van zorg aan de frontlinie komen kijken. Samenvattend bouwt dit hoofdstuk voort op hoofdstuk 4 om de weg vooruit te blijven effenen voor de ontwikkeling van toekomstige ASKM’s, door specifieke settings, maten en belanghebbenden waarmee rekening gehouden moet worden bij het ondernemen van dit werk te onderzoeken.

Hoofdstuk 6

Hoofdstuk 6 presenteert de verschillende individuele en collectieve resultaten voor de in hoofdstuk 4 en 5 besproken ASKM’s, nadat deze waren gebruikt om aiossen Kindergeneeskunde werkzaam op de kinder-SEH te beoordelen. Tijdens het academisch jaar 2017-2018 werden aiossen Kindergeneeskunde op de afdeling kinder-SEH van het CCHMC beoordeeld aan de hand van ASKM’s voor acute verergering van astma (21 ASKM’s), bronchiolitis (23) en licht schedeltrauma (19). Van de geïncludeerde patiëntcontacten zorgden 83 aiossen voor 110 patiënten met astma, 112 met bronchiolitis en 77 met licht schedeltrauma. Op enkele uitzonderingen na (bijvoorbeeld wanneer patiënten met verergering van astma zich meldden bij de medische reanimatie-afdeling, waardoor het zorgproces, overeenkomstig het protocol, in gang gezet werd door de toeziend arts, konden de aiossen niet voldoen aan enkele ASKM’s die op deze handelingen betrekking hadden), waren aiossen in de gelegenheid om de meeste ASKM-relevante activiteiten te verrichten. De frequentie waarmee ASKM-gerelateerde handelingen zich voordeden was hoog en dit bood aiossen ruim de kans om aan de kwaliteitsmaten te voldoen. Aan één kwaliteitsmaat voor licht schedeltrauma werd in alle patiëntcontacten voldaan. Over de drie ziekten werd in bijna alle patiëntcontacten nog eens aan 9 ASKM’s voldaan, hoewel in een aantal tot het merendeel van de patiëntcontacten niet werd voldaan aan de meeste ASKM’s. Om vast te stellen hoeveel individuele ASKM’s van het totale aantal ASKM’s dat had kunnen worden uitgevoerd correct werden uitgevoerd, werd er voor elk patiëntcontact een samengestelde score uitgerekend. De samengestelde scores voor de ASKM’s liepen opvallend uiteen en vertoonden opmerkelijk veel variatie: gemiddelde voor astma: 0,84 (SD: 0,11); gemiddelde bronchiolitis: 0,62 (SD: 0,12); licht schedeltrauma: 0,63 (SD: 0,10). Samenvattend laat hoofdstuk 6 zien dat individuele en samengestelde ASKM’s de prestaties van aiossen over patiëntcontacten heen kunnen vangen en onderscheiden, wat de deur opent voor het gebruik ervan in andere contexten en door andere specialismen.

Hoofdstuk 7

Hoofdstuk 7 onderzoekt het verband tussen samengestelde ASKM-scores voor individuele patiëntcontacten op de afdeling kinder-SEH, entrustment decisions die supervisoren nemen voor die patiëntcontacten (zoals blijkt uit de mate van toegewezen supervisie) en de ernst* en complexiteit van deze patiëntcontacten. Voor de in dit hoofdstuk gerapporteerde studie gebruikten we de 83 aiossen en 299 contacten met astma-, bronchiolitis- en licht-schedeltraumapatiënten die in hoofdstuk 6 werden gepresenteerd. Om het verband tussen de samengestelde ASKM-scores en de andere relevante variabelen te meten, werden mixed models toegepast om de binnen aiossen geneste observaties te verklaren. Er bestond een positieve correlatie tussen entrustment decisions en de samengestelde ASKM-scores voor astma (bèta-coëfficiënt van 0,03; p = 0,0004), maar er werd geen significante correlatie gevonden tussen samengestelde ASKM-scores en entrustment decisions voor bronchiolitis en licht schedeltrauma. Hoewel statistisch significant, heeft dit positieve lineaire verband voor astma waarschijnlijk geen onderwijskundige noch klinische relevantie, omdat de samengestelde ASKM-scores bij elke toename van 1 punt (op 7) in entrustment-score enkel met 0,03 (op 1) toenamen. Er wordt verondersteld dat er een positief verband bestaat tussen entrustment decisions en de samengestelde ASKM-scores. Aangezien ASKM’s een meer objectieve maatstaf voor prestaties vormen, zouden we ons naar aanleiding van de bevindingen van deze studie moeten afvragen of entrustment decisions (al dan niet deels) gebaseerd moeten worden op uit ASKM’s verkregen prestatiegegevens. De samengestelde ASKM-scores waren significant hoger naarmate de ernst toenam en significant lager naarmate deze afnam voor zowel astma (p=0,0009) als bronchiolitis (p=0,01). De samengestelde ASKM-scores voor licht schedeltrauma bleven echter vrijwel identiek bij wisselende maten van ernst (p=0,94). Er werd geen verband gevonden tussen samengestelde ASKM-scores en patiëntcomplexiteit.

Hoofdstuk 8

Toen het eerste bewijs van invoering van ASKM’s op de afdeling kinder-SEH er eenmaal lag, trachtte hoofdstuk 8 na te gaan hoe ASKM-gegevens zouden kunnen worden gebruikt door mensen van buiten de afdeling kinder-SEH verantwoordelijk voor het nemen van beoordelingsbesluiten. Om dit doel te bereiken onderzocht de studie in dit hoofdstuk hoe individuele leden van de Klinische Competentiecommissie (KCC) de ASKM-data interpreteren, gebruiken en prioriteren wanneer deze in hun gebruikelijke beoordelingsprocedure worden opgenomen. In deze constructivistische-gefundeerde-theoriestudie namen we een doelgerichte en theoretische steekproef van 19 KCC-leden van de vervolgopleiding Kindergeneeskunde van het CCHMC. Participanten ontvingen een beoordelingsportfolio van een aios voorzien van beoordelingsscores en narratief commentaar over vijf klinische stages, alsook ASKM-gegevens over een van deze stages. Vervolgens werd hen gevraagd om deze te beoordelen en daarbij tot een besluit te komen over de mate waarin zij de aios in staat achtten om de zorg voor patiënten met veelvoorkomende acute problemen op zich te nemen (een entrustable professional activity voor Algemene Kindergeneeskunde). De dataverzameling besloeg twee fasen: 1) het observeren van en hardop denken door participanten tijdens het beoordelen van het portfolio van de aios; en 2) semigestructureerde interviews om participanten verder te bevragen over hun beoordelingen. De analyse ging van zorgvuldig lezen over op het coderen en ontwikkelen van thema’s, wat uitmondde in een model dat in kaart bracht hoe de verschillende thema’s zich onderling tot elkaar verhielden. We onderscheidden vijf dimensies voor de manier waarop participanten naar ASKM’s keken en deze gebruikten: 1) Het zich kunnen oriënteren op de ASKM’s: variërend van ‘verwarrend’ tot ‘dat wijst zich vanzelf’; 2) De geneigdheid om de ASKM’s daadwerkelijk te gebruiken: variërend van ‘met terughoudendheid’ tot ‘met enthousiasme’; 3) De interpretatie van ASKM’s: variërend van ‘behoeft plaatsing in de juiste context’ tot ‘is duidelijk’; 4) ASKM’s voor beoordelingsbesluiten: variërend van ‘is niet lastig’ tot ‘is lastig’; en 5) Verwachtingen voor aiossen: variërend van ‘het gebruik van ASKM’s is mogelijk oneerlijk’ tot ‘is eerlijk’. Het samenspel van deze dimensies leidde tot drie profielen die weergaven hoe participanten gebruik maakten van de ASKM-gegevens, te weten: enthousiaste toepassing, gewillige toepassing en terughoudende toepassing. De eerste twee profielen kwamen het vaakst voor: de meeste participanten maakten in zekere mate gebruik van de ASKM’s, wat spreekt vóór de opname van ASKM’s ten behoeve van de beoordeling van aiossen door de KCC.

Hoofdstuk 9

Naarmate ASKM’s verder worden ontwikkeld, wordt het belangrijk dat we een optimale manier vinden om deze uit het elektronisch patiëntendossier (EPD) te halen, alsook om automatisch vast te stellen aan welke aiossen zij moeten worden toegeschreven in settings waar meerdere aiossen gemoeid zijn met de zorg voor een bepaalde patiënt, zoals de kliniek. Hoofdstuk 9 ging op zoek naar een methode waarmee de zorg voor individuele patiënten met behulp van “voetafdrukken” in het EPD aan individuele aiossen kon worden toegeschreven. In augustus 2017 en januari 2018 registreerden vijf dienstdoende specialisten van het University of Cincinnati Medical Center dagelijks de activiteiten van aiossen die zorgdroegen voor patiënten op een ziekenhuisafdeling Interne Geneeskunde. Deze gegevens beschouwden we als ultiem ijkpunt voor het identificeren van aiossen. Om te kunnen vaststellen in welke mate de aios bij de zorg betrokken was, keken we naar de volgende variabelen: vervolgopleidingsjaar, voortgangsnotitie van auteur, ontslagsamenvatting van auteur, door arts aangevraagde onderzoeken en activiteitenlogs uit het patiëntendossier. We zetten deze variabelen om in categorale kenmerken (bijv. voortgangsnotitie auteur: ja/nee), selecteerden informatieve kenmerken en rangschikten deze met behulp van een beslisboomalgoritme. Er werden in totaal 1.511 activiteiten geregistreerd, waarvan er 116 werden toegeschreven aan aiossen. Uit de resultaten bleek dat alle variabelen, behalve de ‘ontslagsamenvatting auteur’, ten minste enige mate van belangrijkheid vertoonden in de modellen. Het beste model bereikte 78,95% sensitiviteit, 97,61% specificiteit en een gebied onder de ROC-curve van circa 91%. Kortom, deze studie voorspelde met succes, door gebruik te maken van gegevens uit het EPD, de mate waarin aiossen binnen een ziekenhuisteam voor patiënten zorgdroegen. Daarbij kwam een uitstekend model naar voren. Hiermee wordt de basis gelegd voor het toeschrijven van patiënten aan aiossen zodat voor elke aios in kaart kan worden gebracht met welke patiëntdiagnoses deze effectief te maken heeft gehad. Deze kennis kan worden ingezet ten bate van voortdurende kwaliteitsverbeteringsdoeleinden in de medische vervolgopleiding en uiteindelijk helpen om ASKM’s aan aiossen toe te schrijven.

Hoofdstuk 10

Hoofdstuk 10 beschrijft opnieuw de herhaalde vraag naar een betere waarborging van kwalitatief hoogwaardige zorg en stelt dat het medisch onderwijs een belangrijke bijdrage kan en moet leveren aan het bereiken van dit doel. Wij zijn van mening dat we ons hiervoor ten volle en voortdurend moeten richten op de patiënt, iets dat voor onderzoek van medisch onderwijs of de medische-onderwijspraktijk van oudsher nooit een grote focus is geweest. Patiëntgerichte toetsmethoden zoals ASKM’s kunnen helpen om dit doel te bereiken. De kernboodschap van ons onderzoek is dat ASKM’s die met behulp van consensusgroepsmethoden zijn ontwikkeld grotendeels de handelingen van aiossen weerspiegelen en dat de verrichte handelingen sterk van aios tot aios en van patiëntcontact tot patiëntcontact verschillen. Bij de toekomstige ontwikkeling van ASKM’s moet worden overwogen om andere belanghebbenden in het proces te betrekken en dit uit te breiden naar andere settings en specialismen. Ons onderzoek reikt al enkele mogelijke toekomstige settings op het gebied van Kindergeneeskunde aan, waaronder ziekenhuisgeneeskunde en de poli Algemene Kindergeneeskunde, maar het is van belang dat er ook onderzoek wordt verricht binnen andere medische specialismen, alsmede chirurgische en ziekenhuisspecialismen. Om dit werk te voltooien zouden belanghebbenden die we tot nog toe niet in ons werk hebben opgenomen, zoals verplegers, patiënten en hun families, betrokken moeten worden. Onze bevindingen met betrekking tot het verband tussen de ASKM’s en entrustment decisions over aiossen liepen uiteen. Voor alle aandoeningen (astma, licht schedeltrauma en alle andere aandoeningen samen), behalve bronchiolitis, gold dat de samengestelde ASKM-scores significant hoger waren wanneer aiossen hun verantwoordelijkheden zonder supervisie mochten uitvoeren of wanneer zij belast waren met de supervisie van anderen dan wanneer zij onder een grotere mate van supervisie stonden. Dit levert validiteitsbewijs voor de samengestelde ASKM-scores, hoewel het absolute verschil gering was. Voorts zagen we dat, wanneer de supervisieniveau’s afzonderlijk werden beschouwd in plaats van deze in twee categorieën op te delen (1: mag op zijn minst taken zonder supervisie uitvoeren, en 2: heeft ongeacht het niveau nog supervisie nodig), er alleen voor astma een significant positief lineair verband bestond tussen de samengestelde ASKM-scores en entrustment decisions. Waarschijnlijk heeft deze observatie voor astma echter geen onderwijskundige noch klinische relevantie. Naar onze mening vormt deze bevinding eerder een te overwegen bedreiging voor het gebruik van entrustment als beoordelingskader dan voor het gebruik van ASKM’s ten behoeve van de beoordeling van aiossen. Anders gezegd, we stellen dat ASKM’s kunnen helpen de nauwkeurigheid van entrustment decisions te verbeteren. Ondanks de behoefte aan verder inzicht en validiteitsbewijs, vinden wij dat patiëntgerichte toetsmethoden zoals ASKM’s en entrustment moeten worden omarmd aangezien zij, door hun aandacht voor de patiënt, kwalitatief hoogwaardige zorg beloven te borgen. Het gebruik van deze toetsmethoden is echter niet zonder risico. De overgang op nieuwe benaderingen van toetsing kan met enige weerstand gepaard gaan. Dit gezegd te hebben, beloven recente discussies waarin ervoor gepleit wordt de psychometrie achter te laten en in plaats daarvan het subjectieve in prestatiebeoordelingen te omarmen, dat verandering wél mogelijk is. Dankzij de herhaalde vraag naar een betere waarborging van kwalitatief hoogwaardige zorg alsmede een betere afstemming tussen de missies van het medisch onderwijs en de zorg, staat het medisch onderwijs mogelijk aan de vooravond van een keerpunt. Vernieuwingen zoals ASKM’s kunnen de gemeenschap helpen om een duidelijke stap te zetten richting het einddoel om de patiënt in onze beoordelingsmethoden centraal te stellen.