Aniek Markus

Kunstmatige (of artificiële) intelligentie (AI) heeft het potentieel om de zorg voor patiënten te verbeteren en kan bijdragen aan het aanpakken van stijgende zorguitgaven, maar het gebruik van voorspellende modellen in de klinische praktijk is nog steeds beperkt. Een gebrek aan transparantie wordt – zeker gezien de huidige stand van de AI ontwikkeling – vaak gezien als een van de belangrijkste problemen. In de afgelopen jaren heeft uitlegbare AI (ook wel ‘explainable’ AI genoemd) veel aandacht gekregen. Dit proefschrift onderzocht of uitlegbare modellering (d.w.z. modellen die van zichzelf begrijpelijk zijn) en post-hoc uitlegmethoden (d.w.z. uitleg die als aanvulling op het model wordt gepresenteerd) kunnen worden gebruikt om klinische voorspellingsmodellen begrijpelijker te maken, waarbij ook de beperkingen van verschillende soorten uitleg werd onderzocht.

In Hoofdstuk 2 hebben we recente literatuur over uitlegbare AI besproken, met de volgende kernvragen: Wat betekent uitlegbaarheid? Waarom en wanneer kan uitlegbaarheid nuttig zijn? Welke uitlegbare AI methoden zijn beschikbaar? Hoe kan uitlegbaarheid worden geëvalueerd? Hoe kies je tussen verschillende uitlegbare AI methoden? We stellen dat de reden achter het streven naar uitlegbaarheid de ontwerpkeuzes zou moeten sturen, omdat dit bepaalt hoe belangrijk de eigenschappen van uitlegbaarheid zijn: interpretatie en nauwkeurigheid. Op basis van dit idee hebben we een raamwerk voorgesteld om te kiezen tussen uitlegbare AI benaderingen (uitlegbare modellering versus post-hoc uitlegmethoden) en soorten uitleg (model-gebaseerde, variabele-gebaseerde of voorbeeld-gebaseerde uitleg). We constateren ook dat de voordelen van uitlegbaarheid in de praktijk nog bewezen moeten worden en stelden aanvullende maatregelen voor om betrouwbare AI te creëren. Ten slotte raden we aan om uitlegbare modellering toe te passen wanneer uitlegbaarheid van groot belang is of wanneer het verband tussen modelinterpretatie en modelprestatie zwak is. Dit werk heeft geholpen het veld te formaliseren door praktische definities en richtlijnen te bieden aan onderzoekers en professionals bij het ontwerpen van uitlegbare AI systemen.

In de Hoofdstukken 3-5 hebben we de eerste benadering van uitlegbare AI onderzocht, die bekend staat als uitlegbare modellering. Dit houdt in dat voorspellingsmodellen ontwikkeld worden die klein en eenvoudig genoeg zijn om direct door gebruikers begrepen te worden. In Hoofdstuk 3 hebben we de COVID-19 Estimated Risk (COVER) scores ontwikkeld en gevalideerd. Deze scores maken gebruik van griepdata om de ernst van COVID-19 te voorspellen (opname in het ziekenhuis met longontsteking, opname met longontsteking voor intensieve zorg, en overlijden). Hiervoor gebruikten we een benadering in twee fasen: eerst ontwikkelden we een datagedreven model, waarna we een handmatige reductiestap uitvoerden waarbij voorspellende factoren op basis van klinische expertise werden geaggregeerd. Door gebruik van gestandaardiseerde data (OMOP CDM) en gestandaardiseerde analyses (OHDSI tools) konden we deze modellen in het begin van de pandemie snel ontwikkelen en extern valideren in 14 databases met patiënten met griepachtige symptomen en 5 databases met patiënten met bevestigde of vermoede COVID-19 diagnose. In Hoofdstuk 4 vergeleken we het EXPLORE algoritme, een uitputtend zoekalgoritme dat eenvoudige beslissingsregels genereert, met 7 geavanceerde modelalgoritmen over 5 voorspellingstaken met data uit de Nederlandse IPCI database (Integrated Primary Care Information). Deze experimenten toonden aan dat complexere modellen zoals LASSO, RandomForest en XGBoost over het algemeen betere prestaties leverden dan simpelere modellen, wat het verwachte verband tussen model prestaties en model interpretatie bevestigt. Dit verband varieerde echter met de verschillende voorspellingstaken. De regels van EXPLORE, met maximaal 5 voorspellers, behaalden AUROC scores tussen 0.61 en 0.71 voor de voorspellingstaken. Daarnaast toonden we het potentieel van EXPLORE om klinisch optimale beslissingsregels te vinden door gebruik te maken van domeinkennis of door bijna-optimale modellen te verkennen (de Rashomon set). In Hoofdstuk 5 onderzochten we empirisch de (in)stabiliteit van klinische voorspellingsmodellen die ontwikkeld zijn met LASSO logistische regressie. We stelden drie intuïtieve stappen voor om dit te evalueren, gericht op 1) het aantal variabelen, 2) de specifieke variabelen en 3) de richting van het effect van variabelen in verschillende modellen. Onze resultaten toonden aanzienlijke variabiliteit in de geselecteerde variabelen en in de tekens van de coëfficiënten tussen verschillende databases. Dit onderstreept de noodzaak om voorzichtig te zijn bij het toepassen van LASSO regressie voor het identificeren van ‘risicofactoren’ in voorspellende modellen en maakt het risico op overinterpretatie van deze modellen duidelijk.

In Hoofdstukken 6-8 hebben we vervolgens de tweede benadering van uitlegbare AI onderzocht, post-hoc uitlegmethoden. Deze methoden zijn gericht op het ontwikkelen van uitleg die bij een voorspellingsmodel kan worden geleverd om gebruikers meer inzicht te geven. In Hoofdstukken 6 en 7 onderzochten we uitdagingen rond methoden die het belang van voorspellers bepalen (ook wel ‘feature importance’ methoden genoemd), die veel worden gebruikt om modellen uit te leggen. In Hoofdstuk 6 bekeken we drie belangrijke uitdagingen die zich voordoen in verschillende fasen van het proces, zelfs bij een relatief eenvoudig voorspellingsmodel dat is ontwikkeld met gegevens uit elektronische patiëntendossiers (EPDs). Specifiek zijn dat: 1) bepaalde soorten uitleg kunnen rekenkundig onhaalbaar zijn, 2) uitlegmethoden kunnen uiteenlopende of tegenstrijdige uitleg geven voor hetzelfde voorspellingsmodel, en 3) de gepresenteerde uitleg mist nuance en kan verkeerd worden geïnterpreteerd als ze niet overeenkomen met de verwachtingen van de gebruiker.

In Hoofdstuk 7 analyseerden we de mate van onenigheid tussen verschillende ‘feature importance’ methoden bij twee voorspellingstaken met gegevens uit de IPCI database. Daarnaast introduceerden we een nieuw evaluatiekader om verschillende elementen van datacomplexiteit (bijv. aantal voorspellers, aantal uitkomsten, correlatie tussen voorspellers) te onderzoeken die bijdragen aan onenigheid over ‘feature importance’. We pasten dit kader toe op twee open-source datasets. We ontdekten dat de onenigheid over uitleg groter was in de real-world datasets (IPCI versus open-source) en bij complexere modellen (neurale netwerken versus logistische regressie), situaties die juist het meest zouden profiteren van extra uitleg om de transparantie te verbeteren. Onze resultaten lieten slechts kleine veranderingen in onenigheid zien bij aanpassing van de datacomplexiteit, waarbij het aantal voorspellers de grootste invloed had op het niveau van onenigheid. Tot slot evalueerden we in Hoofdstuk 8 negen methoden die contra-feitelijke uitleg genereren (ook wel ‘counterfactual explanation’ methoden genoemd) op hun vermogen om real-world relaties weer te geven met behulp van twee nieuwe maatstaven. We verstrekten zes (semi-)synthetische datasets gegenereerd met bekende structurele causale modellen om de semantische betekenisvolheid van nieuwe en bestaande ‘counterfactual explanation’ methoden te evalueren. We concludeerden dat geen van de bestaande methoden consequent contra-feiten kon genereren die causale consistentie vertoonden.

Dit proefschrift heeft aangetoond dat: i) hybride benaderingen die data- en kennisgedreven leren combineren kunnen helpen om beter interpreteerbare modellen te produceren, ii) post-hoc uitlegmethoden momenteel verschillende beperkingen kennen die de begrijpelijkheid van hun uitleg belemmert, en iii) keuzes voor uitlegbare AI per situatie zorgvuldig afgewogen moeten worden, omdat de afwegingen en behoeften aan uitleg per taak verschillen. Samenvattend stellen we dat uitlegbare AI een belangrijke rol kan spelen bij de ontwikkeling van verantwoorde AI (d.w.z. bruikbare, betrouwbare, eerlijke en duurzame voorspellingsmodellen die een positieve invloed hebben op de klinische praktijk, ook wel ‘responsible AI’ genoemd), maar dat de huidige beperkingen echte begrijpelijkheid in de weg kunnen staan.