{"id":14403,"date":"2026-03-19T12:26:56","date_gmt":"2026-03-19T11:26:56","guid":{"rendered":"https:\/\/www.proefschriftmaken.nl\/us_portfolio\/aniek-markus-2\/"},"modified":"2026-08-14T17:46:39","modified_gmt":"2026-08-14T15:46:39","slug":"aniek-markus","status":"publish","type":"us_portfolio","link":"https:\/\/www.proefschriftmaken.nl\/en\/portfolio\/aniek-markus\/","title":{"rendered":"Aniek Markus"},"content":{"rendered":"","protected":false},"featured_media":7976,"template":"","meta":{"_acf_changed":false},"university_us_portfolio":[12],"class_list":["post-14403","us_portfolio","type-us_portfolio","status-publish","has-post-thumbnail","hentry","university_us_portfolio-erasmus-universiteit-rotterdam"],"acf":{"main_text":"","naam_van_het_proefschift":"Opening the Black Box of Explainability","samenvatting":"Kunstmatige (of artifici\u00eble) intelligentie (AI) heeft het potentieel om de zorg voor pati\u00ebnten te verbeteren en kan bijdragen aan het aanpakken van stijgende zorguitgaven, maar het gebruik van voorspellende modellen in de klinische praktijk is nog steeds beperkt. Een gebrek aan transparantie wordt \u2013 zeker gezien de huidige stand van de AI ontwikkeling \u2013 vaak gezien als een van de belangrijkste problemen. In de afgelopen jaren heeft uitlegbare AI (ook wel \u2018explainable\u2019 AI genoemd) veel aandacht gekregen. Dit proefschrift onderzocht of uitlegbare modellering (d.w.z. modellen die van zichzelf begrijpelijk zijn) en post-hoc uitlegmethoden (d.w.z. uitleg die als aanvulling op het model wordt gepresenteerd) kunnen worden gebruikt om klinische voorspellingsmodellen begrijpelijker te maken, waarbij ook de beperkingen van verschillende soorten uitleg werd onderzocht.\n\nIn Hoofdstuk 2 hebben we recente literatuur over uitlegbare AI besproken, met de volgende kernvragen: Wat betekent uitlegbaarheid? Waarom en wanneer kan uitlegbaarheid nuttig zijn? Welke uitlegbare AI methoden zijn beschikbaar? Hoe kan uitlegbaarheid worden ge\u00ebvalueerd? Hoe kies je tussen verschillende uitlegbare AI methoden? We stellen dat de reden achter het streven naar uitlegbaarheid de ontwerpkeuzes zou moeten sturen, omdat dit bepaalt hoe belangrijk de eigenschappen van uitlegbaarheid zijn: interpretatie en nauwkeurigheid. Op basis van dit idee hebben we een raamwerk voorgesteld om te kiezen tussen uitlegbare AI benaderingen (uitlegbare modellering versus post-hoc uitlegmethoden) en soorten uitleg (model-gebaseerde, variabele-gebaseerde of voorbeeld-gebaseerde uitleg). We constateren ook dat de voordelen van uitlegbaarheid in de praktijk nog bewezen moeten worden en stelden aanvullende maatregelen voor om betrouwbare AI te cre\u00ebren. Ten slotte raden we aan om uitlegbare modellering toe te passen wanneer uitlegbaarheid van groot belang is of wanneer het verband tussen modelinterpretatie en modelprestatie zwak is. Dit werk heeft geholpen het veld te formaliseren door praktische definities en richtlijnen te bieden aan onderzoekers en professionals bij het ontwerpen van uitlegbare AI systemen.\n\nIn de Hoofdstukken 3-5 hebben we de eerste benadering van uitlegbare AI onderzocht, die bekend staat als uitlegbare modellering. Dit houdt in dat voorspellingsmodellen ontwikkeld worden die klein en eenvoudig genoeg zijn om direct door gebruikers begrepen te worden. In Hoofdstuk 3 hebben we de COVID-19 Estimated Risk (COVER) scores ontwikkeld en gevalideerd. Deze scores maken gebruik van griepdata om de ernst van COVID-19 te voorspellen (opname in het ziekenhuis met longontsteking, opname met longontsteking voor intensieve zorg, en overlijden). Hiervoor gebruikten we een benadering in twee fasen: eerst ontwikkelden we een datagedreven model, waarna we een handmatige reductiestap uitvoerden waarbij voorspellende factoren op basis van klinische expertise werden geaggregeerd. Door gebruik van gestandaardiseerde data (OMOP CDM) en gestandaardiseerde analyses (OHDSI tools) konden we deze modellen in het begin van de pandemie snel ontwikkelen en extern valideren in 14 databases met pati\u00ebnten met griepachtige symptomen en 5 databases met pati\u00ebnten met bevestigde of vermoede COVID-19 diagnose. In Hoofdstuk 4 vergeleken we het EXPLORE algoritme, een uitputtend zoekalgoritme dat eenvoudige beslissingsregels genereert, met 7 geavanceerde modelalgoritmen over 5 voorspellingstaken met data uit de Nederlandse IPCI database (Integrated Primary Care Information). Deze experimenten toonden aan dat complexere modellen zoals LASSO, RandomForest en XGBoost over het algemeen betere prestaties leverden dan simpelere modellen, wat het verwachte verband tussen model prestaties en model interpretatie bevestigt. Dit verband varieerde echter met de verschillende voorspellingstaken. De regels van EXPLORE, met maximaal 5 voorspellers, behaalden AUROC scores tussen 0.61 en 0.71 voor de voorspellingstaken. Daarnaast toonden we het potentieel van EXPLORE om klinisch optimale beslissingsregels te vinden door gebruik te maken van domeinkennis of door bijna-optimale modellen te verkennen (de Rashomon set). In Hoofdstuk 5 onderzochten we empirisch de (in)stabiliteit van klinische voorspellingsmodellen die ontwikkeld zijn met LASSO logistische regressie. We stelden drie intu\u00eftieve stappen voor om dit te evalueren, gericht op 1) het aantal variabelen, 2) de specifieke variabelen en 3) de richting van het effect van variabelen in verschillende modellen. Onze resultaten toonden aanzienlijke variabiliteit in de geselecteerde variabelen en in de tekens van de co\u00ebffici\u00ebnten tussen verschillende databases. Dit onderstreept de noodzaak om voorzichtig te zijn bij het toepassen van LASSO regressie voor het identificeren van \u2018risicofactoren\u2019 in voorspellende modellen en maakt het risico op overinterpretatie van deze modellen duidelijk.\n\nIn Hoofdstukken 6-8 hebben we vervolgens de tweede benadering van uitlegbare AI onderzocht, post-hoc uitlegmethoden. Deze methoden zijn gericht op het ontwikkelen van uitleg die bij een voorspellingsmodel kan worden geleverd om gebruikers meer inzicht te geven. In Hoofdstukken 6 en 7 onderzochten we uitdagingen rond methoden die het belang van voorspellers bepalen (ook wel \u2018feature importance\u2019 methoden genoemd), die veel worden gebruikt om modellen uit te leggen. In Hoofdstuk 6 bekeken we drie belangrijke uitdagingen die zich voordoen in verschillende fasen van het proces, zelfs bij een relatief eenvoudig voorspellingsmodel dat is ontwikkeld met gegevens uit elektronische pati\u00ebntendossiers (EPDs). Specifiek zijn dat: 1) bepaalde soorten uitleg kunnen rekenkundig onhaalbaar zijn, 2) uitlegmethoden kunnen uiteenlopende of tegenstrijdige uitleg geven voor hetzelfde voorspellingsmodel, en 3) de gepresenteerde uitleg mist nuance en kan verkeerd worden ge\u00efnterpreteerd als ze niet overeenkomen met de verwachtingen van de gebruiker.\n\nIn Hoofdstuk 7 analyseerden we de mate van onenigheid tussen verschillende \u2018feature importance\u2019 methoden bij twee voorspellingstaken met gegevens uit de IPCI database. Daarnaast introduceerden we een nieuw evaluatiekader om verschillende elementen van datacomplexiteit (bijv. aantal voorspellers, aantal uitkomsten, correlatie tussen voorspellers) te onderzoeken die bijdragen aan onenigheid over \u2018feature importance\u2019. We pasten dit kader toe op twee open-source datasets. We ontdekten dat de onenigheid over uitleg groter was in de real-world datasets (IPCI versus open-source) en bij complexere modellen (neurale netwerken versus logistische regressie), situaties die juist het meest zouden profiteren van extra uitleg om de transparantie te verbeteren. Onze resultaten lieten slechts kleine veranderingen in onenigheid zien bij aanpassing van de datacomplexiteit, waarbij het aantal voorspellers de grootste invloed had op het niveau van onenigheid. Tot slot evalueerden we in Hoofdstuk 8 negen methoden die contra-feitelijke uitleg genereren (ook wel \u2018counterfactual explanation\u2019 methoden genoemd) op hun vermogen om real-world relaties weer te geven met behulp van twee nieuwe maatstaven. We verstrekten zes (semi-)synthetische datasets gegenereerd met bekende structurele causale modellen om de semantische betekenisvolheid van nieuwe en bestaande \u2018counterfactual explanation\u2019 methoden te evalueren. We concludeerden dat geen van de bestaande methoden consequent contra-feiten kon genereren die causale consistentie vertoonden.\n\nDit proefschrift heeft aangetoond dat: i) hybride benaderingen die data- en kennisgedreven leren combineren kunnen helpen om beter interpreteerbare modellen te produceren, ii) post-hoc uitlegmethoden momenteel verschillende beperkingen kennen die de begrijpelijkheid van hun uitleg belemmert, en iii) keuzes voor uitlegbare AI per situatie zorgvuldig afgewogen moeten worden, omdat de afwegingen en behoeften aan uitleg per taak verschillen. Samenvattend stellen we dat uitlegbare AI een belangrijke rol kan spelen bij de ontwikkeling van verantwoorde AI (d.w.z. bruikbare, betrouwbare, eerlijke en duurzame voorspellingsmodellen die een positieve invloed hebben op de klinische praktijk, ook wel \u2018responsible AI\u2019 genoemd), maar dat de huidige beperkingen echte begrijpelijkheid in de weg kunnen staan.","summary":"Artificial intelligence (AI) has the potential to improve patient care and to help address challenges in growing expenditures, but adoption of prediction models in clinical practice is still limited. Lack of transparency is \u2013 at least in the current state of AI maturity \u2013 often seen as one of the main problems. In recent years, explainable AI (XAI) has gained a lot of attention. This thesis investigated whether explainable modeling (i.e. intrinsically interpretable models) and post-hoc explanation methods (i.e. explanations accompanying the model) can be used to make clinical prediction models more understandable, while also examining the limitations associated with different types of explanations.\n\nIn Chapter 2, we reviewed recent literature on explainable AI, addressing the following key questions: What does explainability mean? Why and when can explainability be useful? Which explainable AI methods are available? How can explainability be evaluated? How to choose amongst different explainable AI methods? We argue that the reason behind seeking explainability should guide design choices, as this determines the relative importance of the properties of explainability: interpretability and fidelity. Based on this idea, we proposed a framework to choose between explainable AI approaches (explainable modeling versus post-hoc explanation) and types of explanations (model-based, attribution-based, or example-based explanations). We also found that the benefits of explainability still need to be proven in practice and suggested additional measures to create trustworthy AI. Finally, we recommended to use explainable modeling when explainability is considered very important or the interpretability-performance trade-off is weak. This work helped to formalize the field by providing practical definitions and guidance to researchers and practitioners on the design of explainable AI systems.\n\nWe then examined the first approach of explainable AI, known as explainable modeling, in Chapter 3-5. This involves developing prediction models that are small and simple enough for users to understand. In Chapter 3, we developed and validated COVID-19 Estimated Risk (COVER) scores, which leverage influenza data to predict severity of COVID-19 (hospital admission with pneumonia, hospitalization with pneumonia requiring intensive services, and fatality). For this, we used a two-step approach: first we developed a data-driven model and then we performed a manual model reduction step that aggregated features based on clinical expertise. By leveraging standardized data (OMOP CDM) and standardized analytics (OHDSI tools) we were able to rapidly develop and externally validate these models early in the pandemic across 14 databases including patients with influenza or flu-like symptoms and 5 databases including patients with confirmed or suspected COVID-19 diagnosis.\n\nIn Chapter 4, we compared the EXPLORE algorithm, an exhaustive search algorithm generating simple decision rules, with 7 state-of-the-art model algorithms across 5 prediction tasks using data from the Dutch Integrated Primary Care Information (IPCI) database. These experiments showed that more complex models like LASSO, RandomForest, and XGBoost generally outperform simpler ones, confirming the expected trade-off between model performance and interpretability. However, the observed trade-off varied across prediction tasks. EXPLORE\u2019s rules, with at most 5 predictors, were able to achieve AUROC scores between 0.61 and 0.71 across prediction tasks. Additionally, we demonstrated EXPLORE\u2019s potential to find more clinically optimal decision rules by incorporating domain knowledge or exploring the space of near-optimal models (the Rashomon set).\n\nFinally, in Chapter 5, we empirically investigated the (in)stability of clinical prediction models developed using LASSO logistic regression. We proposed three intuitive steps to evaluate this, focusing on 1) the number of variables, 2) the specific variables, and 3) the direction of effect of variables across models. Our results revealed large variability in the selected variables as well as in the sign of coefficients across databases. This underscores the need to be careful when using LASSO regression to identify \u2018risk factors\u2019 in predictive models, and highlights the risk of model overinterpretation.\n\nIn Chapter 6-8, we then explored the second approach of explainable AI, post-hoc explanation methods. These methods aim to develop an explanation that can accompany a prediction model to give insight to users. In Chapter 6 and 7 we investigated challenges with feature importance methods, which are widely used to explain models. In Chapter 6 we examined 3 key challenges that exist in different phases of the explanation process, even for a simple prediction model developed using electronic health records (EHRs). In particular, 1) certain types of explanations might be computationally infeasible, 2) explanation methods may produce differing or conflicting explanations for the same prediction model, and 3) the presented explanations lack nuance and can be misinterpreted if they do not align with user expectations. In Chapter 7 we analyzed the size of the disagreement between feature importance methods in 2 prediction tasks using the IPCI database. Additionally, we introduced a novel evaluation framework to investigate different elements of data complexity (e.g. number of features, number of outcomes, feature correlation) contributing to feature importance disagreement and applied it to 2 open-source datasets. We found that explanation disagreements were larger in real-world datasets (IPCI versus open-source) and for more complex models (neural network versus logistic regression), settings that would benefit most from additional explanations to improve transparency. Our results showed only minor changes in disagreement when modifying elements of data complexity, with the number of features having the largest impact on the level of disagreement.\n\nFinally, in Chapter 8, we evaluated 9 counterfactual explanation methods on their ability to depict real-world relations using 2 newly proposed metrics. We provided 6 (semi-)synthetic datasets generated with known structural causal models (SCMs) to benchmark the semantic meaningfulness of new and existing counterfactual explanation methods. We concluded that none of the existing methods were able to consistently create counterfactuals that were causally consistent.\n\nThis thesis has demonstrated that: i) hybrid approaches combining data- and knowledge-based learning can help produce more interpretable models, ii) post-hoc explanation methods currently suffer from several limitations impeding the understandability of their explanations, and iii) explainable AI design choices need to be made on a case-by-case basis as the trade-offs and the explanation needs differ per task. In conclusion, we argue that explainable AI can be instrumental to develop responsible AI (i.e. actionable, trustworthy, fair, and sustainable prediction models that have a positive impact on clinical practice), but its current limitations may hinder true understandability.","auteur":"Aniek Markus","auteur_slug":"aniek-markus","publicatiedatum":"9 april 2025","taal":"EN","url_flipbook":"https:\/\/ebook.proefschriftmaken.nl\/ebook\/aniekmarkus?iframe=true","url_download_pdf":"","url_epub":"","ordernummer":"FTP-202603191224","isbn":"978-94-6510-505-5","doi_nummer":"","naam_universiteit":"Erasmus Universiteit Rotterdam","afbeeldingen":7976,"video_url":"","podcast_url":"","naam_student:":"","binnenwerk":"","universiteit":"Erasmus Universiteit Rotterdam","cover":"","afwerking":"","cover_afwerking":"","design":""},"_links":{"self":[{"href":"https:\/\/www.proefschriftmaken.nl\/en\/wp-json\/wp\/v2\/us_portfolio\/14403","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.proefschriftmaken.nl\/en\/wp-json\/wp\/v2\/us_portfolio"}],"about":[{"href":"https:\/\/www.proefschriftmaken.nl\/en\/wp-json\/wp\/v2\/types\/us_portfolio"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.proefschriftmaken.nl\/en\/wp-json\/wp\/v2\/media\/7976"}],"wp:attachment":[{"href":"https:\/\/www.proefschriftmaken.nl\/en\/wp-json\/wp\/v2\/media?parent=14403"}],"wp:term":[{"taxonomy":"university_us_portfolio","embeddable":true,"href":"https:\/\/www.proefschriftmaken.nl\/en\/wp-json\/wp\/v2\/university_us_portfolio?post=14403"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}