{"id":12117,"date":"2026-04-22T14:45:28","date_gmt":"2026-04-22T14:45:28","guid":{"rendered":"https:\/\/www.proefschriftmaken.nl\/portfolio\/elfi-verheul\/"},"modified":"2026-04-22T14:45:36","modified_gmt":"2026-04-22T14:45:36","slug":"elfi-verheul","status":"publish","type":"us_portfolio","link":"https:\/\/www.proefschriftmaken.nl\/en\/portfolio\/elfi-verheul\/","title":{"rendered":"Elfi Verheul"},"content":{"rendered":"","protected":true},"excerpt":{"rendered":"","protected":true},"author":7,"featured_media":12118,"comment_status":"closed","ping_status":"closed","template":"","meta":{"_acf_changed":false,"footnotes":""},"us_portfolio_category":[45],"class_list":["post-12117","us_portfolio","type-us_portfolio","status-publish","post-password-required","hentry","us_portfolio_category-new-template"],"acf":{"naam_van_het_proefschift":"Optimizing Quality of Cancer Care Using Outcome Information","samenvatting":"Kwaliteit van zorg is een centraal maar complex begrip binnen de gezondheidszorg. Volgens het klassieke raamwerk van Donabedian kan kwaliteit worden beoordeeld aan de hand van drie domeinen: structuren, processen en uitkomsten. Deze drie domeinen vormen de basis voor het ontwikkelen van kwaliteitsindicatoren waarmee zorg systematisch kan worden gemeten en vergeleken. Hoewel alle drie de domeinen belangrijk zijn, leggen moderne zorgsystemen in toenemende mate de focus op uitkomsten. Tot die uitkomsten behoren zowel klassieke klinische uitkomsten, zoals complicaties en overleving, als pati\u00ebnt gerapporteerde uitkomsten (PROs) die de ervaren kwaliteit van leven meten.\n\nHet systematisch meten en gebruiken van deze uitkomsten biedt kansen om zowel zorgsystemen als individuele behandelkeuzes te verbeteren en te ondersteunen. Tegelijkertijd stelt dit hoge eisen aan de validiteit, betrouwbaarheid en interpretatie van uitkomstinformatie. Verschillen in pati\u00ebntpopulaties tussen ziekenhuizen (case-mix), statistische onzekerheid (betrouwbaarheid) en datakwaliteit kunnen bijvoorbeeld de resultaten be\u00efnvloeden. Een zorgvuldige methodologische aanpak is daarom essentieel om uitkomstinformatie op een betekenisvolle manier toe te passen.\n\nDit proefschrift onderzoekt hoe uitkomstinformatie betrouwbaar en betekenisvol kan worden gebruikt. Deel I richt zich op het gebruik van uitkomstinformatie voor continue kwaliteitsverbetering via ziekenhuisvergelijkingen, terwijl deel II laat zien hoe predictiemodellen uitkomstinformatie kunnen vertalen naar gepersonaliseerde besluitvorming of persoonlijk verwachtingsmanagement in de klinische praktijk.\n\nDeel I: Gebruik van uitkomstinformatie om continue kwaliteitsverbetering te stimuleren\n\nIn hoofdstuk 2 wordt door middel van een literatuurstudie onderzocht welke kankeruitkomsten worden gebruikt voor ziekenhuisvergelijkingen (benchmarking) in Europa en hoe case-mixcorrectie wordt toegepast. De studie laat zien dat benchmarking slechts in enkele landen plaatsvindt, vaak met nadruk op korte termijnuitkomsten (\u226490 dagen) en zonder gestandaardiseerde en gevalideerde case-mixmodellen. Er bestaat bovendien weinig transparantie over de gehanteerde methodologie van de case-mix modellen als deze wel gebruikt zijn, wat de vergelijkbaarheid in en tussen landen beperkt. Deze bevindingen benadrukken dat benchmarking van kankeruitkomsten momenteel gefragmenteerd en methodologisch onvoldoende onderbouwd is. Er is dringend behoefte aan geharmoniseerde definities, uniforme benaderingen voor case-mix modellen en transparante rapportage, zodat uitkomstgerichte zorg nationaal en internationaal kan worden vergeleken en verbeterd.\n\nHoofdstuk 3 richt zich op de validiteit van kwaliteitsindicatoren en beschrijft de ontwikkeling van een case-mixmodel. Zo\u2019n model corrigeert voor pati\u00ebnt- en tumorkarakteristieken, zodat ziekenhuizen op basis van vergelijkbare pati\u00ebntpopulaties met elkaar kunnen worden vergeleken. Het is immers niet wenselijk dat verschillen in ziekenhuisprestaties in werkelijkheid slechts de samenstelling van pati\u00ebntengroepen weerspiegelen. Hoofdstuk 3 richt zich specifiek op de kwaliteitsindicator \u2018complicaties na borstkankerchirurgie\u2019. De resultaten laten zien dat, na stratificatie naar type chirurgie, verdere case-mixcorrectie nauwelijks invloed heeft op de verschillen tussen ziekenhuizen. De pati\u00ebnt- en tumorfactoren die het risico op complicaties be\u00efnvloeden, bleken gelijkmatig over de ziekenhuizen verdeeld. Dit betekent dat binnen deze indicator stratificatie volstaat en aanvullende correctie niet nodig is. Wel blijft het belangrijk om dit per indicator te evalueren, vooral bij uitkomstindicatoren, waarbij case-mixcorrectie doorgaans een grotere invloed heeft.\n\nHoofdstuk 4 introduceert een raamwerk om kwaliteitsindicatoren systematisch te beoordelen aan de hand van vier meetbare criteria: databeschikbaarheid, discriminatievermogen, validiteit (case-mix) en betrouwbaarheid. Dit raamwerk is toegepast op de Nederlandse borstkankerregistratie (NBCA: NABON Breast Cancer Audit). De meeste NBCA-indicatoren bleken een hoge databeschikbaarheid en een goed discriminerend vermogen te hebben. Voor enkele indicatoren bleek case-mixcorrectie noodzakelijk. De betrouwbaarheid was daarentegen vaak beperkt. Veel ziekenhuisverschillen bleken gerelateerd aan toeval, wat voorzichtigheid vereist bij publieke rapportage. Dit hoofdstuk laat zien dat veel bestaande kwaliteitsindicatoren w\u00e9l geschikt zijn voor interne kwaliteitsverbetering, maar nog niet voor publieke vergelijking. Betrouwbaarheid moet daarom een centrale rol spelen bij de beslissing om indicatoren extern te publiceren. Daarnaast laten we zien dat het samenvoegen van gegevens over meerdere jaren de betrouwbaarheid aanzienlijk vergroot en daarmee een praktische oplossing biedt. Het gepresenteerde raamwerk vormt zo een concreet instrument om kwaliteitsindicatoren systematisch te toetsen en de kwaliteit en transparantie van indicatorensets te versterken.\n\nHoofdstuk 5 past het raamwerk uit hoofdstuk 4 toe op een laagvolumeziekte (mondholtekanker). Door middel van steekproefgrootteberekeningen wordt vastgesteld hoeveel pati\u00ebnten of jaren nodig zijn voor betrouwbare rapportage. Dit biedt concrete handvatten voor het bepalen van de minimale rapportageperiode die vereist is om kwaliteitsverschillen met voldoende betrouwbaarheid te kunnen identificeren.\n\nDeel II: Gebruik van uitkomsten voor voorspellingen ter ondersteuning van gepersonaliseerde zorg\n\nWaar de eerste helft van dit proefschrift uitkomstinformatie inzet om verschillen tussen ziekenhuizen te begrijpen, gebruikt de tweede helft diezelfde soort informatie om zorg te personaliseren voor de individuele pati\u00ebnt. Hiervoor focussen we ons op voorspellingsmodellen, die zowel kunnen ondersteunen bij het \u201csamen beslissen\u201d (hoofdstuk 6,7) of kunnen helpen het verwachtingsmanagement voor een pati\u00ebnt (hoofdstuk 8). In hoofdstuk 6 wordt de nieuwste versie van het predictiemodel PREDICT Breast (v3.1) extern gevalideerd in Nederlandse en Zweedse cohorten, met bijzondere aandacht voor jonge pati\u00ebnten (\u226440 jaar) en pati\u00ebnten met lobulaire borstkanker. Externe validatie houdt in dat een bestaand model wordt getest in een andere populatie dan waarin het is ontwikkeld, om te beoordelen of het daar eveneens accuraat en betrouwbaar presteert. PREDICT Breast v3.1 presteerde goed in de algemene populatie en bij pati\u00ebnten met lobulaire borstkanker, maar minder nauwkeurig bij jonge pati\u00ebnten. Deze resultaten tonen aan dat PREDICT breed toepasbaar is in de klinische praktijk, maar dat de modelprestaties niet uniform zijn voor alle subgroepen. Dit benadrukt de noodzaak van voortdurende validatie en subgroep-specifieke recalibratie om de betrouwbaarheid van gepersonaliseerde overlevingsvoorspellingen te waarborgen.\n\nHoofdstuk 7 vergelijkt de prestaties van PREDICT Breast v3.1 met de eerdere versie (v2.2) binnen de Nederlandse populatie. Beide modellen voorspelden de overleving accuraat, met slechts kleine verschillen tussen subgroepen. Deze bevindingen, samen met die uit hoofdstuk 6, tonen aan dat herhaalde externe validatie een effici\u00ebnte en waardevolle strategie is: het versterkt het klinisch vertrouwen en voorkomt de fragmentatie die ontstaat wanneer voortdurend nieuwe modellen van nul worden ontwikkeld. Systematische validatie en recalibratie van bestaande (en waar mogelijk reeds ge\u00efmplementeerde) modellen is daarmee vaak effectiever en duurzamer dan het ontwikkelen van steeds nieuwe, overlappende modellen.\n\nIn hoofdstuk 8 worden vijftien voorspellende modellen ontwikkeld en extern gevalideerd voor verschillende domeinen van gezondheid gerelateerde kwaliteit van leven (KvL) na borstkankerchirurgie. In dit geval was nieuwe modelontwikkeling w\u00e9l gerechtvaardigd, omdat er nog geen bestaande modellen voor KvL-uitkomsten beschikbaar waren en een nieuwe methodologische aanpak werd toegepast die trends over tijd analyseert. De preoperatieve PRO-score (baseline meting) van een specifiek domein bleek de sterkste voorspeller van het postoperatieve traject van hetzelfde domein. De modellen presteerden redelijk in externe validatie en bieden perspectief voor gebruik in gepersonaliseerd verwachtingsmanagement. De reden dat deze modellen niet geschikt zijn om te gebruiken tijdens het \u201csamen beslissen\u201d over de behandelkeuze, is dat ze zijn ontwikkeld op basis van real-world data, waarbij pati\u00ebnten niet gerandomiseerd zijn toegewezen aan een behandeling. Hierdoor is er sprake van selectiebias: de pati\u00ebnten groepen die elk type chirurgie hebben ondergaan, zijn niet vergelijkbaar. Het model kan daarom pas worden toegepast nadat de keuze voor het type chirurgie is gemaakt. Desalniettemin vormt dit hoofdstuk een belangrijke stap richting de toepassing van pati\u00ebnt gerapporteerde uitkomsten in voorspellende zorg, aangezien het managen van pati\u00ebntverwachtingen een cruciale rol speelt. Verdere verfijning en validatie zijn echter noodzakelijk voordat integratie in elektronische zorgpaden kan worden overwogen.\n\nConclusie\n\nDit proefschrift belicht zowel de mogelijkheden als de uitdagingen van het gebruik van uitkomstinformatie om de kwaliteit van de kankerzorg te verbeteren. Het benadrukt het belang van een robuuste methodologische aanpak en de noodzaak van transparante rapportage, om valide vergelijkingen van ziekenhuisprestaties mogelijk te maken. De betrouwbaarheid van kwaliteitsindicatoren blijft daarbij een belangrijk aandachtspunt. Het combineren van uitkomsten over meerdere jaren vormt een praktische oplossing om deze betrouwbaarheid te vergroten.\n\nDaarnaast is validiteit cruciaal voor voorspellende modellen: externe validatie waarborgt de nauwkeurigheid en generaliseerbaarheid van modellen over verschillende pati\u00ebnten-groepen en zorgcontexten heen. Dit verdient prioriteit boven de ontwikkeling van steeds nieuwe modellen, omdat het effici\u00ebnter is en, wanneer de prestaties goed zijn (zoals bij PREDICT Breast) het vertrouwen in klinische toepassing versterkt. Het voorspellen van gezondheid gerelateerde KvL vormt ten slotte een belangrijke maar uitdagende volgende stap in het verder personaliseren van de zorg.\n\nAanbevelingen\n\n1. Zorgsystemen en kwaliteitsregistraties zouden een methodologisch raamwerk moeten hanteren voor de ontwikkeling en validatie van kwaliteitsindicatoren, met expliciete aandacht voor validiteit, betrouwbaarheid en transparante rapportage van de gebruikte methodologie.\n2. Publieke rapportage van ziekenhuisindicatoren zou gebaseerd moeten zijn op meerjarige data om toevallige variatie (statistische onzekerheid) te verminderen en de betrouwbaarheid te vergroten.\n3. Prioriteit moet worden gegeven aan de externe validatie van bestaande predictiemodellen, boven het ontwikkelen van steeds nieuwe modellen.\n4. Voorspellende modellen voor gezondheid gerelateerde KvL bieden een nieuwe kans om zorg verder te personaliseren. Verdere verfijning, validatie en integratie in klinische praktijk zijn noodzakelijk om dit potentieel volledig te benutten.","summary":"Quality of care is a central yet complex concept within healthcare. According to the widely adopted framework by Donabedian, quality can be conceptualized across three core domains: structure, process, and outcomes. These domains form the foundation for developing quality indicators that enable healthcare to be systematically measured and compared. While all three domains are important, modern health systems increasingly prioritize outcomes. These outcomes include both clinical endpoints, such as complications and survival, and patient-reported outcomes (PROs) that measure experienced quality of life.\n\nThe systematic measurement and application of outcome information provide opportunities to improve healthcare systems and to inform individual treatment decisions. At the same time, this requires high standards for the validity, reliability, and interpretation of outcome information. Differences in patient populations between hospitals (case mix), statistical uncertainty (reliability), and data quality can all influence results. A rigorous methodological approach is therefore essential to apply outcome information in a meaningful way.\n\nThis thesis investigates how outcome information can be utilized to ensure both reliability and meaningful interpretation. Part I focuses on the use of valid and reliable outcome information to stimulate continuous quality improvement through hospital comparisons, whereas Part II demonstrates how prediction models can translate outcome information into personalised decision-making and expectation management in clinical practice.\n\nPart I: Using outcome information to stimulate continuous quality improvement\n\nChapter 2 presents a literature review that assesses which cancer outcomes are used for hospital comparisons (i.e. benchmarking) in Europe and how case-mix adjustment is applied. The study shows that benchmarking is conducted in only a few countries, often focusing on short-term outcomes (\u226490 days) and lacking standardized or validated case-mix models. Moreover, there is limited transparency regarding the applied case-mix methodologies, which restricts comparability both within and across countries. These findings highlight that benchmarking of cancer outcomes is currently fragmented and methodologically underdeveloped. There is an urgent need for harmonized definitions, standardized approaches to case-mix modelling, and transparent reporting to enable outcome-based care to be compared and improved at national and international levels.\n\nChapter 3 addresses the validity of quality indicators and describes the development of a case-mix model that adjusts for differences in patient and tumour characteristics between hospitals. Such adjustment helps to ensures that observed differences in hospital performance reflect true differences in quality of care rather than variations in patient case mix. This chapter specifically focuses on the quality indicator complications after breast cancer surgery. The results show that, after stratification by type of surgery, additional case-mix adjustment had negligible effects on hospital differences. The patient and tumour characteristics determining complication risk were evenly distributed across hospitals. This suggests that, for this indicator, stratification alone is sufficient and further adjustment is unnecessary. However, such evaluations should be performed for each indicator individually, particularly for outcome indicators where case-mix adjustment typically has a greater impact.\n\nChapter 4 introduces a framework to systematically assess quality indicators based on four measurable criteria: feasibility (data availability), discriminatory ability, validity (case-mix), and reliability. This framework was applied to the Dutch Breast Cancer Audit (NBCA: NABON Breast Cancer Audit). Most NBCA indicators demonstrated high data availability and moderate to good discriminatory ability. For a few indicators, case-mix adjustment is necessary. However, reliability was often a concern, as many observed hospital differences were largely driven by random variation, requiring caution in public reporting. his chapter demonstrates that many existing quality indicators are well suited for internal quality improvement but not yet for external public comparison. Reliability should therefore play a central role in decisions about public disclosure. Furthermore, combining data across multiple years substantially improves reliability, offering a practical solution. The proposed framework thus provides a concrete tool to systematically evaluate quality indicators and enhance the quality and transparency of indicator sets.\n\nChapter 5 applies the framework from chapter 4 to a low-volume disease (oral cavity cancer). Sample size calculations were performed to determine how many patients, and consequently how many years of data, are required for reliable reporting. This provides practical guidance on the minimum reporting period needed to detect quality differences with sufficient reliability.\n\nPart II: Using outcome predictions to support personalised care\n\nWhile the first half of this thesis uses outcome information to understand differences between hospitals, the second half applies the same type of information to personalise care for individual patients. We focus on prediction models that can either support shared decision-making (Chapters 6 and 7) or help manage patient expectations (Chapter 8). Chapter 6 externally validates the latest version of the prediction model PREDICT Breast (v3.1) in Dutch and Swedish cohorts, with particular attention to young patients (\u226440 years) and those with lobular breast cancer. External validation means evaluating an existing model in a different population than the one in which it was developed, to assess whether it performs accurately and reliably in new settings. PREDICT Breast v3.1 performed well in the general population and in patients with lobular breast cancer but was less accurate for younger patients. These findings show that PREDICT can be broadly applied in clinical practice, but that model performance is not uniform across all subgroups. This underscores the importance of ongoing validation and subgroup-specific recalibration to ensure the reliability of personalised survival predictions.\n\nChapter 7 compares the performance of PREDICT Breast v3.1 with that of the previous version (v2.2) in the Dutch population. Both models demonstrated accurate predictive performance, with only minor differences between subgroups. These findings, together with those from Chapter 6, show that external validation is an efficient and valuable strategy: it strengthens clinical confidence and prevents the fragmentation that arises from continuously developing new models from scratch. Systematic validation and recalibration of existing (and, where possible, already implemented) models is therefore often more effective and sustainable than developing multiple overlapping models.\n\nChapter 8 develops and externally validates fifteen prediction models for various domains of health-related quality of life (HRQoL) after breast cancer surgery. In this case, new model development was justified, as no previous models existed for HRQoL outcomes and a novel methodological approach was applied that analyses trends over time. The preoperative PRO score (baseline measurement) of a specific domain was the strongest predictor of the postoperative trajectory in that domain. The models performed acceptable in external validation and offer potential for use in personalised expectation management. The reason these models are not suitable for shared decision-making about treatment choice is that they were developed using real-world data, in which patients were not randomised to a treatment. As a result, there is selection bias: the patient groups undergoing each type of surgery are not comparable. Therefore, the model can only be applied once the choice of surgical procedure has been made. Nevertheless, this chapter represents an important step towards the use of patient-reported outcomes in prediction care, where managing patient expectations plays a crucial role. However, further refinement and validation are needed before integration into electronic care pathways can be considered.\n\nConclusion\n\nThis thesis highlights both the potential and the challenges of using outcome information to improve the quality of cancer care. It emphasizes the importance of robust methodological approaches and transparent reporting to enable valid comparisons of hospital performance. The reliability of quality indicators remains an important consideration, and combining outcome data across multiple years provides a practical way to strengthen this reliability.\n\nFurthermore, validity is crucial for prediction models: external validation ensures the accuracy and generalizability of models across different patient groups and healthcare settings. This should take priority over developing new models, as it is more efficient and, when performance is good (as with PREDICT Breast), it strengthens confidence in their clinical application. Finally, predicting health-related quality of life (HRQoL) represents an important yet challenging next step toward further personalising cancer care.\n\nRecommendations\n\n1. Healthcare systems and quality registries should adopt a methodological framework for developing and validating quality indicators, with explicit attention to validity, reliability, and transparent reporting of methodology.\n2. Public reporting of hospital-level quality indicators should be based on multi-year data to minimize random variation (statistical uncertainty) and improve reliability.\n3. Priority should be given to the external validation of existing prediction models over the continuous development of new ones.\n4. Prediction models for health-related quality of life (HRQoL) offer a new opportunity to further personalise care. Continued refinement, validation, and integration into clinical practice are needed to fully realize this potential.","auteur":"Elfi Verheul","auteur_slug":"elfi-verheul","publicatiedatum":"23 juni 2026","taal":"EN","url_flipbook":"https:\/\/ebook.proefschriftmaken.nl\/ebook\/elfiverheul?iframe=true","url_download_pdf":"https:\/\/ebook.proefschriftmaken.nl\/download\/f253c17d-5ccd-4305-948c-51697b8b7dae\/optimized","url_epub":"","ordernummer":"18718","isbn":"978-94-6534-370-9","doi_nummer":"","naam_universiteit":"Erasmus Universiteit Rotterdam","afbeeldingen":12119,"naam_student:":"","binnenwerk":"","universiteit":"Erasmus Universiteit Rotterdam","cover":"","afwerking":"","cover_afwerking":"","design":""},"_links":{"self":[{"href":"https:\/\/www.proefschriftmaken.nl\/en\/wp-json\/wp\/v2\/us_portfolio\/12117","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.proefschriftmaken.nl\/en\/wp-json\/wp\/v2\/us_portfolio"}],"about":[{"href":"https:\/\/www.proefschriftmaken.nl\/en\/wp-json\/wp\/v2\/types\/us_portfolio"}],"author":[{"embeddable":true,"href":"https:\/\/www.proefschriftmaken.nl\/en\/wp-json\/wp\/v2\/users\/7"}],"replies":[{"embeddable":true,"href":"https:\/\/www.proefschriftmaken.nl\/en\/wp-json\/wp\/v2\/comments?post=12117"}],"version-history":[{"count":1,"href":"https:\/\/www.proefschriftmaken.nl\/en\/wp-json\/wp\/v2\/us_portfolio\/12117\/revisions"}],"predecessor-version":[{"id":12120,"href":"https:\/\/www.proefschriftmaken.nl\/en\/wp-json\/wp\/v2\/us_portfolio\/12117\/revisions\/12120"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.proefschriftmaken.nl\/en\/wp-json\/wp\/v2\/media\/12118"}],"wp:attachment":[{"href":"https:\/\/www.proefschriftmaken.nl\/en\/wp-json\/wp\/v2\/media?parent=12117"}],"wp:term":[{"taxonomy":"us_portfolio_category","embeddable":true,"href":"https:\/\/www.proefschriftmaken.nl\/en\/wp-json\/wp\/v2\/us_portfolio_category?post=12117"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}