{"id":27155,"date":"2026-10-13T17:11:58","date_gmt":"2026-10-13T15:11:58","guid":{"rendered":"https:\/\/www.proefschriftmaken.nl\/portfolio\/antony-bartlett\/"},"modified":"2026-10-31T11:38:22","modified_gmt":"2026-10-31T10:38:22","slug":"antony-bartlett","status":"publish","type":"us_portfolio","link":"https:\/\/www.proefschriftmaken.nl\/en\/portfolio\/antony-bartlett\/","title":{"rendered":"Antony Bartlett"},"content":{"rendered":"","protected":false},"featured_media":27156,"template":"","meta":{"_acf_changed":false},"university_us_portfolio":[16],"class_list":["post-27155","us_portfolio","type-us_portfolio","status-publish","has-post-thumbnail","hentry","university_us_portfolio-overig"],"acf":{"main_text":"","naam_van_het_proefschift":"The Good, the Bad, and the Adversarial","samenvatting":"Kunstmatige Intelligentie (KI)-intensieve systemen, met name Computer Vision (CV)-modellen en Deep Reinforcement Learning (DRL)-agenten, worden steeds vaker ingezet in veiligheidskritische toepassingen, zoals autonoom rijden en medische diagnostiek. Hun inzet in deze domeinen vereist grondige testmethoden om betrouwbaarheid en veiligheid te waarborgen, met name omdat er vaak geen duidelijke testorakels beschikbaar zijn, de input gevoelig is voor kleine verstoringen, de testruimte enorm en complex is, en het gedrag dynamisch en stochastisch is \u2014 uitdagingen die traditionele testbenaderingen te boven gaan.\n\nIn dit proefschrift hanteren wij een teststrategie die puur black-box is, wat beter aansluit bij realistische inzetscenario\u2019s waarin de interne werking van modellen niet toegankelijk is. Wij ontwikkelen innovatieve testmethodologie\u00ebn die bewezen Search-Based Software Testing (SBST)-technieken combineren met benaderingen die gebruikmaken van surrogatemodellen en Grote Taalmodellen (LLMs). Allereerst presenteren wij een puur differenti\u00eble-evolutiebenadering voor het genereren van minimale adversariale verstoringen, die wij uitbreiden tot multi-criteria testmethoden die een afweging mogelijk maken tussen de effectiviteit van een adversariale ingrepen en de onzichtbaarheid ervan, om zo een breder scala aan inputkwetsbaarheden bloot te leggen. Bouwend op deze basis introduceren wij een multi-criteria testkader voor Deep Reinforcement Learning dat gelijktijdig optimaliseert voor het detecteren van fouten en de diversiteit van testscenario\u2019s, met inzet van lichtgewicht surrogate modellen. Hierdoor worden ontdekte fouten verspreid over een breder spectrum van agentgedragingen, in plaats van dat slechts specifieke delen van het systeem worden uitgebuit. Vervolgens onderzoeken wij het gebruik van geometriegebaseerde afbeeldingsrepresentaties om de selectie van testgevallen in testsuites voor autonoom rijden te begeleiden, waarbij wij convolutionele neurale netwerken (CNNs) combineren met optimalisatietechnieken voor selectie en prioritering van testgevallen. Ten slotte onderzoeken wij hoe LLMs automatisch softwareontwikkelfouten kunnen oplossen binnen een reproduceerbaar testkader, waardoor het correct testen van KI-intensieve systemen mogelijk wordt zonder tijdrovend handmatig debuggen.\n\nDe resultaten van onze experimenten tonen aan dat benaderingen die meerdere multi-criteria optimaliseren, effectiever zijn in het ontdekken van problemen over een breder scala aan scenario\u2019s, terwijl zij tevens computationeel effici\u00ebnt blijven. Bovendien demonstreren wij dat surrogatemodellen SBST-technieken effectief kunnen verbeteren door het gedrag van het oorspronkelijke systeem onder test te benaderen. Surrogatemodellen bieden een effici\u00ebnte fitnessfunctie op basis van hun voorspellingen, die het zoekproces stuurt, aangezien surrogatemodellen de uitvoer van het model nauwkeurig benaderen zonder dure evaluaties op het oorspronkelijke systeem. Tot slot tonen wij aan dat LLMs het testproces kunnen ondersteunen door middel van natuurlijke taalverwerking om softwareontwikkelingsfouten op te sporen en op te lossen, wat reproduceerbare systeemvalidatie mogelijk maakt.\n\nKortom, dit proefschrift draagt nieuwe hybride zoekgebaseerde benaderingen bij voor het testen van KI-systemen, waarbij de uitdagingen die inherent zijn aan het testen van CV-modellen en DRL-agenten worden aangepakt. Wij tonen de effectiviteit aan van het combineren van surrogatemodellen en LLMs met bestaande SBST-methodologie\u00ebn en benadrukken het kritieke belang van diversiteit bij het genereren van uitgebreide testsuites voor robuuste KI-systemen.","summary":"Artificial Intelligence (AI)-intensive systems, particularly Computer Vision (CV) models and Deep Reinforcement Learning (DRL) agents, are increasingly deployed in real-world safety-critical systems, such as autonomous vehicles and medical diagnosis. Their inclusion in these domains necessitates rigorous testing to ensure reliability and safety, particularly as we lack clear test oracles, face input fragility, must navigate vast and complex test spaces, and contend with dynamic and stochastic behaviors that defy traditional testing approaches.\n\nIn this thesis, we employ a purely black-box testing strategy to more accurately reflect real-world deployment scenarios, where model internals are inaccessible. We develop novel testing methodologies that combine proven search-based software testing (SBST) techniques with approaches harnessing surrogate models and Large Language Models (LLMs). We begin by presenting a pure differential evolution approach for generating minimal adversarial perturbations, extending it to multi-objective testing methods that enable trade-offs between attack effectiveness and imperceptibility to expose a broader range of input vulnerabilities. Building on this foundation, we introduce a multi-objective testing framework for Deep Reinforcement Learning that jointly optimizes for failure detection and test scenario diversity while leveraging lightweight surrogate models; ensuring that discovered faults span a broader spectrum of agent behaviors rather than exploiting only certain parts of a system. We then investigate the use of geometry-based image representations to guide test case selection in autonomous driving test suites, combining convolutional neural networks (CNNs) with optimization techniques for test case selection and prioritization. Finally, we investigate the use of LLMs to automatically resolve build errors in a reproducible testing framework, enabling the correct testing of AI-intensive systems without labor-intensive manual debugging.\n\nThe results of our experiments demonstrate that approaches that optimize for multiple objectives are more effective at discovering issues across a broader range of scenarios, while remaining computationally efficient. More importantly, we demonstrate that surrogate models can effectively enhance SBST techniques by approximating the behavior of the original system under test. Surrogate models provide an efficient fitness function based on their predictions to guide the search process, as surrogate models closely approximate model output without expensive evaluations on the original system. Finally, we demonstrate that LLMs can support the testing process by leveraging natural language processing to identify and resolve system build errors, thereby enabling reproducible system validation.\n\nIn summary, this thesis contributes novel hybrid search-based approaches for testing AI systems, addressing the challenges inherent to testing CV models and DRL agents. We demonstrate the effectiveness of combining surrogate models and LLMs with existing SBST methodologies, and highlight the critical importance of diversity in generating comprehensive test suites for robust AI systems.","auteur":"Antony Bartlett","auteur_slug":"antony-bartlett","publicatiedatum":"27 oktober 2026","taal":"EN","url_flipbook":"https:\/\/ebook.proefschriftmaken.nl\/ebook\/antonybartlett?iframe=true","url_download_pdf":"https:\/\/ebook.proefschriftmaken.nl\/download\/726407db-44a5-44aa-851c-c637acb42f0b\/highres","url_epub":"","ordernummer":"19750","isbn":"978-94-6563-046-5","doi_nummer":"","naam_universiteit":"Overig","afbeeldingen":27156,"video_url":"","podcast_url":"","naam_student:":"","binnenwerk":"","universiteit":"Overig","cover":"","afwerking":"","cover_afwerking":"","design":""},"_links":{"self":[{"href":"https:\/\/www.proefschriftmaken.nl\/en\/wp-json\/wp\/v2\/us_portfolio\/27155","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.proefschriftmaken.nl\/en\/wp-json\/wp\/v2\/us_portfolio"}],"about":[{"href":"https:\/\/www.proefschriftmaken.nl\/en\/wp-json\/wp\/v2\/types\/us_portfolio"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.proefschriftmaken.nl\/en\/wp-json\/wp\/v2\/media\/27156"}],"wp:attachment":[{"href":"https:\/\/www.proefschriftmaken.nl\/en\/wp-json\/wp\/v2\/media?parent=27155"}],"wp:term":[{"taxonomy":"university_us_portfolio","embeddable":true,"href":"https:\/\/www.proefschriftmaken.nl\/en\/wp-json\/wp\/v2\/university_us_portfolio?post=27155"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}