{"id":26836,"date":"2026-09-04T11:28:45","date_gmt":"2026-09-04T09:28:45","guid":{"rendered":"https:\/\/www.proefschriftmaken.nl\/portfolio\/joery-de-vries\/"},"modified":"2026-10-31T11:31:03","modified_gmt":"2026-10-31T10:31:03","slug":"joery-de-vries","status":"publish","type":"us_portfolio","link":"https:\/\/www.proefschriftmaken.nl\/en\/portfolio\/joery-de-vries\/","title":{"rendered":"Joery de Vries"},"content":{"rendered":"","protected":false},"featured_media":26837,"template":"","meta":{"_acf_changed":false},"university_us_portfolio":[16],"class_list":["post-26836","us_portfolio","type-us_portfolio","status-publish","has-post-thumbnail","hentry","university_us_portfolio-overig"],"acf":{"main_text":"","naam_van_het_proefschift":"Approximate Bayes-Optimal Reinforcement Learning and Planning","samenvatting":"Dit proefschrift bestudeert het probleem van optimale besluitvorming onder onzekerheid vanuit de context van sequenti\u00eble experimentplanning in autonome laboratoria. Onze focus ligt op deep reinforcement learning methoden, die we eerst motiveren vanuit de uitdagingen van conventionele optimale experimentontwerp-methoden en black-box numerieke optimalisatie. Vervolgens kaderen we deep reinforcement learning in een gecombineerd perspectief met haalbare Bayesiaanse optimalisatiemethoden, om conceptueel de uitbreiding of adoptie van reinforcement learning methoden in bestaande infrastructuur te stroomlijnen. Elk hoofdstuk onderzoekt uitdagingen en vragen die voortkomen uit ons raamwerk, deze hebben specifiek betrekking op onzekerheidsquantificatie en een juiste afstemming tussen algoritme-en-hardware ter verbetering van prestatieschaling.\n\nBayesiaanse herleiding van grote complexe modellen is doorgaans computationeel onhaalbaar, tenzij strenge, maar mogelijk onrealistische, aannames worden gemaakt over het model van het fysische systeem dat we proberen te beschrijven. Deep learning is sindsdien ontwikkeld tot een krachtig gereedschap om deze computationeel onhaalbare routine te benaderen door middel van patroonherkenning op basis van een overvloed aan data. Dit principe heeft zich vertaalt in de meeste recente successen en doorbraken in kunstmatige intelligentie, zoals agentische chatbots of game-playing agents. Dit proefschrift onderzoekt dit principe op een meer fundamentele basis om onze algoritmische gereedschappen te verbeteren voor de overkoepelende experimentontwerp-toepassing.\n\nHet veld van meta-reinforcement learning heeft op vergelijkbare wijze vaak deep learning ingezet om verschillende bronnen van onzekerheid voor besluitvormende agenten te vangen, zoals onbekende beloningen of werelddynamica. Dit benadert wat bekend staat als Bayes-optimale controle, een agent die optimaal afweegt tussen informatiezoekende acties en acties die een (subjectieve) waarde maximaliseren. In Hoofdstuk 2 laten we zien hoe benaderingen van deep learning op recurrente neurale netwerken, voor meta-reinforcement learning, de werkelijke onzekerheid vanuit een Bayesiaans oogpunt niet adequaat opvangen. We constateerden juist dat onzekerheid verborgen zit in de activaties van de neurale netwerken. We presenteren het Laplace Variational Recurrent Neural Network om deze impliciete onzekerheid te extraheren, als middel om gebruikers in staat te stellen expliciet met onzekerheid om te gaan.\n\nUit Hoofdstuk 2 bouwen we het inzicht op dat een van de rollen die deep learning speelt in deep reinforcement learning het amortiseren van een exponentieel kostbaar beleidsoptimalisatieprobleem omvat. Een bekend gevolg van amortisatie is dat we altijd te maken hebben met een amortisatiekloof (benaderingskloof) tussen de werkelijke waarden en de voorspelde waarden. Het verbeteren van de prestaties van een algoritme vereist dus een keuze van gereedschappen die de rekentijd en data minimaliseren die nodig zijn om deze kloof te verkleinen. Tot de meest succesvolle benaderingen in dit domein behoren methoden die adaptieve berekening tijdens inferentie inzetten om de amortisatiekloof te verkleinen en het neurale netwerk aan te vullen. Monte-Carlo tree search bereikte bijvoorbeeld sterke data-effici\u00ebntie en maakte doorbraken mogelijk zoals het verslaan van de menselijke wereldkampioen in Go. Echter, op Monte-Carlo tree search gebaseerde methoden schalen niet gunstig in rekentijd. Daarom verbeteren we in Hoofdstuk 3 de state-of-the-art van sequenti\u00eble Monte-Carlo planners, die veel effici\u00ebntere parallellisatie op moderne GPU-hardware mogelijk maken. Ons nieuw voorgestelde algoritme toonde verbeterde prestatieschaling bij extra planningsbudget, niet alleen in data-effici\u00ebntie maar ook in rekentijd-effici\u00ebntie in vergelijking met eerder werk.\n\nHet laatste Hoofdstuk 4 benut onze vinding dat sequenti\u00eble Monte-Carlo gebaseerde planning de rekentijdcomplexiteit kan verbeteren door computationeel budget te verschuiven van het leren van neurale netwerken naar extra planningsbudget voor het vergaren van hogere kwaliteit data. Aangezien we in meta-learning settings doorgaans te maken hebben met leren van trajectgebaseerde data, we horen vaak dat wanneer trajecten langer worden, updates van een neurale netwerkarchitectuur duurder worden. Dit komt doordat de computationele kosten van afgeleides bepalen voor het model toeneemt met trajectlengte, wat knelpunten in schaling veroorzaakt. Updates kunnen bijvoorbeeld de geheugenlimieten van de hardware overschrijden, waardoor kleinere batches sequentieel verwerkt moeten worden, wat de doorvoer vermindert. We constateren dus opnieuw dat de prestatieschaling bij extra planningsrekenkracht in deep meta-reinforcement learning aanzienlijk verbeterd kan worden wanneer uitgerust met onze ontworpen sequenti\u00eble Monte-Carlo planner. In tegenstelling tot voorgaande algoritmes houdt onze planner expliciet rekening met hoe onzekerheid evolueert in het licht van nieuwe data. Als gevolg hiervan richt onze methode zich direct op een optimaal beleid dat exploratie en exploitatie afweegt, zonder ad-hoc exploratieheuristieken.\n\nSamenvattend draagt dit proefschrift bij aan de stand van probabilistisch reinforcement learning voor onzekerheidsgebaseerde besluitvorming. We laten zien dat Bayesiaanse optimalisatie en deep reinforcement learning zeer vergelijkbaar geformuleerd kunnen worden vanuit een probabilistisch oogpunt, en dat slechts (relatief) kleine aannames en keuzes van benaderingsgereedschappen ons van de ene setting naar de andere verschuiven. Dit is een bijzonder nuttig inzicht voor onze toepassing van autonome laboratoria, aangezien op het moment van schrijven Bayesiaanse optimalisatie een meer gevestigde aanpak is in de praktijk. Onze bevindingen vestigen een sterkere gemeenschappelijke basis tussen de ogenschijnlijk gescheiden velden van Bayesiaanse optimalisatie en reinforcement learning, en bieden een principi\u00eble grondslag voor het overdragen van benaderingsgereedschappen tussen deze gemeenschappen.","summary":"This dissertation studies the optimal decision making under uncertainty problem from the context of sequential experiment planning in autonomous laboratories. Our focus is on deep reinforcement learning methods, which we first motivate by building up from the challenges involved in conventional optimal experiment design methods and black-box numerical optimization. Secondly, we frame deep reinforcement learning in a unifying view of commonplace Bayesian optimization methods to conceptually streamline extensions or adoption of reinforcement learning methods in existing infrastructure. Each chapter investigates challenges and questions that emerge from our framing, which more specifically relate to uncertainty quantification and proper algorithm-hardware tailoring for improving performance scaling.\n\nBayesian inference of large complex models is typically computationally infeasible unless stringent, but possibly unrealistic, assumptions are placed on the model of the physical system that we\u2019re trying to capture. Deep learning has since emerged as a powerful way to approximate this computationally infeasible routine through pattern recognition based on an abundance of data. This principle underpins most of the success stories of recent artificial intelligence breakthroughs, like agentic chat-bots or game-playing agents. This dissertation investigates this principle from a more fundamental basis to improve our algorithmic tools for the overarching experiment-design use-case.\n\nThe field of meta-reinforcement learning, similarly, has often used deep learning to capture various sources of uncertainty for decision-making agents, such as unknown rewards or world dynamics. This approximates what is known as Bayes-optimal control, an agent that optimally trades-off between information seeking actions, and actions that maximize a (subjective) value. In Chapter 2 we show how common deep learning approaches, like recurrent neural networks, for meta-reinforcement learning do not appropriately capture true uncertainty from the Bayesian viewpoint. Rather, we found that uncertainty is obfuscated in the activations of the neural networks. We present the Laplace Variational Recurrent Neural Network to extract this implicit uncertainty as a means to enable practitioners to deal with uncertainty, explicitly.\n\nFrom Chapter 2 we built the insight that one of the roles that deep learning plays in deep reinforcement learning is to amortize an exponentially costly policy optimization problem. A well-known consequence of amortization is that we always have to deal with an amortization gap (approximation gap) between the true values and the predicted values. Improving the performance of an algorithm, thus, requires a choice of tools that minimize the runtime and data needed to reduce this gap. Among the most successful approaches in this space are those that use adaptive computation at inference time to reduce the amortization gap and complement the neural network. Monte-Carlo tree search, for instance, achieved strong data-efficiency and enabled breakthroughs like defeating the human world champion in Go. However, Monte-Carlo tree search based methods do not favorably scale in runtime. Thus, in Chapter 3 we improve the state-of-the-art of sequential Monte-Carlo planners, which permit much more efficient parallelization on modern GPU hardware. Our newly proposed algorithm demonstrated improved scaling in performance given additional planning budget, not only in data-efficiency but also in runtime-efficiency compared to prior approaches.\n\nThe final Chapter 4 exploits our finding that sequential Monte-Carlo based planning can improve runtime complexity by shifting computational budget from neural network learning, to additional planning budget to get higher quality data. Since in meta-learning settings we typically deal with learning from trajectory-based data, we often find that when trajectories increase in length, any updates to a neural network architecture will become more expensive. This is because the computational cost of gradient updates grows with trajectory length, which causes bottlenecks in scaling. For instance, updates can start to exceed hardware memory limits, forcing sequential processing of smaller batches and reducing throughput. Thus, we again find that the performance scaling to additional planning-compute in deep meta-reinforcement learning can be much improved when equipped with our designed sequential Monte-Carlo planner. In contrast to prior approaches, our planner explicitly accounts for how uncertainty evolves in light of new data. As a result, our method directly targets an optimal policy that trades-off exploration with exploitation, without ad-hoc exploration heuristics.\n\nIn summary, this dissertation advances the state of probabilistic reinforcement learning for uncertainty-based decision-making. We show that Bayesian optimization and deep reinforcement learning can be formulated very similarly from a probabilistic viewpoint, and that only (relatively-) minor assumptions and choice of approximation tools shift us from one setting to the other. This is a particularly useful insight for our use-case of self-driving laboratories, since at the time of writing, Bayesian optimization is a more established approach in practice. Our findings establish a stronger common ground between the seemingly separate Bayesian optimization and reinforcement learning fields, and provide a principled basis for transferring approximation tools between these communities.","auteur":"Joery de Vries","auteur_slug":"joery-de-vries","publicatiedatum":"5 oktober 2026","taal":"EN","url_flipbook":"https:\/\/ebook.proefschriftmaken.nl\/ebook\/joerydevries?iframe=true","url_download_pdf":"https:\/\/ebook.proefschriftmaken.nl\/download\/5858b0b7-57ab-45b9-98ae-f0af13f8f702\/highres","url_epub":"","ordernummer":"18923","isbn":"","doi_nummer":"","naam_universiteit":"Overig","afbeeldingen":26837,"video_url":"","podcast_url":"","naam_student:":"","binnenwerk":"","universiteit":"Overig","cover":"","afwerking":"","cover_afwerking":"","design":""},"_links":{"self":[{"href":"https:\/\/www.proefschriftmaken.nl\/en\/wp-json\/wp\/v2\/us_portfolio\/26836","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.proefschriftmaken.nl\/en\/wp-json\/wp\/v2\/us_portfolio"}],"about":[{"href":"https:\/\/www.proefschriftmaken.nl\/en\/wp-json\/wp\/v2\/types\/us_portfolio"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.proefschriftmaken.nl\/en\/wp-json\/wp\/v2\/media\/26837"}],"wp:attachment":[{"href":"https:\/\/www.proefschriftmaken.nl\/en\/wp-json\/wp\/v2\/media?parent=26836"}],"wp:term":[{"taxonomy":"university_us_portfolio","embeddable":true,"href":"https:\/\/www.proefschriftmaken.nl\/en\/wp-json\/wp\/v2\/university_us_portfolio?post=26836"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}