Joery de Vries

Dit proefschrift bestudeert het probleem van optimale besluitvorming onder onzekerheid vanuit de context van sequentiële experimentplanning in autonome laboratoria. Onze focus ligt op deep reinforcement learning methoden, die we eerst motiveren vanuit de uitdagingen van conventionele optimale experimentontwerp-methoden en black-box numerieke optimalisatie. Vervolgens kaderen we deep reinforcement learning in een gecombineerd perspectief met haalbare Bayesiaanse optimalisatiemethoden, om conceptueel de uitbreiding of adoptie van reinforcement learning methoden in bestaande infrastructuur te stroomlijnen. Elk hoofdstuk onderzoekt uitdagingen en vragen die voortkomen uit ons raamwerk, deze hebben specifiek betrekking op onzekerheidsquantificatie en een juiste afstemming tussen algoritme-en-hardware ter verbetering van prestatieschaling.

Bayesiaanse herleiding van grote complexe modellen is doorgaans computationeel onhaalbaar, tenzij strenge, maar mogelijk onrealistische, aannames worden gemaakt over het model van het fysische systeem dat we proberen te beschrijven. Deep learning is sindsdien ontwikkeld tot een krachtig gereedschap om deze computationeel onhaalbare routine te benaderen door middel van patroonherkenning op basis van een overvloed aan data. Dit principe heeft zich vertaalt in de meeste recente successen en doorbraken in kunstmatige intelligentie, zoals agentische chatbots of game-playing agents. Dit proefschrift onderzoekt dit principe op een meer fundamentele basis om onze algoritmische gereedschappen te verbeteren voor de overkoepelende experimentontwerp-toepassing.

Het veld van meta-reinforcement learning heeft op vergelijkbare wijze vaak deep learning ingezet om verschillende bronnen van onzekerheid voor besluitvormende agenten te vangen, zoals onbekende beloningen of werelddynamica. Dit benadert wat bekend staat als Bayes-optimale controle, een agent die optimaal afweegt tussen informatiezoekende acties en acties die een (subjectieve) waarde maximaliseren. In Hoofdstuk 2 laten we zien hoe benaderingen van deep learning op recurrente neurale netwerken, voor meta-reinforcement learning, de werkelijke onzekerheid vanuit een Bayesiaans oogpunt niet adequaat opvangen. We constateerden juist dat onzekerheid verborgen zit in de activaties van de neurale netwerken. We presenteren het Laplace Variational Recurrent Neural Network om deze impliciete onzekerheid te extraheren, als middel om gebruikers in staat te stellen expliciet met onzekerheid om te gaan.

Uit Hoofdstuk 2 bouwen we het inzicht op dat een van de rollen die deep learning speelt in deep reinforcement learning het amortiseren van een exponentieel kostbaar beleidsoptimalisatieprobleem omvat. Een bekend gevolg van amortisatie is dat we altijd te maken hebben met een amortisatiekloof (benaderingskloof) tussen de werkelijke waarden en de voorspelde waarden. Het verbeteren van de prestaties van een algoritme vereist dus een keuze van gereedschappen die de rekentijd en data minimaliseren die nodig zijn om deze kloof te verkleinen. Tot de meest succesvolle benaderingen in dit domein behoren methoden die adaptieve berekening tijdens inferentie inzetten om de amortisatiekloof te verkleinen en het neurale netwerk aan te vullen. Monte-Carlo tree search bereikte bijvoorbeeld sterke data-efficiëntie en maakte doorbraken mogelijk zoals het verslaan van de menselijke wereldkampioen in Go. Echter, op Monte-Carlo tree search gebaseerde methoden schalen niet gunstig in rekentijd. Daarom verbeteren we in Hoofdstuk 3 de state-of-the-art van sequentiële Monte-Carlo planners, die veel efficiëntere parallellisatie op moderne GPU-hardware mogelijk maken. Ons nieuw voorgestelde algoritme toonde verbeterde prestatieschaling bij extra planningsbudget, niet alleen in data-efficiëntie maar ook in rekentijd-efficiëntie in vergelijking met eerder werk.

Het laatste Hoofdstuk 4 benut onze vinding dat sequentiële Monte-Carlo gebaseerde planning de rekentijdcomplexiteit kan verbeteren door computationeel budget te verschuiven van het leren van neurale netwerken naar extra planningsbudget voor het vergaren van hogere kwaliteit data. Aangezien we in meta-learning settings doorgaans te maken hebben met leren van trajectgebaseerde data, we horen vaak dat wanneer trajecten langer worden, updates van een neurale netwerkarchitectuur duurder worden. Dit komt doordat de computationele kosten van afgeleides bepalen voor het model toeneemt met trajectlengte, wat knelpunten in schaling veroorzaakt. Updates kunnen bijvoorbeeld de geheugenlimieten van de hardware overschrijden, waardoor kleinere batches sequentieel verwerkt moeten worden, wat de doorvoer vermindert. We constateren dus opnieuw dat de prestatieschaling bij extra planningsrekenkracht in deep meta-reinforcement learning aanzienlijk verbeterd kan worden wanneer uitgerust met onze ontworpen sequentiële Monte-Carlo planner. In tegenstelling tot voorgaande algoritmes houdt onze planner expliciet rekening met hoe onzekerheid evolueert in het licht van nieuwe data. Als gevolg hiervan richt onze methode zich direct op een optimaal beleid dat exploratie en exploitatie afweegt, zonder ad-hoc exploratieheuristieken.

Samenvattend draagt dit proefschrift bij aan de stand van probabilistisch reinforcement learning voor onzekerheidsgebaseerde besluitvorming. We laten zien dat Bayesiaanse optimalisatie en deep reinforcement learning zeer vergelijkbaar geformuleerd kunnen worden vanuit een probabilistisch oogpunt, en dat slechts (relatief) kleine aannames en keuzes van benaderingsgereedschappen ons van de ene setting naar de andere verschuiven. Dit is een bijzonder nuttig inzicht voor onze toepassing van autonome laboratoria, aangezien op het moment van schrijven Bayesiaanse optimalisatie een meer gevestigde aanpak is in de praktijk. Onze bevindingen vestigen een sterkere gemeenschappelijke basis tussen de ogenschijnlijk gescheiden velden van Bayesiaanse optimalisatie en reinforcement learning, en bieden een principiële grondslag voor het overdragen van benaderingsgereedschappen tussen deze gemeenschappen.