Robert Jan Bruintjes

Een groot deel van de menselijke ervaring is vastgelegd in de steeds grotere hoeveelheden data die wij mensen genereren. Deze data wordt gebruikt om AI-modellen te bouwen die mensen ondersteunen, bijvoorbeeld bij het bewerken van tekst, het in de gaten houden van omringend verkeer door een zelfrijdende auto of het detecteren van kanker in MRI-scans. Doorgaans worden AI-modellen beter wanneer er meer trainingsdata wordt toegevoegd. Echter, de hoeveelheid data in de wereld is niet oneindig, en er zijn aanwijzingen dat de beschikbare data voor AI-datasets al begint op te raken. Dit is zorgwekkend, aangezien AI-modellen slecht presteren in situaties waarin weinig data beschikbaar is (data-deficiënte settings), waaronder belangrijke toepassingen zoals medische diagnostiek, waar het verzamelen van grote datasets kostbaar is en privacyproblemen met zich meebrengt. We streven daarom naar data-efficiënte AI-modellen: modellen die minder data nodig hebben, maar toch goed presteren.

Dit proefschrift onderzoekt hoe ontwerpkeuzes van neurale netwerkarchitecturen (inductieve biases) de data-efficiëntie van visuele modellen beïnvloeden. In het bijzonder onderzoeken we de effecten van het modelleren van ruimtelijke biases die aanwezig zijn in trainingsdatasets. Zulke ruimtelijke biases uiten zich in variatie in de posities en schalen van geobserveerde objecten in de trainingsdata.

Visuele modellen verschillen in hoe ze positieinformatie modelleren. Convolutional Neural Networks (CNNs) zijn translatie-invariant door het gebruik van gedeelde convolutionele filters, waardoor objecten op verschillende posities kunnen worden herkend met minimale hoeveelheid data. Deze inductive bias verwijdert echter ook positie-informatie, wat nadelig kan zijn voor taken die ruimtelijk redeneren vereisen. Vision Transformers (ViTs) daarentegen hebben geen ingebouwde ruimtelijke priors en vertrouwen op expliciete positionele embeddings om ruimtelijke structuur vast te leggen, waarbij ze data-efficiëntie inruilen voor globale receptive fields.

Naast positie vormt schaalvariatie een fundamentele uitdaging: objecten die op verschillende groottes verschijnen vereisen dat modellen hun geleerde herkenningsfuncties over schalen heen generaliseren. Conventionele CNN’s leren vaak afzonderlijke representaties voor elke schaal, wat de noodzaak aan data en rekenkracht vergroot. Schaal-equivariante architecturen pakken dit aan door representaties over schalen te delen, en methoden met adaptieve receptive fields stellen modellen in staat de kernelgroottes te optimaliseren voor de verdeling van objectschalen in de data, wat de robuustheid en efficiëntie verbetert.

Om de uitdagingen van het modelleren van beide typen ruimtelijke datasetbiases te verzoenen, introduceert dit proefschrift flexibele inductieve biases: mechanismen die structurele priors inbedden, terwijl ze het model toestaan hun invloed te modelleren op basis van de kenmerken van de dataset. In tegenstelling tot vaste inductive biases kunnen flexibele inductive biases worden geactiveerd wanneer ze voordelig zijn en onderdrukt wanneer ze irrelevant zijn, waardoor het risico op negatieve transfer afneemt en de data-efficiëntie toeneemt.

Al met al toont dit proefschrift aan dat ruimtelijke biases het beste kunnen worden gemodelleerd als adaptieve, dataset-afhankelijke mechanismen in plaats van als vaste architecturale beperkingen. Door positie- en schaalbiases in datasets systematisch te modelleren en hun flexibele inzet mogelijk te maken, biedt dit werk een principieel kader voor het ontwerpen van data-efficiënte visuele modellen die robuust generaliseren over diverse visuele domeinen.