{"id":16941,"date":"2026-08-21T12:08:59","date_gmt":"2026-08-21T10:08:59","guid":{"rendered":"https:\/\/www.proefschriftmaken.nl\/portfolio\/melika-ayoughi\/"},"modified":"2026-08-21T12:09:07","modified_gmt":"2026-08-21T10:09:07","slug":"melika-ayoughi","status":"publish","type":"us_portfolio","link":"https:\/\/www.proefschriftmaken.nl\/en\/portfolio\/melika-ayoughi\/","title":{"rendered":"Melika Ayoughi"},"content":{"rendered":"","protected":true},"excerpt":{"rendered":"","protected":true},"author":8,"featured_media":16942,"comment_status":"closed","ping_status":"closed","template":"","meta":{"_acf_changed":false,"footnotes":""},"us_portfolio_category":[45],"class_list":["post-16941","us_portfolio","type-us_portfolio","status-publish","post-password-required","hentry","us_portfolio_category-new-template"],"acf":{"main_text":"","naam_van_het_proefschift":"EXTERNAL AND INTERNAL SEMANTICS FOR VISUAL UNDERSTANDING","samenvatting":"Het trainen van machines die de rijke semantische structuur van de wereld begrijpen, vereist niet alleen leren uit beperkte gelabelde data en gestructureerde voorkennis, maar ook het benutten van de uitgebreide onderliggende kennis en relaties die in ruwe data zelf aanwezig zijn. Dit proefschrift onderzocht hoe zowel extern gedefinieerde (hoofdstukken 2\u20134) als intern beschikbare (hoofdstukken 5\u20136) semantische structuur kan worden ingezet om visuele representatie-learning te verbeteren.\n\nHoofdstuk 2 richtte zich op externe semantiek, met name hi\u00ebrarchie\u00ebn. Het onderzocht hoe het structurele ontwerp van hi\u00ebrarchie\u00ebn de kwaliteit van hyperbolische embeddings be\u00efnvloedt. Aan de hand van een systematische empirische studie werd aangetoond dat eigenschappen zoals vertakkingsfactor, diepte en overervingspatronen een aanzienlijke invloed hebben op embedding-vervorming en reconstructie. Hiermee werd hi\u00ebrarchische structuur gepositioneerd als een cruciale ontwerpvariabele, in plaats van een vast gegeven.\n\nHoofdstuk 3 bouwde voort op deze bevindingen door een prompt-gebaseerde aanpak te introduceren die gebruikmaakt van grote taalmodellen om hi\u00ebrarchie\u00ebn automatisch te herstructureren met als doel de kwaliteit van hyperbolische embeddings te verbeteren. De voorgestelde methode leidde consistent tot betere embedding-prestaties over uiteenlopende hi\u00ebrarchie\u00ebn uit de praktijk, terwijl de structurele wijzigingen bovendien op een verklaarbare manier werden gemotiveerd.\n\nHoofdstuk 4 breidde hi\u00ebrarchisch leren uit van statische datasets naar continue omgevingen, waarin data stapsgewijs in de tijd beschikbaar komt. Het introduceerde een hyperbolisch continual-learning-raamwerk dat zowel instantie als klassen-niveau semantische structuur behoudt, en daarmee hi\u00ebrarchische classificatie op meerdere granulariteitsniveaus mogelijk maakt.\n\nHoofdstuk 5 verschoof de focus naar interne semantiek die uitsluitend uit visuele data wordt afgeleid, en presenteerde een self-supervised raamwerk dat visuele compositie vastlegt via relatieve ruimtelijke relaties tussen afbeeldingspatches. De resultaten lieten zien dat het afdwingen van relationele structuur modellen in staat stelt om semantisch rijkere en meer compositional representaties te leren, zonder externe supervisie.\n\nHoofdstuk 6 breidde interne semantiek verder uit naar multimodale omgevingen door gebruik te maken van video-caption-paren om visuele entiteiten te ontdekken. Door tekstuele en visuele signalen op elkaar af te stemmen, toonde het voorgestelde raamwerk aan dat multimodale relationele signalen voldoende zijn om visuele benoemde entiteiten af te leiden, zonder afhankelijk te zijn van gecureerde datasets of taak-specifieke labels.\n\nGezamenlijk laat dit proefschrift zien dat semantische structuur\u2014of deze nu extern wordt aangereikt of intern wordt ontdekt\u2014systematisch kan worden benut om visuele representatie-learning te verbeteren in uiteenlopende leeromgevingen.","summary":"Training machines that understand the rich semantic structure of the world requires not only learning from limited labelled data and structured prior knowledge, but also leveraging the vast underlying knowledge and relationships present in raw data itself. This thesis investigated how externally defined (chapters 2-4) and internally available (chapters 5-6) semantic structure can be leveraged to improve visual representation learning.\n\nChapter 2 focused on external semantics, specifically hierarchies. It examined how the structural design of hierarchies affects the quality of hyperbolic embeddings. Through a systematic empirical study, it showed that hierarchy properties such as branching factor, depth, and inheritance patterns have a substantial impact on embedding distortion and reconstruction, establishing hierarchy structure as a key design variable rather than a fixed input.\n\nChapter 3 built on these findings by introducing a prompt-based approach using large language models to automatically restructure hierarchies for improved hyperbolic embedding quality. The proposed method consistently improved embedding performance across diverse real-world hierarchies while providing explainable justifications for the structural changes.\n\nChapter 4 extended hierarchical learning from static datasets to continual settings, where data arrives incrementally over time. It proposed a hyperbolic continual-learning framework that preserves both instance-level and class-level semantic structure, enabling hierarchical classification at multiple granularities.\n\nChapter 5 shifted focus to internal semantics derived from visual data alone, proposing a self-supervised framework that captures visual composition through relative spatial relationships between image patches. The results demonstrated that enforcing relational structure enables models to learn more semantically meaningful and compositional representations without external supervision.\n\nChapter 6 further extended internal semantics to multi-modal settings by leveraging video-caption pairs to discover visual entities. By aligning textual and visual cues, the proposed framework showed that multi-modal relational signals are sufficient to infer visual named entities without relying on curated datasets or task-specific labels.\n\nTogether, this thesis shows that semantic structure\u2014whether externally provided or internally discovered\u2014can be systematically exploited to advance visual representation learning across different settings.","auteur":"Melika Ayoughi","auteur_slug":"melika-ayoughi","publicatiedatum":"29 september 2026","taal":"EN","url_flipbook":"https:\/\/ebook.proefschriftmaken.nl\/ebook\/melikaayoughi?iframe=true","url_download_pdf":"https:\/\/ebook.proefschriftmaken.nl\/download\/c792d85a-2918-4cd5-a59e-20138a0356a2\/highres","url_epub":"","ordernummer":"19469","isbn":"978-94-6534-600-7","doi_nummer":"","naam_universiteit":"Universiteit van Amsterdam","afbeeldingen":16943,"video_url":"","podcast_url":"","naam_student:":"","binnenwerk":"","universiteit":"Universiteit van Amsterdam","cover":"","afwerking":"","cover_afwerking":"","design":""},"_links":{"self":[{"href":"https:\/\/www.proefschriftmaken.nl\/en\/wp-json\/wp\/v2\/us_portfolio\/16941","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.proefschriftmaken.nl\/en\/wp-json\/wp\/v2\/us_portfolio"}],"about":[{"href":"https:\/\/www.proefschriftmaken.nl\/en\/wp-json\/wp\/v2\/types\/us_portfolio"}],"author":[{"embeddable":true,"href":"https:\/\/www.proefschriftmaken.nl\/en\/wp-json\/wp\/v2\/users\/8"}],"replies":[{"embeddable":true,"href":"https:\/\/www.proefschriftmaken.nl\/en\/wp-json\/wp\/v2\/comments?post=16941"}],"version-history":[{"count":1,"href":"https:\/\/www.proefschriftmaken.nl\/en\/wp-json\/wp\/v2\/us_portfolio\/16941\/revisions"}],"predecessor-version":[{"id":16944,"href":"https:\/\/www.proefschriftmaken.nl\/en\/wp-json\/wp\/v2\/us_portfolio\/16941\/revisions\/16944"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.proefschriftmaken.nl\/en\/wp-json\/wp\/v2\/media\/16942"}],"wp:attachment":[{"href":"https:\/\/www.proefschriftmaken.nl\/en\/wp-json\/wp\/v2\/media?parent=16941"}],"wp:term":[{"taxonomy":"us_portfolio_category","embeddable":true,"href":"https:\/\/www.proefschriftmaken.nl\/en\/wp-json\/wp\/v2\/us_portfolio_category?post=16941"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}