Lidongsheng Xing

Dit proefschrift ontwikkelt en valideert een benadering voor kenmerkidentificatie voor het extraheren van geluidskenmerken uit neurale activiteit, met als doel de modulatie van corticale en gedragsresponsen naar ontworpen patronen mogelijk te maken. Door het combineren van elektro-encefalografie (EEG) met hoge temporele resolutie en functionele magnetische resonantiebeeldvorming (fMRI) met hoge ruimtelijke resolutie, wordt in dit onderzoek een methodologisch raamwerk gevestigd dat achterwaartse reconstructie en voorwaartse synthese integreert om neurale responsen te koppelen aan akoestische stimuluskenmerken op het gebied van temporele dynamiek, semantische categorieën en hemispherische asymmetrieën.

In dit proefschrift hebben we drie empirische studies uitgevoerd om de haalbaarheid en generaliseerbaarheid van deze benadering voor kenmerkidentificatie te toetsen over verschillende dimensies van auditieve verwerking. In Hoofdstuk 2 pasten we een methode voor achterwaartse reconstructie toe, gebruikmakend van een lineaire temporele responsfunctie (TRF), om dynamische luidheidspatronen te reconstrueren uit EEG-responsen op basische toonreeksen. Vervolgens ontwikkelden we een gedrags- en neuraal validatieparadigma om te beoordelen of deze reconstructies – die oorspronkelijk alleen werden geëvalueerd met correlatiemetingen – perceptuele en neurale betekenis hebben voor luisteraars. Dit vestigde een meer rigoureus raamwerk voor het evalueren van reconstructiegetrouwheid, verdergaand dan conventionele akoestisch-domein metrieken. In Hoofdstuk 3 implementeerden we een methode voor voorwaartse synthese met behulp van een diep neuraal netwerk (DNN) om laagsgewijze categorische geluidsrepresentaties, ingebed in het model, te verklankijken. Vervolgens ontwierpen we perceptuele en neurale validatie-experimenten om te toetsen of de gesynthetiseerde geluiden – hoewel akoestisch onnatuurlijk – konden dienen als effectieve probes voor het onderzoeken van causale relaties tussen DNN-afgeleide kenmerken en auditieve corticale verwerking. In Hoofdstuk 4 breidden we dit raamwerk voor voorwaartse synthese uit om hemispherische verschillen te targeten, waarbij we geluiden synthetiseerden die het voorspelde responsverschil tussen de linker- en rechterauditieve schors maximaliseerden. Vervolgens ontwikkelden we een analysepijplijn voor akoestische kenmerken om de onderscheidende eigenschappen van deze links- en rechtsactiverende geluiden te karakteriseren met behulp van meerdere akoestische modellen (bijv. spectrotemporele modulatie en geluidstextuurstatistieken). De methodologische bijdragen en de generaliseerbaarheid van deze benadering voor kenmerkidentificatie worden besproken in het slothoofdstuk.