Mohamed Benmahdjoub

In de afgelopen jaren heeft de snelle vooruitgang in XR (extended reality) in hardware en programmatuur ervoor gezorgd dat deze technologie algemeen gangbaar werd. De interesse vanuit de medische hoek werd gewekt door de mogelijkheden die XR op andere gebieden liet zien. In het bijzonder heeft navigatie voor chirurgie, gebaseerd op augmented reality (AR), zich ontwikkeld tot een belangrijk onderzoeksonderwerp; deze technologie zou uiteindelijk ondersteuning kunnen bieden bij procedures in de operatiekamer. In dit proefschrift ontwikkelen en evalueren we AR voor chirurgische navigatie, waarbij we ons hebben gericht op de uitdagingen van de uitlijning van het beeld op de patient, en van de 3D perceptie.

Hoofdstuk 1 geeft een korte introductie vanuit de medische visie op medische beeldvorming, planning voor chirurgie en navigatie bij chirurgie, en ook de technologische kijk op XR, virtuele realiteit (VR) en AR.

Hoofdstuk 2 onderzoekt AR navigatie voor aangezichtschirurgie. Via een systematisch overzicht en beoordeling van geselecteerde publicaties geven we inzicht in de systemen die ontwikkeld zijn, de hardware en programmatuur, en het chirurgische resultaat dat bereikt is. Het laat de uitdagingen en tekortkomingen zien, en bespreekt de voordelen die genoemd worden in de publicaties.

In hoofdstuk 3 wordt een methode om het beeld op de patient uit te lijnen voor de Microsoft Hololens 2 (HL2) ontwikkeld en geëvalueerd. De methode maakt gebruik van een electromagnetisch systeem (EMS) om posities te bepalen. We introduceren een multi-modale marker, waarvan de positie zowel door de HL2 als door het EMS bepaald kan worden. Na calibratie van deze marker is het mogelijk om 3D modellen in het gezichtsveld van de chirurg af te beelden. Het systeem is zowel technisch als in gebruikersstudies geëvalueerd.

Hoofdstuk 4 introduceert een andere manier om het beeld op de patient uit te lijnen, een methode die alleen gebruik maakt van de sensoren van de HL2. Hiervoor zijn modellen gemaakt van personen met chirurgische markers op het hoofd. Afbeeldingen van deze modellen zijn gebruikt om een model te trainen wat deze markers kan detecteren in beelden die door de HL2 opgenomen worden. Vervolgens wordt op basis van deze detectie de positie van het oorspronkelijke 3D model bepaald.

Het was na de voorgaande studies duidelijk geworden dat een goede perceptie van diepte van virtuele objecten afgebeeld via de beeldschermen die op het hoofd gedragen worden, zoals de HL2, lastig is. In hoofdstuk 5 wordt daarom een nieuwe manier van visualiseren voorgesteld voor het boren of inbrengen van naalden. De conclusie van deze studie met gebruikers was dat het afbeelden van het instrument als een virtueel object, en het gebruik van virtuele extensies voor het instrument, meer inzicht in de diepte gaf, en leidde tot betere resultaten.

Het systeem met de multi-modale marker is geëvalueerd in twee studies met fantomen: het genavigeerd inbrengen van een catheter voor het plaatsen van een externe ventrikel drain (In hoofdstuk 6) en het aangeven van schedelnaden op fantomen van hoofden van kinderen voor het plannen van een craniosynostosis operatie (hoofdstuk 7).

In hoofdstuk 6 werd met name gekeken naar verschillende visualisaties, zowel wat betreft het apparaat wat werd gebruikt (mobiele telefoon of HL2) en de manier van afbeelden (2-dimensionaal of 3-dimensionaal). De studie beveelt het gebruik van 3D afbeeldingen op een op het hoofd gedragen beeldscherm aan; deze manier liet nauwkeurige plaatsingen zien, een hoge mate van betrouwbaarheid en een sterke voorkeur uitgesproken door de vrijwilligers. Hoofdstuk 7 laat een andere toepassing zien waarbij AR navigatie ondersteuning kan geven. Deze procedure, waar het om gaat om naden op de schedel van een kind te vinden, wordt nu uitgevoerd zonder navigatie. Middels een gebruikersstudie wordt in hoofdstuk 7 de nauwkeurigheid bepaalt van AR navigatie voor het localiseren van deze naden. De studie laat zien dat het gebruik van de AR navigatie de nauwkeurigheid verhoogd.

Op basis van hoofdstuk 6 en 7 concluderen we dat AR mogelijkheden biedt voor chirurgische navigatie, maar dat nog meer ontwikkeling en validatie nodig is voor een wijdverbreide toepassing. Deze aspecten worden verder besproken in hoofdstuk 8, waar we in gaan op onze bijdrage, de beperkingen van de technologie en toekomstperspectieven.