{"id":9565,"date":"2026-04-08T09:46:16","date_gmt":"2026-04-08T09:46:16","guid":{"rendered":"https:\/\/www.proefschriftmaken.nl\/portfolio\/mohamed-benmahdjoub\/"},"modified":"2026-04-23T08:06:16","modified_gmt":"2026-04-23T08:06:16","slug":"mohamed-benmahdjoub","status":"publish","type":"us_portfolio","link":"https:\/\/www.proefschriftmaken.nl\/en\/portfolio\/mohamed-benmahdjoub\/","title":{"rendered":"Mohamed Benmahdjoub"},"content":{"rendered":"","protected":false},"excerpt":{"rendered":"","protected":false},"author":8,"featured_media":13227,"comment_status":"closed","ping_status":"closed","template":"","meta":{"_acf_changed":false,"footnotes":""},"us_portfolio_category":[45],"class_list":["post-9565","us_portfolio","type-us_portfolio","status-publish","has-post-thumbnail","hentry","us_portfolio_category-new-template"],"acf":{"naam_van_het_proefschift":"I See Through... You","samenvatting":"In de afgelopen jaren heeft de snelle vooruitgang in XR (extended reality) in hardware en programmatuur ervoor gezorgd dat deze technologie algemeen gangbaar werd. De interesse vanuit de medische hoek werd gewekt door de mogelijkheden die XR op andere gebieden liet zien. In het bijzonder heeft navigatie voor chirurgie, gebaseerd op augmented reality (AR), zich ontwikkeld tot een belangrijk onderzoeksonderwerp; deze technologie zou uiteindelijk ondersteuning kunnen bieden bij procedures in de operatiekamer. In dit proefschrift ontwikkelen en evalueren we AR voor chirurgische navigatie, waarbij we ons hebben gericht op de uitdagingen van de uitlijning van het beeld op de patient, en van de 3D perceptie.\n\nHoofdstuk 1 geeft een korte introductie vanuit de medische visie op medische beeldvorming, planning voor chirurgie en navigatie bij chirurgie, en ook de technologische kijk op XR, virtuele realiteit (VR) en AR.\n\nHoofdstuk 2 onderzoekt AR navigatie voor aangezichtschirurgie. Via een systematisch overzicht en beoordeling van geselecteerde publicaties geven we inzicht in de systemen die ontwikkeld zijn, de hardware en programmatuur, en het chirurgische resultaat dat bereikt is. Het laat de uitdagingen en tekortkomingen zien, en bespreekt de voordelen die genoemd worden in de publicaties.\n\nIn hoofdstuk 3 wordt een methode om het beeld op de patient uit te lijnen voor de Microsoft Hololens 2 (HL2) ontwikkeld en ge\u00ebvalueerd. De methode maakt gebruik van een electromagnetisch systeem (EMS) om posities te bepalen. We introduceren een multi-modale marker, waarvan de positie zowel door de HL2 als door het EMS bepaald kan worden. Na calibratie van deze marker is het mogelijk om 3D modellen in het gezichtsveld van de chirurg af te beelden. Het systeem is zowel technisch als in gebruikersstudies ge\u00ebvalueerd.\n\nHoofdstuk 4 introduceert een andere manier om het beeld op de patient uit te lijnen, een methode die alleen gebruik maakt van de sensoren van de HL2. Hiervoor zijn modellen gemaakt van personen met chirurgische markers op het hoofd. Afbeeldingen van deze modellen zijn gebruikt om een model te trainen wat deze markers kan detecteren in beelden die door de HL2 opgenomen worden. Vervolgens wordt op basis van deze detectie de positie van het oorspronkelijke 3D model bepaald.\n\nHet was na de voorgaande studies duidelijk geworden dat een goede perceptie van diepte van virtuele objecten afgebeeld via de beeldschermen die op het hoofd gedragen worden, zoals de HL2, lastig is. In hoofdstuk 5 wordt daarom een nieuwe manier van visualiseren voorgesteld voor het boren of inbrengen van naalden. De conclusie van deze studie met gebruikers was dat het afbeelden van het instrument als een virtueel object, en het gebruik van virtuele extensies voor het instrument, meer inzicht in de diepte gaf, en leidde tot betere resultaten.\n\nHet systeem met de multi-modale marker is ge\u00ebvalueerd in twee studies met fantomen: het genavigeerd inbrengen van een catheter voor het plaatsen van een externe ventrikel drain (In hoofdstuk 6) en het aangeven van schedelnaden op fantomen van hoofden van kinderen voor het plannen van een craniosynostosis operatie (hoofdstuk 7).\n\nIn hoofdstuk 6 werd met name gekeken naar verschillende visualisaties, zowel wat betreft het apparaat wat werd gebruikt (mobiele telefoon of HL2) en de manier van afbeelden (2-dimensionaal of 3-dimensionaal). De studie beveelt het gebruik van 3D afbeeldingen op een op het hoofd gedragen beeldscherm aan; deze manier liet nauwkeurige plaatsingen zien, een hoge mate van betrouwbaarheid en een sterke voorkeur uitgesproken door de vrijwilligers. Hoofdstuk 7 laat een andere toepassing zien waarbij AR navigatie ondersteuning kan geven. Deze procedure, waar het om gaat om naden op de schedel van een kind te vinden, wordt nu uitgevoerd zonder navigatie. Middels een gebruikersstudie wordt in hoofdstuk 7 de nauwkeurigheid bepaalt van AR navigatie voor het localiseren van deze naden. De studie laat zien dat het gebruik van de AR navigatie de nauwkeurigheid verhoogd.\n\nOp basis van hoofdstuk 6 en 7 concluderen we dat AR mogelijkheden biedt voor chirurgische navigatie, maar dat nog meer ontwikkeling en validatie nodig is voor een wijdverbreide toepassing. Deze aspecten worden verder besproken in hoofdstuk 8, waar we in gaan op onze bijdrage, de beperkingen van de technologie en toekomstperspectieven.","summary":"In recent years, extended reality (XR)\u2019s fast advancements, in terms of hardware and software components, enabled it to become a mainstream consumer-level technology. The interest from the medical community became evident due to the potential that XR has shown in other fields (e.g., industrial). In particular, surgical navigation based on augmented reality (AR) evolved into a main research and development topic, where developed systems would ultimately assist during interventions in the operating room (OR). In this thesis, we developed and assessed AR approaches for surgical navigation focusing on image-to-patient alignment and depth perception challenges as a first step towards clinical implementation.\n\nChapter 1 brings AR for surgical navigation in the context of computer-assisted interventions. It gives brief introductions from a medical point of view to medical imaging, surgical planning, and surgical navigation, as well as from the technological point of view to XR, virtual reality (VR), and AR.\n\nChapter 2 investigates AR surgical navigation for craniomaxillofacial surgery. Through a systematic review, it provides insights on the systems developed, the hardware, the software and the surgical outcome reached for the selected papers. It points out the challenges and shortcomings of the selected studies, and makes a collection of the reported advantages of AR for surgery.\n\nIn Chapter 3, an image-to-patient alignment approach was developed and assessed for the Microsoft HoloLens 2 (HL2), a head-mounted display (HMD). The approach is considered an outside-in alignment and tracking technique i.e. supported by an external electromagnetic tracking system (EMTS). Chapter 3 proposes the multimodal marker approach where a hybrid marker trackable by both the HL2 and the EMTS was created and calibrated to enabling real-time projection of 3-dimensional (3D) models in the surgeon\u2019s view. The system was assessed systematically and also through various user studies.\n\nChapter 4 similarly proposes an image-to-patient alignment using the HL2. The approach in this chapter is an inside-out approach which relies only on the HMD\u2019s sensors to perform a one time initial alignment. Chapter 4 presents an approach to generate synthetic data of subjects with surgical landmarks attached to their heads, to train a deep learning object detection model to locate these surgical landmarks. The deep learning model was able to detect the landmarks on real images, acquired by the HL2, and enabled, through a Perspective-n-Point (PnP) approach, the projection of the 3D model on the corresponding printed model.\n\nIt was clear from the previous studies that an accurate perception of depth of virtual objects using optical see-through (OST) HMDs is difficult. It is however important in a surgical context to provide an adequate visualization to the performed surgical task (e.g., drilling). Such a visualization should improve the overall performance, especially accuracy. For this, Chapter 5 proposes a new visualization paradigm for needle insertion or drilling tasks to improve instrument placement when using OST HMDs intraoperatively. The approach was assessed through a user study, from which it was concluded that instrument visualization in OST HMDs is needed, and extensions of surgical instruments with virtual objects provide more depth cues.\n\nThe multimodal marker approach was assessed through two phantom studies demonstrating two potential surgical applications for AR: the insertion of a navigated catheter simulating an external ventricular drain (EVD) placement (Chapter 6), and the delineation of cranial sutures on infant phantoms to plan a craniosynostosis surgery (Chapter 7).\n\nIn Chapter 6, an emphasis was placed on AR visualization modes. In particular, different visualizations were examined, both in terms of the device used (smartphone, HL2) and the method of visualization (2-dimensional (2D) or 3D). It compared their efficacy for catheter insertion in the ventricle cavity to identify the most suitable device and mode of visualization for such an intervention. The study recommended the use 3D approaches using HMDs because of the demonstrated accurate insertions, high confidence and high preference expressed by the volunteers. Chapter 6 in this way encourages surgeons to opt for 3D HMD for surgical navigation instead of 2D AR approaches.\n\nChapter 7 studies whether AR is capable of providing navigational support for identifying cranial sutures on infants\u2019 skulls. Currently, this procedure is performed free-hand which can lead to large errors. Through a user study we investigated the accuracy of delineating cranial sutures that were projected using AR. The study showed a higher accuracy compared to free-hand techniques. Volunteers were asked to delineate the projected sutures on 3D printed skulls which showed a higher accuracy compared to free-hand techniques.\n\nFrom Chapter 6 and Chapter 7, we can conclude that AR has the potential to be used in surgical navigation but requires more development and validations steps to become widely spread in future surgical workflows. This aspect is discussed further in Chapter 8, shedding the light the contributions, the limitations, and future perspectives.","auteur":"Mohamed Benmahdjoub","auteur_slug":"mohamed-benmahdjoub","publicatiedatum":"26 juni 2024","taal":"EN","url_flipbook":"https:\/\/ebook.proefschriftmaken.nl\/ebook\/mohamedbenmahdjoub?iframe=true","url_download_pdf":"","url_epub":"","ordernummer":"FTP-202604080943","isbn":"978-94-6469-968-5","doi_nummer":"","naam_universiteit":"Erasmus Universiteit Rotterdam","afbeeldingen":13227,"naam_student:":"","binnenwerk":"","universiteit":"Erasmus Universiteit Rotterdam","cover":"","afwerking":"","cover_afwerking":"","design":""},"_links":{"self":[{"href":"https:\/\/www.proefschriftmaken.nl\/en\/wp-json\/wp\/v2\/us_portfolio\/9565","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.proefschriftmaken.nl\/en\/wp-json\/wp\/v2\/us_portfolio"}],"about":[{"href":"https:\/\/www.proefschriftmaken.nl\/en\/wp-json\/wp\/v2\/types\/us_portfolio"}],"author":[{"embeddable":true,"href":"https:\/\/www.proefschriftmaken.nl\/en\/wp-json\/wp\/v2\/users\/8"}],"replies":[{"embeddable":true,"href":"https:\/\/www.proefschriftmaken.nl\/en\/wp-json\/wp\/v2\/comments?post=9565"}],"version-history":[{"count":1,"href":"https:\/\/www.proefschriftmaken.nl\/en\/wp-json\/wp\/v2\/us_portfolio\/9565\/revisions"}],"predecessor-version":[{"id":9568,"href":"https:\/\/www.proefschriftmaken.nl\/en\/wp-json\/wp\/v2\/us_portfolio\/9565\/revisions\/9568"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.proefschriftmaken.nl\/en\/wp-json\/wp\/v2\/media\/13227"}],"wp:attachment":[{"href":"https:\/\/www.proefschriftmaken.nl\/en\/wp-json\/wp\/v2\/media?parent=9565"}],"wp:term":[{"taxonomy":"us_portfolio_category","embeddable":true,"href":"https:\/\/www.proefschriftmaken.nl\/en\/wp-json\/wp\/v2\/us_portfolio_category?post=9565"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}