{"id":16522,"date":"2026-08-05T15:51:41","date_gmt":"2026-08-05T13:51:41","guid":{"rendered":"https:\/\/www.proefschriftmaken.nl\/portfolio\/jianchao-yes-ci\/"},"modified":"2026-08-05T15:51:52","modified_gmt":"2026-08-05T13:51:52","slug":"jianchao-yes-ci","status":"publish","type":"us_portfolio","link":"https:\/\/www.proefschriftmaken.nl\/en\/portfolio\/jianchao-yes-ci\/","title":{"rendered":"Jianchao Yes Ci"},"content":{"rendered":"","protected":true},"excerpt":{"rendered":"","protected":true},"author":7,"featured_media":16523,"comment_status":"closed","ping_status":"closed","template":"","meta":{"_acf_changed":false,"footnotes":""},"us_portfolio_category":[45],"class_list":["post-16522","us_portfolio","type-us_portfolio","status-publish","post-password-required","hentry","us_portfolio_category-new-template"],"acf":{"naam_van_het_proefschift":"Improving robotic active perception in agriculture using online self-supervised learning","samenvatting":"De 3D-reconstructie van planten is uitdagend vanwege hun complexe vorm die veel occlusies veroorzaakt. Next-Best-View (NBV) methoden pakken dit aan door iteratief nieuwe gezichtspunten te selecteren om de informatiewinst (IG) te maximaliseren. Op deep learning gebaseerde NBV (DL-NBV) methoden vertonen een hogere computationele effici\u00ebntie dan klassieke op voxels gebaseerde NBV-benaderingen, maar de huidige methoden vereisen uitgebreide training met behulp van grondwaarheid-plantmodellen, waardoor ze onpraktisch zijn voor echte planten. Bovendien vertrouwen deze methoden op offline training met vooraf verzamelde gegevens, wat het aanpassingsvermogen in veranderende agrarische omgevingen beperkt. Dit proefschrift stelt een op zelf-gesuperviseerd leren gebaseerde NBV-methode (SSL-NBV) voor die een diep neuraal netwerk gebruikt om de IG voor kandidaat-gezichtspunten te voorspellen. De methode stelt de robot in staat om zijn eigen trainingsgegevens te verzamelen tijdens de uitvoering van de taak door nieuwe 3D-sensorgegevens te vergelijken met de eerder verzamelde gegevens en door gebruik te maken van zwak gesuperviseerd leren en 'experience replay' voor effici\u00ebnt online leren.\n\nUitgebreide evaluaties werden uitgevoerd in simulatie- en praktijkomgevingen met behulp van kruisvalidatie. De resultaten toonden aan dat SSL-NBV minder weergaven vereiste voor plantreconstructie dan niet-NBV-methoden. Het bereikte IG-voorspelling in 0,0038 seconden, waardoor het meer dan 800 keer sneller is dan een op voxels gebaseerde NBV, en een online leer-iteratie in 0,099 seconden. SSL-NBV verminderde het aantal trainingsannotaties met meer dan 90% vergeleken met een baseline DL-NBV. Bovendien kon SSL-NBV zich aanpassen aan nieuwe scenario's via online fine-tuning. Ook bij echte planten lieten de resultaten zien dat de voorgestelde methode effectief nieuwe gezichtspunten kan plannen voor 3D-plantreconstructie. Het belangrijkste is dat SSL-NBV de volledige netwerktraining automatiseert en gebruikmaakt van continu online leren, waardoor het kan functioneren in veranderende agrarische omgevingen.\n\nZowel SSL-Global-NBV als SSL-Local-NBV richten zich op het reconstrueren van de gehele sc\u00e8ne. Dit is geschikt voor taken zoals plantmonitoring, waarbij uitgebreide sc\u00e8ne-informatie vereist is. Veel landbouwactiviteiten vereisen echter alleen informatie over specifieke plantdelen, zoals vruchten voor de oogst of knopen voor bladverwijdering. Het verkennen van irrelevante regio's verspilt in dergelijke gevallen tijd en energie. Om deze beperking te overwinnen, introduceert Hoofdstuk 5 SSL-Semantic-NBV, een doelgerichte NBV-benadering die prioriteit geeft aan de selectie van gezichtspunten voor plantdelen die relevant zijn voor de uitvoering van de taak. Doelgerichte NBV is aanzienlijk uitdagender vanwege de schaarsheid van doelen, aangezien de meeste gezichtspunten weinig of geen bruikbaar signaal leveren voor het superviseren van netwerktraining. Om deze uitdaging aan te pakken, worden een nieuwe IG-metriek en verliesfunctie voorgesteld om effectief leren van schaarse informatiesignalen mogelijk te maken. Om de implementatie in de echte wereld te versnellen, worden functioneel-structurele plantmodellen gebruikt om synthetische gegevens te genereren voor netwerk-pretraining. In simulatie verbetert SSL-Semantic-NBV de reconstructie-effici\u00ebntie met 42%\u2013104% vergeleken met niet-NBV-methoden en met 9%\u201318% vergeleken met bestaande NBV-benaderingen. In praktijkexperimenten worden verbeteringen van respectievelijk 8%\u201316% en 3%\u20137% behaald. Het semantiekbewuste mechanisme verbetert zowel de trainingseffici\u00ebntie als de reconstructie-effici\u00ebntie aanzienlijk, met name voor dun verspreide plantdelen.\n\nSamenvattend presenteert dit proefschrift een reeks op online zelf-gesuperviseerd leren gebaseerde impliciete NBV-methoden die stapsgewijs de belangrijkste uitdagingen in actieve robotwaarneming voor de landbouw aanpakken. Door online leren, lokale gezichtspuntplanning en doelgerichte perceptie te integreren, verbeteren de voorgestelde methoden het aanpassingsvermogen van impliciete NBV aan nieuwe omgevingen, de schaalbaarheid over verschillende plantgrootten en de effici\u00ebntie bij het waarnemen van taakrelevante plantdelen. Deze methoden versterken daarom robotperceptiesystemen om robuust en effici\u00ebnt informatie te verzamelen onder occlusies. Door de robotperceptiemogelijkheden te verbeteren, kan dit werk de ontwikkeling en inzet van robots in landbouwtoepassingen vergemakkelijken, wat helpt bij het verlichten van tekorten aan arbeidskrachten en bijdraagt aan een betrouwbare voedselproductie.","summary":"The 3D reconstruction of plants is challenging due to their complex shape causing many occlusions. Next-Best-View (NBV) methods address this by iteratively selecting new viewpoints to maximize information gain (IG). Deep-learning-based NBV (DL-NBV) methods demonstrate higher computational efficiency over classic voxel-based NBV approaches but current methods require extensive training using ground-truth plant models, making them impractical for real-world plants. These methods, moreover, rely on offline training with pre-collected data, limiting adaptability in changing agricultural environments. This paper proposes a self-supervised learning-based NBV method (SSL-NBV) that uses a deep neural network to predict the IG for candidate viewpoints. The method allows the robot to gather its own training data during task execution by comparing new 3D sensor data to the earlier gathered data and by employing weakly-supervised learning and experience replay for efficient online learning.\n\nComprehensive evaluations were conducted in simulation and real-world environments using cross-validation. The results showed that SSL-NBV required fewer views for plant reconstruction than non-NBV methods. It achieved IG prediction in 0.0038 seconds, making it over 800 times faster than a voxel-based NBV, and an online learning iteration in 0.099 seconds. SSL-NBV reduced training annotations by over 90% compared to a baseline DL-NBV. Furthermore, SSL-NBV could adapt to novel scenarios through online fine-tuning. Also using real plants, the results showed that the proposed method can learn to effectively plan new viewpoints for 3D plant reconstruction. Most importantly, SSL-NBV automated the entire network training and uses continuous online learning, allowing it to operate in changing agricultural environments.\n\nBoth SSL-Global-NBV and SSL-Local-NBV focus on reconstructing the entire scene. This is suitable for tasks such as plant monitoring, where comprehensive scene information is required. However, many agricultural operations require information only about specific plant parts, such as fruits for harvesting or nodes for leaf removal. Exploring irrelevant regions in such cases wastes time and energy. To overcome this limitation, Chapter 5 introduces SSL-Semantic-NBV, a target-aware NBV approach that prioritizes viewpoint selection for plant parts that are relevant to task execution. Target-aware NBV is considerably more challenging due to target sparsity, as most viewpoints provide little or no useful signal for supervising network training. To address this challenge, a novel IG metric and loss function are proposed to enable effective learning from sparse information signals. To accelerate real-world deployment, functional\u2013structural plant models are used to generate synthetic data for network pretraining. In simulation, SSL-Semantic-NBV improves reconstruction efficiency by 42%\u2013104% compared to non-NBV methods and by 9%\u201318% compared to existing NBV approaches. In real-world experiments, improvements of 8%\u201316% and 3%\u20137% are achieved, respectively. The semantic-aware mechanism substantially improves both training efficiency and reconstruction efficiency, particularly for sparsely distributed plant parts.\n\nIn summary, this thesis presents a series of online self-supervised learning\u2013based implicit NBV methods that progressively address key challenges in robotic active perception for agriculture. By integrating online learning, local viewpoint planning, and target-aware perception, the proposed methods improve the adaptability of implicit NBV to novel environments, its scalability across different plant sizes, and its efficiency in perceiving task-relevant plant parts. These methods therefore enhance robotic perception systems to robustly and efficiently collect information under occlusions. By advancing robotic perception capabilities, this work can facilitate the development and deployment of robots in agricultural applications, helping to alleviate labor shortages and contribute to reliable food production.","auteur":"Jianchao Yes Ci","auteur_slug":"jianchao-yes-ci","publicatiedatum":"2 september 2026","taal":"EN","url_flipbook":"https:\/\/ebook.proefschriftmaken.nl\/ebook\/jianchaoyesci?iframe=true","url_download_pdf":"https:\/\/ebook.proefschriftmaken.nl\/download\/d0bf853d-ddc1-49e8-bd60-e7d1e9a092f6\/optimized","url_epub":"","ordernummer":"19151","isbn":"","doi_nummer":"","naam_universiteit":"Wageningen University","afbeeldingen":16524,"naam_student:":"","binnenwerk":"","universiteit":"Wageningen University","cover":"","afwerking":"","cover_afwerking":"","design":""},"_links":{"self":[{"href":"https:\/\/www.proefschriftmaken.nl\/en\/wp-json\/wp\/v2\/us_portfolio\/16522","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.proefschriftmaken.nl\/en\/wp-json\/wp\/v2\/us_portfolio"}],"about":[{"href":"https:\/\/www.proefschriftmaken.nl\/en\/wp-json\/wp\/v2\/types\/us_portfolio"}],"author":[{"embeddable":true,"href":"https:\/\/www.proefschriftmaken.nl\/en\/wp-json\/wp\/v2\/users\/7"}],"replies":[{"embeddable":true,"href":"https:\/\/www.proefschriftmaken.nl\/en\/wp-json\/wp\/v2\/comments?post=16522"}],"version-history":[{"count":1,"href":"https:\/\/www.proefschriftmaken.nl\/en\/wp-json\/wp\/v2\/us_portfolio\/16522\/revisions"}],"predecessor-version":[{"id":16525,"href":"https:\/\/www.proefschriftmaken.nl\/en\/wp-json\/wp\/v2\/us_portfolio\/16522\/revisions\/16525"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.proefschriftmaken.nl\/en\/wp-json\/wp\/v2\/media\/16523"}],"wp:attachment":[{"href":"https:\/\/www.proefschriftmaken.nl\/en\/wp-json\/wp\/v2\/media?parent=16522"}],"wp:term":[{"taxonomy":"us_portfolio_category","embeddable":true,"href":"https:\/\/www.proefschriftmaken.nl\/en\/wp-json\/wp\/v2\/us_portfolio_category?post=16522"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}