Jianchao Yes Ci

Improving robotic active perception in agriculture using online self-supervised learning

De 3D-reconstructie van planten is uitdagend vanwege hun complexe vorm die veel occlusies veroorzaakt. Next-Best-View (NBV) methoden pakken dit aan door iteratief nieuwe gezichtspunten te selecteren om de informatiewinst (IG) te maximaliseren. Op deep learning gebaseerde NBV (DL-NBV) methoden vertonen een hogere computationele efficiëntie dan klassieke op voxels gebaseerde NBV-benaderingen, maar de huidige methoden vereisen uitgebreide training met behulp van grondwaarheid-plantmodellen, waardoor ze onpraktisch zijn voor echte planten. Bovendien vertrouwen deze methoden op offline training met vooraf verzamelde gegevens, wat het aanpassingsvermogen in veranderende agrarische omgevingen beperkt. Dit proefschrift stelt een op zelf-gesuperviseerd leren gebaseerde NBV-methode (SSL-NBV) voor die een diep neuraal netwerk gebruikt om de IG voor kandidaat-gezichtspunten te voorspellen. De methode stelt de robot in staat om zijn eigen trainingsgegevens te verzamelen tijdens de uitvoering van de taak door nieuwe 3D-sensorgegevens te vergelijken met de eerder verzamelde gegevens en door gebruik te maken van zwak gesuperviseerd leren en 'experience replay' voor efficiënt online leren.

Uitgebreide evaluaties werden uitgevoerd in simulatie- en praktijkomgevingen met behulp van kruisvalidatie. De resultaten toonden aan dat SSL-NBV minder weergaven vereiste voor plantreconstructie dan niet-NBV-methoden. Het bereikte IG-voorspelling in 0,0038 seconden, waardoor het meer dan 800 keer sneller is dan een op voxels gebaseerde NBV, en een online leer-iteratie in 0,099 seconden. SSL-NBV verminderde het aantal trainingsannotaties met meer dan 90% vergeleken met een baseline DL-NBV. Bovendien kon SSL-NBV zich aanpassen aan nieuwe scenario's via online fine-tuning. Ook bij echte planten lieten de resultaten zien dat de voorgestelde methode effectief nieuwe gezichtspunten kan plannen voor 3D-plantreconstructie. Het belangrijkste is dat SSL-NBV de volledige netwerktraining automatiseert en gebruikmaakt van continu online leren, waardoor het kan functioneren in veranderende agrarische omgevingen.

Zowel SSL-Global-NBV als SSL-Local-NBV richten zich op het reconstrueren van de gehele scène. Dit is geschikt voor taken zoals plantmonitoring, waarbij uitgebreide scène-informatie vereist is. Veel landbouwactiviteiten vereisen echter alleen informatie over specifieke plantdelen, zoals vruchten voor de oogst of knopen voor bladverwijdering. Het verkennen van irrelevante regio's verspilt in dergelijke gevallen tijd en energie. Om deze beperking te overwinnen, introduceert Hoofdstuk 5 SSL-Semantic-NBV, een doelgerichte NBV-benadering die prioriteit geeft aan de selectie van gezichtspunten voor plantdelen die relevant zijn voor de uitvoering van de taak. Doelgerichte NBV is aanzienlijk uitdagender vanwege de schaarsheid van doelen, aangezien de meeste gezichtspunten weinig of geen bruikbaar signaal leveren voor het superviseren van netwerktraining. Om deze uitdaging aan te pakken, worden een nieuwe IG-metriek en verliesfunctie voorgesteld om effectief leren van schaarse informatiesignalen mogelijk te maken. Om de implementatie in de echte wereld te versnellen, worden functioneel-structurele plantmodellen gebruikt om synthetische gegevens te genereren voor netwerk-pretraining. In simulatie verbetert SSL-Semantic-NBV de reconstructie-efficiëntie met 42%–104% vergeleken met niet-NBV-methoden en met 9%–18% vergeleken met bestaande NBV-benaderingen. In praktijkexperimenten worden verbeteringen van respectievelijk 8%–16% en 3%–7% behaald. Het semantiekbewuste mechanisme verbetert zowel de trainingsefficiëntie als de reconstructie-efficiëntie aanzienlijk, met name voor dun verspreide plantdelen.

Samenvattend presenteert dit proefschrift een reeks op online zelf-gesuperviseerd leren gebaseerde impliciete NBV-methoden die stapsgewijs de belangrijkste uitdagingen in actieve robotwaarneming voor de landbouw aanpakken. Door online leren, lokale gezichtspuntplanning en doelgerichte perceptie te integreren, verbeteren de voorgestelde methoden het aanpassingsvermogen van impliciete NBV aan nieuwe omgevingen, de schaalbaarheid over verschillende plantgrootten en de efficiëntie bij het waarnemen van taakrelevante plantdelen. Deze methoden versterken daarom robotperceptiesystemen om robuust en efficiënt informatie te verzamelen onder occlusies. Door de robotperceptiemogelijkheden te verbeteren, kan dit werk de ontwikkeling en inzet van robots in landbouwtoepassingen vergemakkelijken, wat helpt bij het verlichten van tekorten aan arbeidskrachten en bijdraagt aan een betrouwbare voedselproductie.

Lees verder
Publicatiedatum 2 september 2026
Universiteit Wageningen University
Auteur Jianchao Yes Ci
DOI nummer 10.18174/681762

Bekijk ook deze projecten

Suzanne Wiertsema

Suzanne Wiertsema

Wageningen University Lees meer
Novika Purnama Sari

Novika Purnama Sari

Wageningen University Lees meer
Jan Quinten Mol

Jan Quinten Mol

Wageningen University Lees meer