Fruit detection and 3D location using optical sensors and computer vision
Loading...
Access the documents
Date
2020-05-08
Authors
Gené Mola, Jordi
Other authors
Gregorio López, Eduard
Rosell Polo, Joan Ramon
Universitat de Lleida. Departament d'Enginyeria Agroforestal
Impact
Export
Share
Journal Title
Journal ISSN
Volume Title
Abstract
Per tal de satisfer les necessitats alimentàries d’una població mundial creixent, és necessari optimitzar la producció agrícola, incrementant la productivitat i la sostenibilitat de les explotacions. Per aconseguir-ho, es preveu que els sistemes automàtics de detecció i localització de fruits seran una eina essencial en la gestió de les plantacions fructícoles, amb aplicacions directes a la predicció de la collita, el mapat de la producció i la recol·lecció automatitzada. Malgrat els avenços aconseguits en àmbits com la robòtica o la visió per computador, la localització 3D de fruits continua essent un repte que ha de fer front a problemes com la identificació de fruits oclosos per altres òrgans vegetatius, o la possibilitat de treballar en diferents condicions d’il·luminació. La present tesi pretén contribuir en el desenvolupament de noves metodologies de detecció i localització de fruits mitjançant la combinació de sensors de base fotònica i d’algoritmes de visió artificial. Per tal de minimitzar els efectes produïts per unes condicions d’il·luminació variable, es proposa l’ús de sensors actius que treballen en l’espectre de llum infraroja. En concret, s’han testejat sensors LiDAR (light detection and ranging) i càmeres de profunditat (RGB-D) basades en el principi de temps de vol (time-of-flight), els quals proporcionen els valors d’intensitat de llum reflectida pels diferents elements mesurats. D’altra banda, per minimitzar el número d’oclusions s’han estudiat dues estratègies: (1) l’aplicació forçada d’aire; (2) la utilització de tècniques d’escaneig des de diferents punts de vista, com ara Structure-from-Motion (SfM). Els resultats obtinguts demostren que les dades d’intensitat proporcionades pels sensors actius LiDAR i RGB-D són de gran utilitat per la detecció de fruits, el que suposa un avanç en l’estat de l’art, ja que aquesta capacitat radiomètrica no havia estat estudiada anteriorment. D’altra banda, les dues estratègies testejades per minimitzar el número de fruits oclosos han demostrat incrementar el percentatge de fruits detectats. De totes les metodologies estudiades, la combinació de xarxes neuronals profundes amb tècniques de SfM és la que presenta més bons resultats, amb percentatges de detecció superiors al 90% i menys d’un 4% de falsos positius.