Fruit detection and 3D location using optical sensors and computer vision

Abstract

Per tal de satisfer les necessitats alimentàries d’una població mundial creixent, és necessari optimitzar la producció agrícola, incrementant la productivitat i la sostenibilitat de les explotacions. Per aconseguir-ho, es preveu que els sistemes automàtics de detecció i localització de fruits seran una eina essencial en la gestió de les plantacions fructícoles, amb aplicacions directes a la predicció de la collita, el mapat de la producció i la recol·lecció automatitzada. Malgrat els avenços aconseguits en àmbits com la robòtica o la visió per computador, la localització 3D de fruits continua essent un repte que ha de fer front a problemes com la identificació de fruits oclosos per altres òrgans vegetatius, o la possibilitat de treballar en diferents condicions d’il·luminació. La present tesi pretén contribuir en el desenvolupament de noves metodologies de detecció i localització de fruits mitjançant la combinació de sensors de base fotònica i d’algoritmes de visió artificial. Per tal de minimitzar els efectes produïts per unes condicions d’il·luminació variable, es proposa l’ús de sensors actius que treballen en l’espectre de llum infraroja. En concret, s’han testejat sensors LiDAR (light detection and ranging) i càmeres de profunditat (RGB-D) basades en el principi de temps de vol (time-of-flight), els quals proporcionen els valors d’intensitat de llum reflectida pels diferents elements mesurats. D’altra banda, per minimitzar el número d’oclusions s’han estudiat dues estratègies: (1) l’aplicació forçada d’aire; (2) la utilització de tècniques d’escaneig des de diferents punts de vista, com ara Structure-from-Motion (SfM). Els resultats obtinguts demostren que les dades d’intensitat proporcionades pels sensors actius LiDAR i RGB-D són de gran utilitat per la detecció de fruits, el que suposa un avanç en l’estat de l’art, ja que aquesta capacitat radiomètrica no havia estat estudiada anteriorment. D’altra banda, les dues estratègies testejades per minimitzar el número de fruits oclosos han demostrat incrementar el percentatge de fruits detectats. De totes les metodologies estudiades, la combinació de xarxes neuronals profundes amb tècniques de SfM és la que presenta més bons resultats, amb percentatges de detecció superiors al 90% i menys d’un 4% de falsos positius.

Para satisfacer las necesidades alimentarias de una población mundial creciente, es necesario optimizar la producción agrícola, incrementando la productividad y la sostenibilidad de las explotaciones. Para conseguirlo, se prevé que los sistemas automáticos de detección y localización de frutos serán una herramienta esencial en la gestión de las plantaciones frutícolas, con aplicaciones directas a la predicción de cosecha, al mapeado de la producción y a la recolección automatizada. A pesar de los avances conseguidos en ámbitos como la robótica o la visión artificial, la localización 3D de frutos continua siendo un reto que debe de hacer frente a problemas como la identificación de frutos ocluidos por otros órganos vegetativos, o la posibilidad de trabajar en distintas condiciones de iluminación. La presente tesis pretende contribuir en el desarrollo de nuevas metodologías de detección y localizacion de frutos mediante la combinación de sensores de base fotónica y de algoritmos de visión artificial. A fin de minimizar los efectos producidos por unas condiciones de iluminación variable, se propone el uso de sensores activos que trabajan en espectros de luz infrarroja. En concreto, se han testeado sensores LiDAR (light detection and ranging) y cámaras de profundidad (RGB-D) basadas en el principio de tiempo de vuelo (time-of-flight), los cuales proporcionan valores de intensidad de la luz reflejada por los objetos escaneados. Por otra parte, para minimizar el número de oclusiones se han estudiado dos estrategias: (1) la aplicación forzada de aire; (2) la utilización de técnicas de escaneo desde distintas perspectivas, tales como Structure-from-Motion (SfM). Los resultados obtenidos demuestran que los datos de intensidad proporcionados por los sensores LiDAR y RGB-D son de gran utilidad para la detección de frutos, lo que supone un avance en el estado del arte, ya que esta capacidad radiométrica no había estado estudiada anteriormente. Por otra parte, las dos estrategias testeadas para minimizar el número de oclusiones han demostrado incrementar el porcentaje de detección. De todas las metodologías estudiadas, la combinación de redes neuronales profundas con técnicas de SfM es la que presenta mejores resultados, con porcentajes de detección superiores al 90% y con menos de un 4% de falsos positivos.

To meet the food demands of an increasing world population, farmers are required to optimize agriculture production by increasing crop productivity and sustainability. To do so, fruit detection and 3D location systems are expected to be an essential tool in the agricultural management of fruit orchards, with applications in fruit prediction, yield mapping, and automated harvesting. Despite the latest advances in robotics and computer vision, the development of a reliable system for 3D fruit location remains a pending issue to deal with problems such as the identification of occluded fruits and the variable lighting conditions of agricultural environments. The present thesis aims to contribute to the development of new methodologies for fruit detection and location by combining optical sensors and artificial intelligence algorithms. In order to minimize variable lighting effects, it is proposed the use of active sensors that work in the infrared light spectrum. In particular, light detection and ranging sensors (LiDAR) and depth cameras (RGB-D) based on the time-of-flight principle were evaluated. These sensors provide the amount of backscattered infrared light reflected by the measured objects. With respect to minimizing the number of fruit occlusions, two different approaches were tested: (1) the application of forced air flow; and (2) the use of multi-view scanning techniques, such as structure-from-motion (SfM) photogrammetry. The results have demonstrated the usefulness of the backscattered intensity provided by LiDAR and RGB-D sensors for fruit detection. This supposes an advance in the state-of-the-art, since this feature has not previously been exploited. Both of the strategies tested to minimize fruit occlusions showed an increase in the fruit detection rate. Of all the tested methodologies, the combination of instance segmentation neural networks and SfM photogrammetry gave the best results, reporting detection rates higher than 90% and false positive rates under 4%.