Open source software and benchmarking of computer vision algorithms for apple fruit detection, fruit sizing and yield prediction using RGB-D cameras

Abstract

Aquesta tesi s'enfoca a la detecció (compteig) de fruits i estimació de la seva grandària i pes en plantacions de pomeres mitjançant l'aplicació de tècniques de visió per ordinador. Aquest treball busca proporcionar als fructicultors eines i metodologies avançades per ajudar-los a fer prediccions de collita precises. Comptar (quantificar) i localitzar fruits representen passos previs per assolir aquestes prediccions. En conèixer aquesta informació, els fructicultors poden programar amb antelació els recursos necessaris per a la collita i la postcollita (mà d'obra, transport, emmagatzematge), dissenyar estratègies de vendes i, en definitiva, optimitzar la rendibilitat de les seves explotacions. A més, també és fonamental controlar paràmetres de qualitat de la fruita com la mida i el pes, els quals tenen una gran influència en el preu de mercat i en la presa de decisions per al maneig del dosser. D'altra banda, avui en dia, comptar, localitzar i mesurar els fruits són tasques repetitives que requereixen mà d'obra capacitada i que es poden veure afectades pel cansament i el criteri subjectiu dels treballadors. Per tant, l'execució manual d'aquestes tasques en plantacions de fruiters de diverses hectàrees no és viable. Aquestes raons expliquen en gran mesura la necessitat actual de desenvolupar eines automàtiques que permetin detectar i mesurar els fruits al camp amb precisió. L’objectiu principal d'aquesta tesi és explorar la capacitat dels sensors RGB-D per estimar la grandària i el pes dels fruits en pomeres. El cos principal d'aquest treball el constitueixen quatre articles que tracten detalladament diverses etapes al llarg del procés: i) una revisió de l'estat de l'art sobre dimensionament de fruits utilitzant tècniques d'intel·ligència artificial i els seus desafiaments en condicions de camp; ii) el desenvolupament d'eines programari per a l’adquisició de dades en plantacions fructícoles; iii) el desenvolupament d'algoritmes per a l’estimació de la grandària i pes dels fruits mitjançant models al·lomètrics; i iv) una avaluació experimental en camp dels algoritmes implementats, aplicant combinacions de mètodes de dimensionament i models al·lomètrics per a la predicció de pes. Els resultats obtinguts van presentar errors (MAPE) inferiors al 5 % en l'estimació de la grandària de pomes no closes i menors al 5,1 % per a la predicció del pes. Aquests resultats obren la possibilitat d’utilitzar a curt termini càmeres RGB-D assequibles per a la caracterització en temps real de plantacions fruiteres. A més, com a resultat d'aquesta tesi s'ha posat a disposició pública un conjunt de programari de lliure accés per detectar els fruits en camp i estimar-ne la mida i el pes. En conclusió, la tesi suposa una contribució cap al desenvolupament d'eines assequibles que facilitin la presa de decisions i ajudin a optimitzar la gestió de les explotacions fructícoles.

Esta tesis se enfoca en la detección (conteo) de frutos y estimación de su tamaño y peso en plantaciones de manzanos mediante la aplicación de técnicas de visión por ordenador. Este trabajo busca proporcionar a los fruticultores herramientas y metodologías avanzadas para ayudarles a realizar predicciones de cosecha precisas. Contar (cuantificar) y localizar frutos representan pasos previos para lograr dichas predicciones. Al conocer esta información, los fruticultores pueden programar con antelación los recursos necesarios para la cosecha y poscosecha (mano de obra, transporte, almacenamiento), diseñar estrategias de ventas y, en definitiva, optimizar la rentabilidad de sus explotaciones. Además, también es fundamental controlar parámetros de calidad de la fruta como su tamaño y peso, los cuales tienen una gran influencia en el precio de mercado y en la toma de decisiones para el manejo del dosel. Por otro lado, a día de hoy, contar, localizar y medir el tamaño de los frutos son tareas repetitivas que requieren de mano de obra capacitada y que pueden verse afectadas por el cansancio y el criterio subjetivo de los trabajadores. Por lo que, la ejecución manual de estas tareas en plantaciones frutales de varias hectáreas no es viable. Estas razones explican en gran medida la necesidad actual de desarrollar herramientas automáticas que permitan detectar y medir los frutos en campo con precisión. El principal objetivo de esta tesis es explorar la capacidad de los sensores RGB-D para estimar el tamaño y el peso de los frutos en manzanos. El cuerpo principal de este trabajo lo constituyen cuatro artículos que tratan en detalle diversas etapas a lo largo del proceso: i) una revisión del estado del arte sobre dimensionamiento de frutos utilizando técnicas de inteligencia artificial y sus desafíos en condiciones de campo; ii) el desarrollo de herramientas software para adquisición de datos en plantaciones frutícolas; iii) el desarrollo de algoritmos para estimación de tamaño y peso de frutos mediante modelos alométricos; y iv) una evaluación experimental en campo de los algoritmos implementados, aplicando combinaciones de métodos de dimensionamiento y modelos alométricos para la predicción de peso. Los resultados obtenidos presentaron errores (MAPE) inferiores al 5 % en la estimación del tamaño de manzanas no ocluidas y menores al 5.1 % para la predicción de su peso. Estos resultados abren la posibilidad de utilizar a corto plazo cámaras RGB-D asequibles para la caracterización en tiempo real de plantaciones frutales. Además, como resultado de esta tesis se ha puesto a disposición pública un conjunto de herramientas software de libre acceso para detectar los frutos en campo y estimar su tamaño y peso. En conclusión, la tesis supone una contribución hacia el desarrollo de herramientas asequibles que faciliten la toma de decisiones y ayuden a optimizar la gestión de las explotaciones frutícolas.

This thesis focuses on the detection (counting) of fruits and estimation of their size and weight in apple orchards through the application of computer vision techniques. This work seeks to provide fruit growers with advanced tools and methodologies to help them make accurate harvest yield predictions. Counting (quantifying) and locating fruits represent previous steps to achieve these predictions. By knowing this information, fruit growers can schedule in advance the required resources for harvest and post-harvest (labor, transportation, storage), design sales strategies and, ultimately, optimize the profitability of their farms. In addition, it is also essential to control fruit quality parameters such as size and weight, which have a great influence on the market price and decision making for canopy management. On the other hand, today, counting, locating and measuring the size of fruits are repetitive tasks that require trained labor and that can be affected by fatigue and the subjective criterion of workers. Therefore, the manual execution of these tasks in fruit orchards of several hectares is not feasible. These reasons largely explain the current need to develop automatic tools that allow accurate in-field fruit detection and sizing. The main objective of this thesis is to explore the capacity of RGB-D sensors to estimate the size and weight of fruits in apple trees. The main body of this work is made up of four articles that deal in detail with various stages throughout the process: i) a review of the state of the art on fruit sizing using artificial intelligence techniques and its challenges in field conditions; ii) the development of software tools for data acquisition in fruit orchards; iii) the development of algorithms for estimating fruit size and weight using allometric models; and iv) an experimental field evaluation of the implemented algorithms, applying combinations of fruit sizing methods and allometric models for weight prediction. The results obtained presented errors (MAPE) of less than 5 % in the estimation of the size of non-occluded apples and less than 5.1% for the prediction of their weight. These results open the possibility of using affordable RGB-D cameras in the short term for real-time characterization of fruit plantations. Furthermore, as a result of this thesis, a set of open access software tools has been made available to the public for in-field fruit detection and estimate their size and weight. In conclusion, the thesis represents a contribution towards the development of affordable tools to facilitate decision-making and help optimize fruit orchard management.