Going beyond Classification Problems for the Continual Learning of Deep Neural Networks

Abstract

L'aprenentatge profund ha experimentat un gran progrés en l'última dècada a causa de l'explosió de la mida de les dades d'entrenament i els avenços en potència computacional. Mitjançant el processament d'inici a final de grans conjunts de dades utilitzant xarxes neuronals, les representacions d'imatges són més discriminatòries que les funcions fetes a mà utilitzades anteriorment. Tanmateix, per a moltes aplicacions del món real, la formació i les proves en un únic conjunt de dades no són realistes, ja que la distribució i característiques de les proves pot canviar amb el temps. L'aprenentatge continu té en compte aquesta situació, on l'aprenent s'ha d'adaptar a una seqüència de tasques, cadascuna amb una distribució diferent. Si ingènuament continues entrenant el model amb una tasca nova, el rendiment del model baixaria dràsticament per a les dades apreses anteriorment. Aquest fenomen es coneix com a oblit catastròfic.

S'han proposat molts mètodes per abordar aquest problema, que es poden dividir en tres categories principals: mètodes basats en regularització, mètodes basats en assaig i mètodes basats en aïllament de paràmetres.

Tot i això, la majoria dels treballs existents s'enfoquen a tasques de classificació d'imatges i moltes altres tasques de visió per ordinador no han estat ben explorades en l'entorn d'aprenentatge continu. Per tant, en aquesta tesi, estudiem l'aprenentatge continu per a la generació d'imatges, la reidentificació d'objectes i el recompte d'objectes.

Pel que fa a la qüestió de la generació d'imatges, com que el model pot generar imatges a partir de la tasca prèviament apresa, és lliure d'aplicar l'assaig sense cap limitació. Hem desenvolupat dos mètodes basats en la reproducció generativa. La primera utilitza la imatge generada per a l'entrenament conjunt juntament amb les noves dades. El segon es basa en l'alineació de píxels de sortida. Avaluem àmpliament aquests mètodes en diversos punts de referència.

A continuació, estudiem l'aprenentatge continu per a la reidentificació d'objectes (ReID). Tot i que la majoria dels mètodes d'última generació de ReID i ReID contínua usen tècniques basades en triplets softmax, vam trobar que és millor resoldre el problema de ReID des d'una perspectiva de meta-aprenentatge, ja que l'aprenentatge continu de reID es pot beneficiar molt de la seva capacitat de generalització. També vam proposar una funció de cost per destil·lació i vam trobar que l'eliminació dels parells positius abans de calcular el cost per destil·lació és crítica.

Finalment, estudiem l'aprenentatge continu per al problema del recompte. Estudiem el mètode principal basat en mapes de densitat i proposem un nou enfocament per a la destil·lació de mapes de densitat. Hem trobat que ajustar els paràmetres de les últimes capes del model del comptador és crucial per a l'aprenentatge continu del recompte d'objectes. Per millorar encara més els resultats, proposem un adaptador per adaptar l'extractor de funcions canviants per a les últimes capes del comptador fix. Una avaluació àmplia mostra que això es tradueix en un millor rendiment de l'aprenentatge continu.

El aprendizaje profundo ha progresado enormemente en la última década debido a la explosión en la medida de los datos de entrenamiento y los avances en poder computacional. A través del entrenamiento de extremo a extremo en un gran conjunto de datos, las representaciones de imágenes son más discriminatorias que las funciones hechas a mano que se usaban anteriormente. Sin embargo, para muchas aplicaciones del mundo real, el entrenamiento y evaluación en un solo conjunto de datos no son realistas, ya que la distribución y características de los datos pueden cambiar con el tiempo. El aprendizaje continuo se enfoca en explorar esta situación, donde el sistema debe adaptarse a una secuencia de tareas, cada una con una distribución diferente. Si ingenuamente continuara entrenando el modelo con una nueva tarea, el rendimiento del modelo se reduciría drásticamente para los datos aprendidos anteriormente. Este fenómeno se conoce como olvido catastrófico.

Se han propuesto muchos enfoques para abordar este problema, que se pueden dividir en tres categorías principales: enfoques basados en la regularización, enfoques basados en ensayos y enfoques basados en el aislamiento de parámetros. Sin embargo, la mayoría de los trabajos existentes se centran en tareas de clasificación de imágenes. Muchas otras tareas de visión artificial no han sido exploradas en el entorno de aprendizaje continuo. Por lo tanto, en esta tesis estudiamos el aprendizaje continuo para la generación de imágenes, la reidentificación de objetos y el recuento de objetos.

Para el problema de generación de imágenes, dado que el modelo puede generar imágenes a partir de la tarea previamente aprendida, es libre de aplicar aprender de esos datos generados sin ninguna limitación. Desarrollamos dos métodos basados en la reproducción generativa. El primero utiliza la imagen generada para el entrenamiento conjunto junto con los nuevos datos. El segundo se basa en la alineación de píxeles de salida. Evaluamos ampliamente estos métodos en varios puntos de referencia.

A continuación, estudiamos el aprendizaje continuo para la reidentificación de objetos (ReID). Aunque la mayoría de los métodos de vanguardia de ReID y ReID continuo usan una función de coste basade en tripletes softmax, descubrimos que es mejor resolver el problema de ReID desde una perspectiva de meta-aprendizaje, porque el aprendizaje continuo de reID puede beneficiarse mucho de su capacidad de generalización. También proponemos una nueva función de coste por destilación y descubrimos que la eliminación de los pares positivos antes de aplicar la función de coste es fundamental.

Finalmente, estudiamos el aprendizaje continuo para el problema de recuento de objetos. Estudiamos el método principal basado en mapas de densidad y proponemos un nuevo enfoque para la destilación de mapas de densidad. Descubrimos que ajustar los parametros de la ultima capa del modlo del contador es crucial para el aprendizaje continuo del recuento de objetos. Para mejorar aún más los resultados, proponemos un adaptador para ajustar el extractor de caracteristicas del modelo manteniendo la ultima capa fija. Mediante una evaluación exhaustiva mostramos resultados de mejora de rendimiento en aprendizaje continuo.

Deep learning has made tremendous progress in the last decade due to the explosion of training data and computational power. Through end-to-end training on a large dataset, image representations are more discriminative than the previously used hand-crafted features. However, for many real-world applications, training and testing on a single dataset is not realistic, as the test distribution may change over time. Continuous learning takes this situation into account, where the learner must adapt to a sequence of tasks, each with a different distribution. If you would naively continue training the model with a new task, the performance of the model would drop dramatically for the previously learned data. This phenomenon is known as catastrophic forgetting.

Many approaches have been proposed to address this problem, which can be divided into three main categories: regularization-based approaches, rehearsal-based approaches, and parameter isolation-based approaches. However, most of the existing works focus on image classification tasks and many other computer vision tasks have not been well-explored in the continual learning setting. Therefore, in this thesis, we study continual learning for image generation, object re-identification, and object counting.

For the image generation problem, since the model can generate images from the previously learned task, it is free to apply rehearsal without any limitation. We developed two methods based on generative replay. The first one uses the generated image for joint training together with the new data. The second one is based on output pixel-wise alignment. We extensively evaluate these methods on several benchmarks.

Next, we study continual learning for object Re-Identification (ReID). Although most state-of-the-art methods of ReID and continual ReID use softmax-triplet loss, we found that it is better to solve the ReID problem from a meta-learning perspective because continual learning of reID can benefit a lot from the generalization of meta-learning. We also propose a distillation loss and found that the removal of the positive pairs before the distillation loss is critical.

Finally, we study continual learning for the counting problem. We study the mainstream method based on density maps and propose a new approach for density map distillation. We found that fixing the counter head is crucial for the continual learning of object counting. To further improve results, we propose an adaptor to adapt the changing feature extractor for the fixed counter head. Extensive evaluation shows that this results in improved continual learning performance.