The Analysis and Continual Learning of Deep Feature Representations

Abstract

La Intel·ligència Artificial (IA) està tenint un impacte enorme en diversos camps d'aplicació, des de la conducció autònoma fins al descobriment de fàrmacs. Aquest progrés està impulsat predominantment per l'aprenentatge profund, una tecnologia el rendiment de la qual escala amb la disponibilitat de dades. A mesura que creix la demanda de grans conjunts de dades, els investigadors han desenvolupat l'aprenentatge per transferència com una estratègia alternativa per aprofitar els models preentrenats. No obstant això, l'aprenentatge per transferència s'enfronta a diversos reptes, incloent la necessitat de dades anotades extenses, la dificultat d'adaptar-se a dominis altament disjunts i la manca d'acumulació de coneixement en adaptar-se a nous dominis. L'aprenentatge continu sorgeix com un enfocament prometedor per abordar aquests problemes, permetent que els models aprenguin de distribucions de dades canviants sense oblidar el coneixement adquirit prèviament.

L'aprenentatge autosupervisat ha mostrat un èxit notable en la mitigació de problemes d'escassetat de dades en aprofitar dades no etiquetades per aprendre representacions significatives. Aquest paradigma ofereix interessants reptes i oportunitats per a l'aprenentatge continu, potencialment conduint a models més generalitzables i adaptables. Per tant, aquesta tesi explora la combinació de l'aprenentatge autosupervisat i continu. Mentre que la teoria existent de l'aprenentatge continu s'ha centrat predominantment en l'aprenentatge supervisat, nosaltres estenem la teoria de l'aprenentatge continu a escenaris no supervisats. Això permet l'aprenentatge de representacions d'alta qualitat a partir d'un flux de dades no etiquetades.

A la primera part de la tesi, introduïm un mètode que aprofita la destil·lació de característiques per combinar els paradigmes de l'aprenentatge continu i autosupervisat per permetre l'aprenentatge continu de representacions no supervisades. Després, aprofundim en el dilema d'estabilitat-plasticitat, proposant estratègies per optimitzar aquest equilibri en el context de l'aprenentatge continu no supervisat sense exemples, particularment per a escenaris que involucren nombroses tasques.

En l'àmbit dels enfocaments d'aprenentatge continu basats en prototips, trobem que la deriva de característiques és una causa principal de la disminució del rendiment. Per tant, desenvolupem una tècnica de correcció de prototips basada en un projector que mapeja entre els espais de característiques de tasques consecutives. Demostrem que el nostre mètode es pot aplicar a qualsevol mètode d'aprenentatge continu autosupervisat per crear el primer mètode d'aprenentatge continu semisupervisat sense exemples.

Finalment, explorem l'impacte de les transformacions de color en l'aprenentatge autosupervisat i introduïm un mètode de transformacion de color basat en la física. Aquesta tècnica demostra ser efectiva per a tasques on el color intrínsec de l'objecte és crucial. Millorem l'aprenentatge general de representacions combinant informació de color i forma a través de diferents modalitats d'autosupervisió.

La Inteligencia Artificial (IA) está teniendo un impacto enorme en diversos campos de aplicación, desde la conducción autónoma hasta el descubrimiento de fármacos. Este progreso está impulsado predominantemente por el aprendizaje profundo, una tecnología cuyo rendimiento escala con la disponibilidad de datos. A medida que crece la demanda de grandes conjuntos de datos, los investigadores han desarrollado el aprendizaje por transferencia como una estrategia alternativa para aprovechar los modelos preentrenados. Sin embargo, el aprendizaje por transferencia enfrenta varios desafíos, incluyendo la necesidad de datos anotados extensos, la dificultad para adaptarse a dominios altamente disyuntos y la falta de acumulación de conocimiento al adaptarse a nuevos dominios. El aprendizaje continuo surge como un enfoque prometedor para abordar estos problemas, permitiendo que los modelos aprendan de distribuciones de datos cambiantes sin olvidar el conocimiento adquirido previamente.

El aprendizaje autosupervisado ha mostrado un éxito notable en la mitigación de problemas de escasez de datos al aprovechar datos no etiquetados para aprender representaciones significativas. Este paradigma ofrece interesantes desafíos y oportunidades para el aprendizaje continuo, potencialmente conduciendo a modelos más generalizables y adaptables. Por lo tanto, esta tesis explora la combinación del aprendizaje autosupervisado y continuo. Mientras que la teoría existente del aprendizaje continuo se ha centrado predominantemente en el aprendizaje supervisado, nosotros extendemos la teoría del aprendizaje continuo a escenarios no supervisados. Esto permite el aprendizaje de representaciones de alta calidad a partir de un flujo de datos no etiquetados.

En la primera parte de la tesis, introducimos un método que aprovecha la destilación de características para combinar los paradigmas del aprendizaje continuo y autosupervisado para permitir el aprendizaje continuo de representaciones no supervisadas. Luego, profundizamos en el dilema de estabilidad-plasticidad, proponiendo estrategias para optimizar este equilibrio en el contexto del aprendizaje continuo no supervisado sin ejemplos, particularmente para escenarios que involucran numerosas tareas.

En el ámbito del aprendizaje continuo basado en prototipos, encontramos que el desplazamiendo de características es una causa principal de la disminución del rendimiento. Por lo tanto, desarrollamos una técnica de corrección de prototipos basada en un proyector que mapea entre los espacios de características de tareas consecutivas. Demostramos que nuestro método puede aplicarse a cualquier método de aprendizaje continuo autosupervisado para crear el primer método de aprendizaje continuo semisupervisado sin ejemplos.

Finalmente, exploramos el impacto de las transformaciones de color en el aprendizaje autosupervisado e introducimos un método de transformación de color basado en la física. Esta técnica demuestra ser efectiva para tareas donde el color intrínseco del objeto es crucial. Mejoramos el aprendizaje general de representaciones combinando información de color y forma a través de diferentes modalidades de autosupervisión.

Artificial Intelligence (AI) is having an enormous impact across diverse application fields, from autonomous driving to drug discovery. This progress is predominantly driven by deep learning, a technology whose performance scales with data availability. As the demand for large datasets grows, researchers have developed transfer learning as an alternative strategy to leverage pre-trained models. However, transfer learning faces several challenges, including the need for extensive annotated data, difficulty in adapting to highly disjoint domains, and the lack of knowledge accumulation when adapting to new domains. Continual learning emerges as a promising approach to address these issues, enabling models to learn from shifting data distributions without forgetting previously acquired knowledge Self-supervised learning has shown remarkable success in alleviating data scarcity issues by leveraging unlabeled data to learn meaningful representations. This paradigm offers interesting challenges and opportunities for continual learning, potentially leading to more generalizable and adaptable models. Therefore, this thesis explores the combination of self-supervised and continual learning. While existing continual learning theory has predominantly focused on supervised learning, we extend continual learning theory to unsupervised scenarios. This allows learning of high-quality representations from a stream of unlabeled data. In the first part of the thesis, we introduce a method that leverages feature distillation to combine the paradigms of continual learning and self-supervised learning to enable continual unsupervised representation learning. We then delve into the stability-plasticity dilemma, proposing strategies to optimize this trade-off in the context of exemplar-free unsupervised continual learning, particularly for scenarios involving numerous tasks. In the realm of prototype-based continual learning approaches, we find that feature drift is a primary cause of performance decline. Thus, we develop a prototype correction technique based on a projector that maps between the feature spaces of consecutive tasks. We show that our method can be applied to any self-supervised continual learning method to create the first exemplar-free, semi-supervised continual learning method. Finally, we explore the impact of color augmentations on self-supervised learning and introduce a physics-based color augmentation method. This technique proves effective for tasks where intrinsic object color is crucial. We improve overall representation learning by combining color and shape information through different self-supervision modalities.