The Encoding and decoding of complex visual stimuli : a neural model to optimize and read out a temporal population code

Abstract

The mammalian visual system has a remarkable capacity of processing a large amount of information within milliseconds under widely varying conditions into invariant representations. Recently a model of the primary visual system exploited the unique feature of dense local excitatory connectivity of the neo-cortex to match these criteria. The model rapidly generates invariant representations integrating the activity of spatially distributed modeled neurons into a so-called Temporal Population Code (TPC). In this thesis, we first investigate an issue that has persisted TPC since its introduction: to extend the concept to a biologically compatible readout stage. We propose a novel neural readout circuit based on wavelet transform that decodes the TPC over different frequency bands. We show that, in comparison with pure linear readouts used previously, the proposed system provides a robust, fast and highly compact representation of visual input. We then generalized this optimized encoding-decoding paradigm to deal with a number of robotics application in real-world tasks to investigate its robustness. Our results show that complex stimuli such as human faces, hand gestures and environmental cues can be reliably encoded by TPC which provides a powerful biologically plausible framework for real-time object recognition. In addition, our results suggest that the representation of sensory input can be built into a spatial-temporal code interpreted and parsed in series of wavelet like components by higher visual areas.

El sistema visual dels mamífers té una remarcable capacitat per processar informació en intervals de temps de mili-segons sota condicions molt variables i adquirir representacions invariants d'aquesta informació. Recentment un model del còrtex primari visual explota les característiques d'alta connectivitat excitatriu local del neocortex per modelar aquestes capacitats. El model integra ràpidament l'activitat repartida espaialment de les neurones i genera codificacions invariants que s'anomenen Temporal Population Codes (TPC). Aquí investiguem una qüestió que ha persistit des de la introducció del TPC: estudiar un procés biològicament possible capaç de fer la lectura d'aquestes codificacions. Nosaltres proposem un nou circuit neuronal de lectura basat en la Wavelet Transform que decodifica la senyal TPC en diferents intervals de freqüència. Monstrem que, comparat amb lectures purament lineals utilitzades previament, el sistema proposat proporciona una representació robusta, ràpida i compacta de l'entrada visual. També presentem una generalització d'aquest paradigma de codificació-decodificació optimitzat que apliquem a diferents tasques de visió per computador i a la visió dins del context de la robòtica. Els resultats del nostre estudi suggereixen que la representació d'escenes visuals complexes, com cares humanes, gestos amb les mans i senyals del medi ambient podrien ser codificades pel TPC el qual es pot considerar un poderós marc biològic per reconeixement d'objectes en temps real. A més a més, els nostres resultats suggereixen que la representació de l'entrada sensorial pot ser integrada en un codi espai-temporal interpretat i analitzat en una serie de components Wavelet per àrees visuals superiors.