Understanding color vision: from psychophysics to computational modeling

Abstract

En aquest doctorat, hem estudiat la visió del color dels humans des de dos punts de vista diferents: la psicofísica i la modelització computacional. Primer, hem avaluat 15 "tone-mapping operators" (TMOs) diferents en dos experiments que consideren criteris diferents: el primer té en compte les relacions locals entre nivells d'intensitat i el segon avalua l'aparença global de la imatge resultant respecte l'escena física (presentades una al costat de l'altra). La conclusió és que els rankings depenen del criteri utilitzat i que no estan correlacionats. Considerant els dos criteris, els millors TMOs són el KimKautz (Kim and Kautz, 2008) i el Krawczyk (Krawczyk et al., 2005). Tot i això, s'han de definir criteris estàndards per a poder fer una comparació justa entre els diferents TMOs. Després, hem realitzat diferents experiments psicofísics per estudiar la inducció del color. Bàsicament, hem estudiat dues propietats diferents dels estímuls: la freqüència temporal i la distribució espaial de la lluminància. Per a estudiar la freqüència temporal, vam definir uns estímuls equiluminants compostos per voltants uniformes i ratllats, els quals els vam mostrar durant un flash. En els voltants uniformes, els resultats mostren que la inducció del color depèn de la duració del flash i de la cromaticitat del inductor. Tal com esperàvem, en totes les diferents condicions cromàtiques, es va induir contrast cromàtic. Per contra, en els voltants ratllats, esperàvem induir assimilació cromàtica, però vam observar contrast o no inducció. Com que estímuls ratllats similars, que no són equiluminants, indueixen assimilació del color, vam concloure que les diferències llumíniques podien ser un factor clau per a la inducció. Per tant, hem analitzat l'efecte de les diferències llumíniques en l'assimilació. Vam variar les diferències de lluminància entre la regió d'interès i els seus inductors i vam veure que l'assimilació cromàtica depèn d'aquestes diferències i de la cromaticitat del inductor. En la condició vermell-verd (quan el primer inductor és vermell i el segon és verd), l'assimilació de color es produeix en gairebé totes les condicions llumíniques. En canvi, en el cas del verd-vermell, mai s'observa assimilació del color. Les condicions lila-llima i llima-lila mostren clarament que la diferència llumínica és un factor clau per induir assimilació del color. Quan la regió d'interès és més fosca que el seu voltant, l'efecte és més fort en la condició lila-llima, mentre que quan la regió d'interès és més brillant, l'efecte és més fort en la condició llima-lila (efecte mirall). A més a més, vam avaluar si l'assimilació del color ve donada per diferències llumíniques o de brillantor. De manera similar a la condició equiluminant, no s'observa assimilació del color quan l'estímul és equibrillant. Els nostres resultats donen suport a la hipòtesis que la inhibició mútua juga un rol important en la percepció del color, o com a mínim en la inducció del color. Finalment, hem definit un nou model del processament del color (del "parvocellular pathway") a V1. Hem modelitzat dues capes diferents: les capes 4Cβ i 2/3. El nostre model és una xarxa dinàmica recurrent que considera neurones excitadores i inhibidores i les seves connexions laterals. A més, també considera les diferències laminars existents i les diferents cèl·lules que les componen. Per tant, hem modelitzat les neurones simples "single-" i "double-opponent" i les neurones complexes, les quals es consideren un conjunt de neurones simples "double-opponent". Per testejar l'arquitectura, hem utilitzat un conjunt the "drifting gratings" sinusoïdals i hem variat algunes de les seves propietats com la freqüència temporal i espaial, la seva àrea i la seva orientació. Per repoduir les observacions electrofisiològiques, vam haver de suposar l'existència d'unes neurones "double-opponent" sense selectivitat a orientació i la falta de connexions laterals entre neurones "single-opponent". A més a més, hem testejat les connexions laterals modelitzades simulant la modulació del centre i voltant. Hem observat que quan l'estímul té un alt contrast, el resultat d'aquestes connexions és inhibitori, però és facilitatori quan el contrast és baix.

In this PhD we have approached the human color vision from two different points of view: psychophysics and computational modeling. First, we have evaluated 15 different tone-mapping operators (TMOs). We have conducted two experiments that consider two different criteria: the first one evaluates the local relationships among intensity levels and the second one evaluates the global appearance of the tone-mapped images w.r.t. the physical one (presented side by side). We conclude that the rankings depend on the criterion and they are not correlated. Considering both criteria, the best TMOs are KimKautz (Kim and Kautz, 2008) and Krawczyk (Krawczyk et al., 2005). Another conclusion is that a more standardized evaluation criteria is needed to do a fair comparison among TMOs. Secondly, we have conducted several psychophysical experiments to study the color induction. We have studied two different properties of the visual stimuli: temporal frequency and luminance spatial distribution. To study the temporal frequency we defined equiluminant stimuli composed by both uniform and striped surrounds and we flashed them varying the flash duration. For uniform surrounds, the results show that color induction depends on both the flash duration and inducer's chromaticity. As expected, in all chromatic conditions color contrast was induced. In contrast, for striped surrounds, we expected to induce color assimilation, but we observed color contrast or no induction. Since similar but not equiluminant striped stimuli induce color assimilation, we concluded that luminance differences could be a key factor to induce color assimilation. Thus, in a subsequent study, we have studied the luminance differences' effect on color assimilation. We varied the luminance difference between the target region and its inducers and we observed that color assimilation depends on both this difference and the inducer's chromaticity. For red-green condition (where the first inducer is red and the second one is green), color assimilation occurs in almost all luminance conditions. Instead, for green-red condition, color assimilation never occurs. Purple-lime and lime-purple chromatic conditions show that luminance difference is a key factor to induce color assimilation. When the target is darker than its surround, color assimilation is stronger in purple-lime, while when the target is brighter, color assimilation is stronger in lime-purple ('mirroring' effect). Moreover, we evaluated whether color assimilation is due to luminance or brightness differences. Similarly to equiluminance condition, when the stimuli are equibrightness no color assimilation is induced. Our results support the hypothesis that mutual-inhibition plays a major role in color perception, or at least in color induction. Finally, we have defined a new firing rate model of color processing in the V1 parvocellular pathway. We have modeled two different layers of this cortical area: layers 4Cβ and 2/3. Our model is a recurrent dynamic computational model that considers both excitatory and inhibitory cells and their lateral connections. Moreover, it considers the existent laminar differences and the cells' variety. Thus, we have modeled both single- and double-opponent simple cells and complex cells, which are a pool of double-opponent simple cells. A set of sinusoidal drifting gratings have been used to test the architecture. In these gratings we have varied several spatial properties such as temporal and spatial frequencies, grating's area and orientation. To reproduce the electrophysiological observations, the architecture has to consider the existence of non-oriented double-opponent cells in layer 4Cβ and the lack of lateral connections between single-opponent cells. Moreover, we have tested our lateral connections simulating the center-surround modulation and we have reproduced physiological measurements where for high contrast stimulus, the result of the lateral connections is inhibitory, while it is facilitatory for low contrast stimulus.