Digital camera colour processing pipeline for high dynamic range imaging and colour stabilisation for cinema

Abstract

In this thesis we focus on two different image processing challenges: high dynamic range (HDR) image/video generation, and colour matching. In both cases, we redefine these tasks by taking into account the prior knowledge from the different processes the camera performs when capturing the image. High dynamic range techniques have recently become very popular, thanks to the emergence of HDR recording and displaying technology. We propose two different approaches for HDR creation, one for still images, and one for video creation. In case of still images, most of previous methods follow a multiple exposure combination approach. These methods share a set of building assump-tions: i) the full dynamic range of the scene can be recovered, ii) colour channels are independent, and iii) the camera response function remains constant while varying the exposure time. First, we highlight how these assumptions do not apply in general for digital cameras, and then, we propose a method to im-prove multiple exposure combination. Our results outperform state-of-the-art multiple exposure techniques.In case of HDR video, we present a simple and affordable method to gen-erate high quality video from an HDR scene. Our input is an interlaced video alternating row pairs with different ISO values, as some DSLR camera models can provide. The proposed algorithm involves two main steps: i) the compu-tation of two single-ISO full-frame images (one for each ISO value) using an inpainting-based deinterlacing method, and ii) the linear combination of the full-frame ISO’s into a single HDR frame. Finally, the results are tone-mapped into an LDR frame ready for display. Results are free of ghosting artefacts and present little noise.Colour matching approaches attempt to transfer the colours of a reference image, to another source image. In this context, we focus on colour matching two images taken from the same scene. First, we propose a method that mod-ifies logarithmic encoded images, used in cinema for HDR content, in order to behave as gamma encoded images, used in most digital cameras. Then, we ex-tend a previous approach defined just for gamma encoded images. We redefine the transformation between the two images, by considering a projective trans-form, and we estimate the method parameters in a single optimisation step. The method outperforms the state-of-the-art methods and can handle real-life examples.

En aquesta tesi ens centrem en dos problemes de processament d’imatges diferents: generació d’imatge/vídeo d’alt rang dinàmic (HDR) i coloració. En tots dos casos, redefinim aquestes tasques tenint en compte el coneixement previ dels diferents processos que realitza la càmera en capturar la imatge. Actualment, les tèniques d’alt rang dinàmic s’han tornat molt populars, gràcies a l’aparició de la tecnologia per capturar i visualitzar HDR. Proposem dos enfocaments diferents per a la creació d’HDR, un per a imatges i un altre per a la creació de video. En el cas d’imatges, la majoria de mètodes combinen múltiples exposicions. Aquests mètodes comparteixen un conjunt d’hipòtesis: i) la recuperació del rang dinàmic complet de l’escena, ii) els canals de color són independents, i iii) la funció de resposta de la càmera es manté constant mentre es varia el temps d’exposició. En primer lloc, destaquem com aquestes suposicions no s’apliquen, en general, a les càmeres digitals, i després proposem un mètode per millorar aquesta tècnica. Els nostres resultats superen l’estat de l’art. En el cas de vídeo HDR, presentem un mètode senzill i assequible per generar vídeos d’alta qualitat d’una escena HDR. El nostre input és un vídeo entrellaçat alternant parells de fileres amb diferents valors d’ISO, com alguns models de càmeres DSLR poden proporcionar. L’algorisme inclou dos passos principals: i) el càlcul de dues imatges full-frame ISO (una per a cada valor d’ISO) utilizant un mètode de desentrella¸cat basat en inpainting, ii) la combinació lineal dels ISOs full-frame en un HDR únic. Finalment, els resultats es mapegen tonalment per obtenir un LDR per mostrar per pantalla. Els resultats no tenen artefactes de ghosting i presenten poc soroll. Els mètodes d’igualació de colors intenten transferir els colors d’una imatge de referència, a una altra imatge d’origen. En aquest context, ens centrem en el cas de dues imatges capturades a la mateixa escena. En primer lloc, proposem un mètode que modifica imatges codificades logarítmicament, utilitzades en el cinema per a continguts HDR, per tal de comportar-se com imatges gamma codificades, que s’utilitzen en la majoria de les càmeres digitals. A continuació, extenem un mètode definit prèviament només per imatges gamma codificades, redefinint la transformació entre les dues imatges, considerant una transformació projectiva i estimant els paràmetres del mètode en un únic pas d’optimització. El mètode supera l’estat de l’art i pot tractar exemples de la vida real.