Several approaches to improve noise removal in photographic images

Abstract

Noise acquisition is an unavoidable component when capturing photographs, even in the case of current state of the art cameras. This problem is even accentuated when the lighting conditions are not ideal. Therefore, removing the noise present in the captured image is still an essential task in the camera image processing pipeline. In this thesis, we analyze several approaches to improve current image denoising meth- ods. First, we propose a general framework that can improve a denoising method, moti- vated by a simple principle: for any algorithm, the smaller the noise level, the higher the quality of the denoised image. Therefore, by carefully choosing an image decomposition of the noisy image into less noisy one(s) and applying the algorithm on the latter, the performance of any denoising method can increase. Second, we accentuate the importance of using a realistic noise model for testing any denoising methods, as in the usual AWG scenario the results can be extremely di erent. The noise model can be estimated on RAW images, as the camera processing pipeline alters the noise, and denoising becomes a challenge when applied on camera output. We show how a local method applied on RAW can outperform a non-local one applied on camera output, in the realistic noise scenario. Finally, in this thesis we propose a fast, local denoising method where the Euclidean curvature of the noisy image is approximated in a regularizing manner and a clean image is reconstructed from this smoothed curvature. User preference tests show that when denoising real photographs with actual noise our method produces results with the same visual quality as the more sophisticated, non-local algorithms, but at a fraction of their computational cost. These tests also highlight the limitations of objective image quality metrics like PSNR and SSIM, which correlate poorly with user preference.

L'adquisició de soroll és un component ineludible quan capturem una fotografi a, fins i tot en el cas de les càmeres d'última generació. Aquest problema s'accentua encara més quan les condicions d'illuminació no són ideals. Per tant, l'extracció del soroll que està present a la imatge capturada continua sent una tasca essencial dintre del processament d'imatges de la càmera. En aquesta tesi, analitzem diversos enfocaments per millorar els mètodes actuals d'extracció de soroll. En primer lloc, proposem un marc general que permet millorar un mètode d'extracció. Aquest marc està motivat per un principi senzill: per a qualsevol algoritme, com més petit sigui el nivell de soroll a l'imatge original, més alta serà la qualitat de la imatge de sortida. Per tant, escollint acuradament una descomposició de la imatge sorollosa en una altra amb menys soroll i aplicant l'algoritme en aquesta última, podem augmentar el rendiment de qualsevol mètode d'extracció de soroll. En segon lloc, remarquem la importància d'utilitzar un model de soroll realista per a evaluar qualsevol mètode d'extracció de soroll, ja que els resultats en imatges realistes poden divergir enormement en comparació amb l'escenari habitual de suposar AWG. Amb aquest , estimem un model de soroll en imatges RAW, ja que el processament de l'imatge dintre de la càmera altera el soroll, i l'extracció de soroll es converteix en un desa fiament al no seguir el model AWG. Mostrem que, quan suposem un model de soroll realista, un mètode local aplicat a RAW pot superar un de no-local aplicat a la sortida de la càmera. Finalment, en aquesta tesi proposem un mètode ràpid i local d'extracció de soroll on la curvatura euclidiana de la imatge sorollosa s'aproxima de manera regularitzadora i es reconstrueix una imatge neta d'aquesta curvatura suavitzada. Les proves de preferència dels usuaris mostren que el nostre mètode produeix resultats amb la mateixa qualitat visual que els algorismes més sofi sticats i no-locals, però amb una fracció del seu cost computacional. Aquestes proves també posen de relleu les limitacions de mètriques de qualitat d'imatge objectives com PSNR i SSIM, que es correlacionen malament amb la preferència dels usuaris.