Tone mapping based on natural image statistics and visual perception models

Abstract

Les tècniques d'imatge d'alt rang dinàmic (HDR) potencialment permeten la captura i l'emmagatzematge de tota la informació de llum en una escena. No obstant això, els dispositius comuns de visualització són limitats en termes de les seves capacitats de contrast i brillantor, per tant, les imatges HDR han de ser mapejades tonalment abans de presentar-les en un dispositiu de visualització per assegurar que es reprodueix l'aspecte original de l'escena. En aquesta tesi, es prenen dos enfocaments del problema de mapeig tonal. En primer lloc, es desenvolupa un marc general per a la millora de qualsevol imatge mapejada tonalment mitjançant la reducció de la distància a la corresponent imatge HDR en termes d'una mètrica perceptiva no local. La distància es redueix al mínim per mitjà d'un algoritme de descens de gradient. En segon lloc, es desenvolupa un operador de mapeig tonal (TMO) en temps real que s'adapta bé a les estadístiques d'escenes naturals, i concorda amb els nous descobriments psicofísics i dades neurofísiques. Determinem les correctes adaptacions no lineals necessàries per als nostres resultats de mapeig tonal per tal d'obtenir l'aparença òptima en diferents condicions de visualització, a través d'experiments psicofísics i desenvolupar un mètode automàtic per poder predir dades experimentals. El nostre TMO produeix resultats d'aspecte natural, sense cap tipus d'artefactes espacials o temporals. Els tests de preferència dels usuaris mostren que el nostre mètode obté millors resultats en comparació amb les tècniques més recents. El TMO és ràpid i podria ser implementat en el hardware de la càmera. Pot ser utilitzat per al monitoratge de càmeres HDR en pantalles regulars, com a substitut de la correcció gamma, i com una manera de proporcionar al colorista amb contingut que té alhora un aspecte natural i una aparença nítida i clara.

High Dynamic Range (HDR) imaging techniques potentially allow for the capture and storage of the full information of light in a scene. However, common display devices are limited in terms of their contrast and brightness capabilities, thus HDR images must be tone mapped before presentation on a display device to ensure that the original appearance of the scene is reproduced. In this thesis, we take two approaches to the tone mapping problem. First, we develop a general framework for improving any tone mapped image by reducing the distance with the corresponding HDR image in terms of a non-local perceptual metric. The distance is minimized by means of a gradient descent algorithm. Second, we develop a real-time Tone Mapping Operator (TMO) that is well suited to the statistics of natural scenes, and is in keeping with new psychophysical findings and neurophysical data. We determine the adequate non-linear adjustments needed for our tone mapping results to look best in different viewing conditions through a psychophysical experiment and develop an automatic method that can predict the experimental data. Our TMO produces results that look natural, without any spatio-temporal artifacts. User preference tests show that our method outperforms state of the art approaches. The TMO is fast and could be implemented on camera hardware. It can be used for on-set monitoring of HDR cameras on regular displays, as a substitute for gamma correction, and as a way of providing the colorist with content that is both natural looking and has a crisp and clear appearance.