Image processing algorithms as artistic tools in digital cinema

Abstract

The industry of cinema has experienced a radical change in the last decades: the transition from film cinematography to its digital format. As a consequence, several challenges have appeared, but, at the same time, many possibilities are open now for cinematographers to explore with this new medium.

In this thesis, we propose different tools that can be useful for cinematographers while doing their craft. First, we develop a tool for automatic color grading. It is a statistics-based method to automatically transfer the style from a graded image to unprocessed footage. Some advantages of the model are its simplicity and low computational cost, which make it amenable for real-time implementation, allowing cinematographers to experiment on-set with different styles and looks.

Then, a method for adding texture to footage is created. In cinema, the most commonly used texture is film grain, either directly shooting on film, or adding synthetic grain later-on at post-production stage. We propose a model of "retinal noise" which is inspired by processes in the visual system, and produces results that look natural and visually pleasing. It has parameters that allow to vary widely the resulting texture appearance, which make it an artistic tool for cinematographers. Moreover, due to the "masking" phenomenon of the visual system, the addition of this texture improves the perceived visual quality of images, resulting in bit rate and bandwidth savings. The method has been validated through psychophysical experiments in which observers, including cinema professionals, prefer it over film grain emulation alternatives from academia and the industry.

Finally, we introduce a physiology-based image quality metric, which can have several applications in the image processing field, and more specifically in the cinema and broadcasting context: video coding, image compression, etc. We study an optimization of the model parameters in order to be competitive with the state-of-the-art quality metrics. An advantage of the method is its reduced number of parameters, compared with some state-of-the-art methods based in deep-learning, which have a number of parameters several orders of magnitude larger.

La industria del cine ha experimentado un cambio radical en las últimas décadas: la transición de su soporte fílmico a la tecnología del cine digital. Como consecuencia, han aparecido algunos desafíos técnicos, pero, al mismo tiempo, infinitas nuevas posibilidades se han abierto con la utilización de este nuevo medio.

En esta tesis, se proponen diferentes herramientas que pueden ser útiles en el contexto del cine. Primero, se ha desarrollado una herramienta para aplicar \textit{color grading} de manera automática. Es un método basado en estadísticas de imágenes, que transfiere el estilo de una imagen de referencia a metraje sin procesar. Las ventajas del método son su sencillez y bajo coste computacional, que lo hacen adecuado para ser implementado a tiempo real, permitiendo que se pueda experimentar con diferentes estilos y 'looks', directamente on-set.

En segundo lugar, se ha creado un método para mejorar imágenes mediante la adición de textura. En cine, el grano de película es la textura más utilizada, ya sea porque la grabación se hace directamente sobre película, o porque ha sido añadido a posteriori en contenido grabado en formato digital. En esta tesis se propone un método de 'ruido retiniano' inspirado en procesos del sistema visual, que produce resultados naturales y visualmente agradables. El modelo cuenta con parámetros que permiten variar ampliamente la apariencia de la textura, y por tanto puede ser utilizado como una herramienta artística para cinematografía. Además, debido al fenómeno de enmascaramiento del sistema visual, al añadir esta textura se produce una mejora en la calidad percibida de las imágenes, lo que supone ahorros en ancho de banda y tasa de bits. El método ha sido validado mediante experimentos psicofísicos en los cuales ha sido elegido por encima de otros métodos que emulan grano de película, métodos procedentes de academia como de industria.

Finalmente, se describe una métrica de calidad de imágenes, basada en fenómenos fisiológicos, con aplicaciones tanto en el campo del procesamiento de imágenes, como más concretamente en el contexto del cine y la transmisión de imágenes: codificación de vídeo, compresión de imágenes, etc. Se propone la optimización de los parámetros del modelo, de manera que sea competitivo con otros métodos del estado del arte . Una ventaja de este método es su reducido número de parámetros comparado con algunos métodos basados en deep learning, que cuentan con un número varios órdenes de magnitud mayor.