Affine invariant image comparison and its applications

Abstract

La comparación de imágenes es un ingrediente fundamental en muchos problemas de procesamiento de imagen y visión por computador. Esta tesis aborda el problema de la comparación de entornos locales en imágenes, o patches, por medio de medidas de similitud (o funciones distancia). En particular, estudiamos el problema de la comparación invariante afín de imágenes a partir de sus patches, lo cual abre la puerta a un análisis más profundo de la estructura de similitud y auto-similitud existente en imágenes naturales. Nuestro trabajo parte de una aproximación axiomática reciente a las medidas de similitud entre imágenes definidas en variedades de Riemann. Empezamos obteniendo y estudiando medidas de similitud afín invariantes para después construir con ellas dos nuevos métodos. El objetivo del primero de ellos es la reconstrucción o completación plausible de regiones de una imagen donde la información se ha perdido, dañado o está oculta. El modelo propuesto es capaz de reconstruir texturas con distorsión perspectiva o incluso más compleja. El segundo método extiende la aproximación denominada de Non-Local Means para el problema de eliminación de ruido en imágenes aprovechando la auto-similitud invariante afín de lasimágenes reales. Nuestra extensión es comparada con éxito con el método original, tanto cualitativa como cuantitativamente, y se obtienen resultados prometedores en comparación con los métodos del estado del arte.

Image comparison is a main ingredient in many image processing and computer vision problems and applications, and not surprisingly it is a very diverse topic. The subject of this thesis is the comparison of local patches of images by means of similarity measures (or distance functions). In particular, we are interested in affine invariant patch-wise image comparison which opens the door to a more thorough analysis of similarities and self-similarities present in natural images. Our work is based on a recently proposed axiomatic framework for similarity measures between images defined on Riemannian manifolds. At the beginning we derive and study some affine invariant similarity measures and then present two novel methods built around them. The first method for exemplar-based image inpainting is aimed at the recovery of occluded, missing or corrupted parts of an image, in such a way that the reconstructed image looks natural. It is capable of reconstructing textures under perspective or even more complex distortions. The second method extends the well-known Non-Local Means approach for image denoising by taking advantage of affine invariant self-similarities of real images. Our extension improves the original method in both quantitative and qualitative assessments, and the results are promising when compared with state-of-the-art methods.