Variational methods for exemplar-based image inpainting and gradient-domain video editing

Abstract

In this thesis we tackle two problems which deal with filling-in the information in a region of an image or a video, where the data is either missing or has to be replaced. These problems have applications in the context of image and video editing. The first is image inpainting, and aims at obtaining a visually plausible completion in a region in which data is missing due to damage or occlusion. The second problem concerns the propagation of an editing performed by a user in one or two reference frames of a video, throughout the rest of the video. Both problems are of theoretical interest since their analysis involves an understanding of the self-similarity in natural images and videos. At a high level, the common theme in both problems, is the exploitation and imposition of a model of redundancy (or self-similarity) to fill-in missing parts of a signal.

En esta tesis consideramos dos problemas que tratan el completado de una imagen o un video en una región en la que los datos o bien faltan (por ejemplo porque han sido dañados) o bien tienen que ser sustituídos. Estos problemas tienen aplicación en el contexto de edición de imagen y video. El primero de estos problemas es el de inpainting de imágenes, cuyo objetivo es dar una completación plausible en la región en la que faltan datos. El segundo problema consiste en la propagación de una edición proporcionada por un usuario en un cuadro de un video, a los demás cuadros. Además de su aplicación práctica, ambos problemas son de interés teórico, ya que su análisis requiere una compresión de la estructura de auto-similitud de las imagenes y videos naturales. De hecho, a nivel conceptual ambos temas tienen en común el cómo aprovechar e imponer la redundancia de una señal para completar partes faltantes.