Optical flow: related problems

Abstract

Motion estimation plays a key role in many of the image processing and computer vision problems. This thesis addresses the problem of recovering a dense motion field from a scene through the Calculus of Variations. In particular, we make contributions to the problems of optical flow and scene flow estimation, as well as an application where its importance is shown. The optical flow aims to estimate the apparent motion caused by the relative movement between the observer and the scene. In the first part of the manuscript we present a new regularization term for optical flow energy functionals capable of recovering the rotations of the objects while keeping a similar behavior to the Total Variation in the rest of the movements. Then, we describe a model for binary video inpainting where the previous method is fundamental to complete the areas where the flow is unknown and to estimate the trajectories of visible objects. In the second part, we present a new minimization strategy for optical flow variational methods which is able to capture large displacements regardless of the chosen energy functional. This strategy is a two-step optimization process. It obtains a dense flow from a discrete set of correspondences which is subsequently refined in the second step. The experiments validate the contribution as a better alternative to the the multi-scale strategy since it outperforms the optical flow results for the same energy functional. The last part of this document focuses on the scene flow problem. It is defined as the estimation of the dense three-dimensional motion field of a nonrigid 3D scene. We extend the previous minimization strategy for optical flow to the scene flow context and present a decoupled energy model based on the work of Wedel et al. (2011). We present a variational model that jointly estimates the scene flow and the motion occlusions using the fact that occluded objects in the left view may be visible in the right view.

La estimación del movimiento es una de las piezas clave para muchos de los problemas de procesamiento de imagen y visión artificial. Esta tesis aborda el problema de la estimación de campos de movimiento densos de una escena a través del Cálculo de Variaciones. En particular, realizamos contribuciones a los problemas de optical flow (flujo óptico) y scene flow (flujo de escena), as\'i como una aplicación donde se demuestra su importancia.

El flujo óptico tiene como objetivo estimar el movimiento aparente causado por el movimiento relativo entre el observador y la escena. En la primera parte del manuscrito presentamos un nuevo regularizador para flujo óptico capaz de recuperar las rotaciones de los objetos manteniendo un comportamiento similar a la Variación Total en el resto de movimientos. A continuación describimos un modelo de `binary video inpainting' donde el método previo juega un papel fundamental completando las zonas ocluidas en las que el flujo es desconocido y estimando las trayectorias de los objetos visibles. En la segunda parte, presentamos una nueva estrategia de minimización para flujo óptico capaz de capturar largos desplazamientos independientemente del funcional de energía escogido. Dicha estrategia es un proceso de optimización en dos fases que a partir de un conjunto discreto de correspondencias obtiene un flujo denso posteriormente refinado en la segunda fase. Los experimentos realizados validan la contribución presentada ya que los flujos ópticos son siempre más precisos que los obtenidos con el esquema multi-escala al minimizar el mismo funcional de energía. La última parte de este documento se centra en el problema de scene flow, definido como el campo de movimiento 3D de una escena. En dicho aporte extendemos la estrategia de minimización previa para flujo óptico al contexto de secene flow. Además presentamos un modelo de energía desacoplado, basado en el propuesto por Wedel et al. (2011), que aprovecha las distintas vistas de la escena para describir explícitamente las oclusiones- obteniendo una mayor precisi\'on en las discontinuidades del campo de movimiento.