Optical flow: related problems

dc.contributor
Universitat Pompeu Fabra. Departament de Tecnologies de la Informació i les Comunicacions
dc.contributor.author
Palomares, Roberto P.
dc.date.accessioned
2017-05-18T08:39:29Z
dc.date.available
2017-05-18T08:39:29Z
dc.date.issued
2017-04-06
dc.identifier.uri
http://hdl.handle.net/10803/403061
dc.description.abstract
Motion estimation plays a key role in many of the image processing and computer vision problems. This thesis addresses the problem of recovering a dense motion field from a scene through the Calculus of Variations. In particular, we make contributions to the problems of optical flow and scene flow estimation, as well as an application where its importance is shown. The optical flow aims to estimate the apparent motion caused by the relative movement between the observer and the scene. In the first part of the manuscript we present a new regularization term for optical flow energy functionals capable of recovering the rotations of the objects while keeping a similar behavior to the Total Variation in the rest of the movements. Then, we describe a model for binary video inpainting where the previous method is fundamental to complete the areas where the flow is unknown and to estimate the trajectories of visible objects. In the second part, we present a new minimization strategy for optical flow variational methods which is able to capture large displacements regardless of the chosen energy functional. This strategy is a two-step optimization process. It obtains a dense flow from a discrete set of correspondences which is subsequently refined in the second step. The experiments validate the contribution as a better alternative to the the multi-scale strategy since it outperforms the optical flow results for the same energy functional. The last part of this document focuses on the scene flow problem. It is defined as the estimation of the dense three-dimensional motion field of a nonrigid 3D scene. We extend the previous minimization strategy for optical flow to the scene flow context and present a decoupled energy model based on the work of Wedel et al. (2011). We present a variational model that jointly estimates the scene flow and the motion occlusions using the fact that occluded objects in the left view may be visible in the right view.
dc.description.abstract
La estimación del movimiento es una de las piezas clave para muchos de los problemas de procesamiento de imagen y visión artificial. Esta tesis aborda el problema de la estimación de campos de movimiento densos de una escena a través del Cálculo de Variaciones. En particular, realizamos contribuciones a los problemas de optical flow (flujo óptico) y scene flow (flujo de escena), as\'i como una aplicación donde se demuestra su importancia. El flujo óptico tiene como objetivo estimar el movimiento aparente causado por el movimiento relativo entre el observador y la escena. En la primera parte del manuscrito presentamos un nuevo regularizador para flujo óptico capaz de recuperar las rotaciones de los objetos manteniendo un comportamiento similar a la Variación Total en el resto de movimientos. A continuación describimos un modelo de `binary video inpainting' donde el método previo juega un papel fundamental completando las zonas ocluidas en las que el flujo es desconocido y estimando las trayectorias de los objetos visibles. En la segunda parte, presentamos una nueva estrategia de minimización para flujo óptico capaz de capturar largos desplazamientos independientemente del funcional de energía escogido. Dicha estrategia es un proceso de optimización en dos fases que a partir de un conjunto discreto de correspondencias obtiene un flujo denso posteriormente refinado en la segunda fase. Los experimentos realizados validan la contribución presentada ya que los flujos ópticos son siempre más precisos que los obtenidos con el esquema multi-escala al minimizar el mismo funcional de energía. La última parte de este documento se centra en el problema de scene flow, definido como el campo de movimiento 3D de una escena. En dicho aporte extendemos la estrategia de minimización previa para flujo óptico al contexto de secene flow. Además presentamos un modelo de energía desacoplado, basado en el propuesto por Wedel et al. (2011), que aprovecha las distintas vistas de la escena para describir explícitamente las oclusiones- obteniendo una mayor precisi\'on en las discontinuidades del campo de movimiento.
dc.format.extent
127 p.
dc.format.mimetype
application/pdf
dc.language.iso
eng
dc.publisher
Universitat Pompeu Fabra
dc.rights.license
L'accés als continguts d'aquesta tesi queda condicionat a l'acceptació de les condicions d'ús establertes per la següent llicència Creative Commons: http://creativecommons.org/licenses/by-nc-nd/4.0/
dc.rights.uri
http://creativecommons.org/licenses/by-nc-nd/4.0/
*
dc.source
TDX (Tesis Doctorals en Xarxa)
dc.subject
Optical flow
dc.subject
Scene flow
dc.subject
Regularization terms
dc.subject
Variational methods
dc.subject
Coordinate descend
dc.subject
Sparse matches
dc.subject
Total variation
dc.subject
Binary video inpainting
dc.subject
Occlusions
dc.subject
Flujo óptico
dc.subject
Flujo de escena
dc.subject
Término regularizador
dc.subject
Métodos variacionales
dc.subject
Correspondencias discretas
dc.subject
Variación total
dc.subject
Oclusiones
dc.title
Optical flow: related problems
dc.type
info:eu-repo/semantics/doctoralThesis
dc.type
info:eu-repo/semantics/publishedVersion
dc.subject.udc
62
dc.contributor.authoremail
roberto.palomares@upf.edu
dc.contributor.director
Ballester, Coloma
dc.contributor.director
Haro Ortega, Gloria
dc.embargo.terms
cap
dc.rights.accessLevel
info:eu-repo/semantics/openAccess
dc.description.degree
Programa de doctorat en Tecnologies de la Informació i les Comunicacions


Documentos

trppp.pdf

46.87Mb PDF

Este ítem aparece en la(s) siguiente(s) colección(ones)