Multimodal Stereo from Thermal Infrared and Visible Spectrum

Abstract

Recientes avances en im agenes t ermicas (LWIR) han permitido su uso en aplicaciones m as all a del ambito militar. Actualmente, esta nueva familia de sensor esta siendo incluida en diversas aplicaciones tanto t ecnicas como cient cas. Este tipo de sensores facilitan tareas tales como: detecci on de peatones, puntos calientes, detecci on de cambios de temperatura, entre otros. Caracter sticas que pueden mejorar signi cativamente el desempeo de un sistema, especialmente cuando hay interacci on con humanos. Por ejemplo, aplicaciones de v deo vigilancia, detecci on de peatones, an alisis de postura. En esta tesis se plantea entre otras la siguiente pregunta de investigaci on: Podr a un par de sensores operando en diferentes bandas del espectro electromagn etico, como el visible e infrarrojo t ermico, proporciona informaci on de profundidad? Si bien es una cuesti on compleja, nosotros demostramos que un sistema de estas caracter sticas es posible. Adem as, de discutir sus posibles ventajas, desventajas y oportunidades potenciales. La fusi on y correspondencia de los datos procedentes de diferentes sensores, como las emisiones registradas en la banda visible e infrarroja, representa un reto atractivo, ya que se ha demostrado que aquellas se~nales est an d ebilmente correlacionadas. Por lo tanto, muchas t ecnicas tradicionales de procesamiento de im agenes y visi on por computadora son inadecuadas, requiriendo ajustes para su correcto funcionamiento. En esta investigaci on se realizo un estudio experimental comparando diferentes funciones de costos multimodal, y t ecnicas de correspondencia, a n de construir un sistema est ereo multimodal. Tambi en, se identi c o el problema com un entre est ereo visible/ visible y infrarrojo/visible, particularmente en ambientes al aire libre. Entre las contribuciones de esta tesis se encuentra; el aislamiento de las diferentes etapas que componen un sistema est ereo multimodal. Esta arquitectura es gen erica a diferentes niveles, tanto computacional, funcional y estructural, permitiendo su extensi on a esquemas mas complejos tales como fusi on de alto nivel (sem antica) y de orden superior (supuestos). El enfoque propuesto est a destinado a explorar nuevos m etodos de correspondencia est ereo, pasando de una soluci on escasa a una densas (tanto en disparidad como en mapas de profundidad). Adem as, se ha incluido informaci on de contexto en forma de asunciones y restricciones. Finalmente, esta disertaci on muestra un promisorio camino hacia la integraci on de m ultiples sensores.

Recent advances in thermal infrared imaging (LWIR) has allowed its use in applications beyond of military domain. Nowadays, this new sensor family is included in diverse technical and scienti c applications. They o er features that facilitate tasks, such as detection of pedestrians, hot spots, di erences in temperature, among others, which can signi cantly improve the performance of a system where the persons are expected to play the principal role. For instance, video surveillance applications, monitoring, and pedestrian detection. During this dissertation is stated the next question: Could a couple of sensors measuring di erent bands of the electromagnetic spectrum, as the visible and thermal infrared, provides depth information? Although is a complex question, we shows that a system of those characteristics is possible as well as their advantages, drawbacks, and potential opportunities. The fusion and matching of data coming from di erent sensors, as the emissions registered at visible and infrared band, represents a special challenge, because it has been showed that theses signals are weak correlated. Indeed, they are uncorrelated. Therefore, many traditional techniques of image processing and computer vision are not helpful, requiring adjustments for their correct performs in every modality. In this research is performed a experimental study that compares di erent cost functions and matching approaches, in order to build a multimodal stereo system. Furthermore, are identi ed the common problem between visible/visible and infrared/visible stereo, special in the outdoor scenes. A contribution of this dissertation is the isolation achieved, between the di erent stage that compose a multimodal stereo system. Our framework summarizes the architecture of a generic stereo algorithm, at di erent levels: computational, functional, and structural, which is successful because this can be extended toward high-level fusion (semantic) and high-order (prior). The proposed framework is intended to explore novel multimodal stereo matching approaches, going from sparse to dense representation (both disparity and depth maps). Moreover, context information is added in form of priors and assumptions. Finally, this dissertation shows a promissory way toward the integration of multiple sensors for recovering three-dimensional information.