On hybrid positioning using non-semantic image information

Abstract

(English) Hybrid or multi-sensor-based positioning has been a research topic actively investigated in the last decade. In this context, the possibility of using information extracted from imaging sensors, for positioning, is very appealing to mitigate the problems that GNSS or INS/GNSS-based trajectories have in terms of robustness and accuracy. On the other hand, different processing workflows, sensor positioning quality or system calibration errors, may also produce even in GNSS-friendly conditions, that multiple geospatial datasets are not properly co-registered. This thesis proposes the use of non-semantic information, this is, the use of a set of geometric entities or features, to improve the trajectory estimation in a multi-sensor-based approach. This thesis covers the mathematical modelling of non-semantic information, implements several hybrid-based trajectory estimation approaches that use this kind of information with the appropriate modelling, and also explores the use of non-semantic features to model the trajectory error modelling.

The implementation of combined models allowing to use of observations from camera or LiDAR sensors is the first contribution of this thesis. The proposed models have enabled improved trajectory determination in both urban post-processing and airborne environments with good accuracy (cm level). The implemented INS/GNSS trajectory error models are relatively simple but proved to be efficient. The combined models have been tested, in post-processing, using a bundle adjustment approach, with real data from metric cameras and aerial laser mapping systems as well as in Terrestrial Mobile Mapping systems (TMM).

The second contribution of this thesis is the characterization of trajectory errors that TMM may have in GNSS urban scenarios. The non-semantic information extracted from the images has allowed, using an integrated sensor orientation approach, to model these errors in an urban environment. This modelling opens the door to the development of new, more advanced trajectory error models that go beyond the deterministic models currently used.

The determination of trajectories in real time, in GNSS unfriendly environments, is also explored in this thesis using non-semantic features. An approach has been implemented based on a tightly coupling sequential nonlinear least squares using GNSS positions, image coordinates and raw inertial measurements. The proposed approach exploits a sliding window bundle adjustment technique to use the image coordinates of tie points and the positions and attitudes derived from the last epochs to determine the position and attitude parameters of the most recent epoch. The approach has been evaluated using both real and simulated data from a mobile mapping campaign over an urban area with long GNSS outage periods, with promising results.

This thesis also presents an approach to improve the determination of Remotely Piloted Aircraft Systems (RPAS) trajectories using open aerial data obtained in the framework of a national mapping project (PNOA). The development of this methodology is another contribution aiming to ensure the geospatial coherence between the orthophotos, and digital elevation models obtained with an RPAS and the orthophotos and digital models of the PNOA. The results, applied in the context of a multi-temporal and multi-sensor high-resolution archaeological documentation, show that photogrammetric products can be generated with a similar accuracy (cm level accuracy) to the ones generated with more complex approaches.

Last but not least, this thesis presents a seamless indoor-outdoor positioning approach with encouraging results (meter-level accuracy) in several scenarios. This contribution opens the door for enhanced tracking of members of civil protection and emergency teams. This is an open field of research with not widely accepted /adopted solution yet.

(Català) El posicionament híbrid o multisensorial ha estat un tema de recerca molt estudiat durant la darrera dècada. En aquest context, la possibilitat d'utilitzar informació extreta de sensors d'imatge per al posicionament és molt prometedora per mitigar els problemes que presenten les trajectòries basades en GNSS o INS/GNSS en termes de robustesa i precisió. D'altra banda, els diferents fluxos de treball durant el processament, la qualitat dels sensors utilitzats per al posicionament o els errors de calibratge del sistema, també poden produir, fins i tot en condicions favorables de visibilitat de satèl·lits GNSS, que múltiples conjunts de dades geoespacials no estiguin correctament co-registrats. Aquesta tesi proposa l’ús d’informació no semàntica, és a dir, l’ús d’un conjunt d’entitats o característiques geomètriques, per millorar l’estimació de la trajectòria en un enfocament multisensorial. Aquesta tesi aborda el modelatge matemàtic de la informació no semàntica, implementa diverses aproximacions híbrides per a l'estimació de trajectòria basada en aquest tipus d'informació i també explora l'ús de característiques no semàntiques per modelar l'error d'una trajectòria. La implementació de models combinats que permeten utilitzar observacions de càmeres o sensors LiDAR és la primera contribució d'aquesta tesi. Els models han permès millorar la determinació de trajectòries tant en entorns urbans, com en aerotransportats amb una bona precisió (nivell centimètric). La modelització de l’error de les trajectòries INS/GNSS implementada és relativament senzilla, però ha demostrat ser eficient. Els models combinats s'han provat, en post procés, utilitzant un ajust de xarxes, amb dades reals de càmeres mètriques i de sistemes LiDAR tant aerotransportats com embarcats en sistemes de cartografia mòbil terrestre (TMM). La segona contribució d’aquesta tesi és la caracterització dels errors de les trajectòries TMM en escenaris urbans poc propicis per al GNSS. La informació no semàntica extreta de les imatges ha permès, utilitzant una orientació integrada, modelitzar aquests errors en aquest entorn, i ha obert la porta al desenvolupament de nous models d’error més avançats. La determinació de trajectòries en temps real fent servir característiques no semàntiques, en entorns poc propicis per a GNSS, també s'explora en aquesta tesi. Per a això s'ha implementat una aproximació basada en mínims quadrats seqüencials no lineals acoblats profundament, i que utilitza posicions GNSS, coordenades d'imatge i mesures inercials. L’enfocament proposat es basa en una tècnica d’ajust de xarxes utilitzant les coordenades imatge dels punts d’enllaç i les posicions i actituds derivades de les últimes èpoques, per determinar els paràmetres de posició i actitud de l’època més recent. L’aproximació s’ha avaluat utilitzant dades reals i simulades d’una campanya de cartografia mòbil sobre una zona urbana amb llargs períodes d’interrupció del senyal GNSS, amb resultats prometedors. Aquesta tesi també presenta una aproximació per millorar la determinació de les trajectòries dels vehicles aeris no tripulats (RPAS) utilitzant dades aèries d'accés obert, obtingudes en el marc d'un projecte cartogràfic nacional (PNOA). El desenvolupament d’aquesta metodologia busca garantir la coherència geoespacial entre les ortofotos i els models digitals d’elevació obtinguts amb un RPAS i les ortofotos i els models digitals del PNOA. Els resultats, utilitzats per la documentació arqueològica multitemporal i multisensorial d'alta resolució, mostren que es poden generar productes fotogramètrics amb una precisió similar (precisió a nivell de cm) als generats amb aproximacions més complexes.

(Español) El posicionamiento híbrido o multisensorial ha sido un tema de investigación muy estudiado en la última década. En este contexto, la posibilidad de utilizar información extraída de sensores de imagen para el posicionamiento es muy prometedora para mitigar los problemas que presentan las trayectorias basadas en GNSS o INS/GNSS en términos de robustez y precisión. Por otra parte, los distintos flujos de trabajo durante el procesamiento, la calidad de los sensores utilizados o los errores de calibración del sistema, también pueden producir, incluso en condiciones favorables de visibilidad de satélites GNSS, que múltiples conjuntos de datos geoespaciales no estén correctamente co-registrados. Esta tesis propone el uso de información no semántica, es decir, el uso de un conjunto de entidades o características geométricas, para mejorar la estimación de la trayectoria en un enfoque multisensorial. Esta tesis aborda el modelado matemático de este tipo de información, implementa diversas aproximaciones híbridas para la estimación de trayectoria basada en esta información y explora su uso para modelar el error de una trayectoria. La implementación de modelos combinados que permiten utilizar observaciones de cámaras o sensores LiDAR es la primera contribución de esta tesis. Los modelos propuestos han permitido mejorar la determinación de trayectorias tanto en entornos urbanos, como en aerotransportados con buena precisión (nivel centimétrico). La modelización del error de las trayectorias INS/GNSS es relativamente sencilla, pero ha demostrado ser eficiente. Los modelos combinados se han probado, utilizando un ajuste de redes, con datos reales de cámaras métricas y de sistemas LiDAR tanto aerotransportados como en sistemas de cartografía móvil terrestre (TMM). La segunda contribución de esta tesis es la caracterización de los errores de las trayectorias TMM en escenarios urbanos poco propicios para el GNSS. La información no semántica extraída de las imágenes ha permitido, utilizando una orientación integrada, modelizar estos errores, y ha abierto la puerta al desarrollo de nuevos modelos de error más avanzados. La determinación de trayectorias en tiempo real utilizando características no semánticas, en entornos poco propicios para GNSS, también se explora en esta tesis. Para ello se ha implementado una aproximación basada en mínimos cuadrados secuenciales no lineales acoplados profundamente, utilizando posiciones GNSS, coordenadas de imagen y medidas inerciales. El enfoque propuesto se basa en una técnica de ajuste de redes que utiliza las coordenadas imagen de los puntos de enlace y las posiciones y actitudes derivadas de las últimas épocas, para estimar los parámetros de posición y actitud de la época más actual. La aproximación se ha evaluado utilizando datos reales y simulados de una campaña de TMM en una zona urbana con largos períodos de interrupción de la señal GNSS, con resultados prometedores. Esta tesis también presenta una aproximación para mejorar la determinación de las trayectorias de los vehículos aéreos no tripulados (RPAS) utilizando datos aéreos, obtenidos en el marco de un proyecto cartográfico nacional (PNOA). El desarrollo de esta metodología tiene como objetivo garantizar la coherencia geoespacial entre las ortofotos y los modelos digitales de elevación obtenidos con un RPAS y las ortofotos y modelos digitales del PNOA. Los resultados, utilizados por la documentación arqueológica multitemporal y multisensorial de alta resolución, muestran que pueden generarse productos fotogramétricos con una precisión similar (precisión a nivel de cm) a los generados con aproximaciones más complejas. Por último, esta tesis explora un método de posicionamiento continuo tanto en interior como exterior con resultados alentadores (precisión a nivel de metros) en varios escenarios. Esta contribución abre la puerta a la mejora del seguimiento de los miembros de los equipos de emergencias, un campo de investigación abierto todavía.