Contributions to Intelligent Transportation Systems. Big data analytics for reliable and valuable data

Abstract

La indústria del transport ha entrat en l’era del big data. Part de les dades difoses pels vehicles i la infraestructura connectats està sent explotada per Intelligent Transport Systems (ITS), aplicacions avançades en què les tecnologies de la informació i la comunicació s’apliquen en el camp de la gestió del tràfic i transport per carretera. En un futur pròxim, és probable que tots els vehicles es comuniquin entre si i amb la infraestructura circumdant, per exemple, per advertir a altres sobre incidents de trànsit o les condicions de la carretera. No obstant això, els requisits de connectivitat i anàlisi de dades per als casos d’ús previstos estan lluny d’estar coberts. Dedicated Short Range Communication (DSRC) és un estàndard basat en l’evolució de IEEE 802.11p Wi-Fi, una de les principals tecnologies que permeten el concepte de vehicle connectat. La primera part d’aquesta tesi aborda la millora de la comunicació directa entre vehicle i infraestructura mitjançant IEEE 802.11p a la capa d’adquisició de dades ITS. L’anàlisi elaborada conclou que la informació que rep la infraestructura difosa a través dels protocols estandarditzats no és prou fiable per permetre aplicacions de seguretat en els encreuaments de carreteres. Per solucionar això, es proposen nous criteris orientats a la infraestructura per adequar els paràmetres de comunicació. A més, es dissenya un nou protocol per a interseccions alineat amb els estàndards que augmenta la fiabilitat de la capa d’adquisició de dades fins al punt de permetre la implementació d’aplicacions de seguretat. A causa que la capa d’adquisició de dades produeix grans quantitats de dades, es requereix l’agregació i el processament d’aquestes a les capes superiors d’aplicació i anàlisi de dades per permetre casos d’ús més avançats. Per exemple, aplicacions crítiques que tenen el potencial impacte de reduir problemes com la seguretat viària, la contaminació, la congestió de trànsit i els costos de transport. La segona part de la tesi proposa un model generatiu basat en deep learning que es pot utilitzar de manera no supervisada per resoldre múltiples problemes dels ITS. Les dades recopilades pels ITS s’exploten i es transformen en un actiu valuós per a les aplicacions de seguretat i la presa de decisions, sense la necessitat de coneixements addicionals ni de dades etiquetades. El model permet comprimir de manera eficient les dades i pronosticar el trànsit, imputar valors que falten, seleccionar les millors dades i models per a un problema específic i detectar dades de trànsit anòmales al mateix temps. L’última part de la tesi està motivada per la creixent preocupació que genera l’eficiència de les solucions ITS i la gran quantitat de dades que s’espera processar. L’algoritme presentat permet derivar de manera automàtica i eficient la mínima arquitectura del model que proporciona la màxima compressió de la informació i manté la màxima informació útil sobre les dades de trànsit originals. D’aquesta manera, el rendiment del sistema de pronòstic de trànsit ITS posterior no es veu afectat negativament, sinó que es beneficia del fet que les dades es representen amb menys dimensions, la qual cosa és de vital importància en l’era del big data. Les bases de l’algoritme es prenen de conceptes teòrics de la Teoria de la Informació aplicats a les xarxes neuronals, anant un pas més enllà dels mètodes actualment disponibles que es basen en prova i error.

La industria del transporte ha entrado en la era del big data. Parte de los datos difundidos por los vehículos y la infraestructura conectados está siendo explotada por Intelligent Transport Systems (ITS), aplicaciones avanzadas en las que las tecnologías de la información y la comunicación se aplican en el campo de la gestión del tráfico del transporte por carretera. En un futuro próximo, es probable que todos los vehículos se comuniquen entre sí y con la infraestructura circundante, por ejemplo, para advertir a otros sobre incidentes de tráfico o las condiciones de la carretera. Sin embargo, los requisitos de conectividad y análisis de datos para los casos de uso previstos están lejos de estar cubiertos. Dedicated Short Range Communication (DSRC) es un estándar basado en la evolución de IEEE 802.11p Wi-Fi, una de las principales tecnologías que permiten el concepto de vehículo conectado. La primera parte de esta tesis aborda la mejora de la comunicación directa entre vehículo e infraestructura mediante IEEE 802.11p en la capa de adquisición de datos ITS. El análisis realizado concluye que la información que recibe la infraestructura difundida a través de los protocolos estandarizados no es lo suficientemente fiable como para permitir aplicaciones de seguridad en los cruces de carreteras. Para solucionar esto, se proponen nuevos criterios orientados a la infraestructura para adecuar los parámetros de comunicación. Además, se diseña un nuevo protocolo alineado con los estándares para intersecciones que aumenta la confiabilidad de la capa de adquisición de datos hasta el punto de permitir la implementación de aplicaciones de seguridad. Debido a que la capa de adquisición de datos produce grandes cantidades de datos, se requiere la agregación y el procesamiento de estos en las capas superiores de aplicación y análisis de datos para permitir casos de uso más avanzados. Por ejemplo, aplicaciones críticas que tienen el potencial impacto de reducir problemas como la seguridad vial, la contaminación, la congestión del tráfico y los costes de transporte. La segunda parte de la tesis propone un modelo generativo basado en deep learning que se puede utilizar de manera no supervisada para resolver múltiples problemas de los ITS. Los datos recopilados por los ITS se explotan y se transforman en un activo valioso para las aplicaciones de seguridad y la toma de decisiones, sin la necesidad de conocimientos adicionales ni de datos etiquetados. El modelo permite comprimir de manera eficiente los datos y pronosticar el tráfico, imputar valores faltantes, seleccionar los mejores datos y modelos para un problema específico y detectar datos de tráfico anómalos al mismo tiempo. La última parte de la tesis está motivada por la creciente preocupación que genera la eficiencia de las soluciones ITS y la gran cantidad de datos que se espera procesar. El algoritmo presentado permite derivar de manera automática y eficiente la mínima arquitectura del modelo que proporciona la máxima compresión de la información y mantiene la máxima información útil sobre los datos de tráfico originales. De esta manera, el rendimiento del sistema de pronóstico de tráfico ITS posterior no se ve afectado negativamente, sino que se beneficia del hecho de que los datos se representan con menos dimensiones, lo cual es de vital importancia en la era del big data. Las bases del algoritmo se toman de conceptos teóricos de la Teoría de la Información aplicados a las redes neuronales, yendo un paso más allá de los métodos actualmente disponibles que se basan en prueba y error.

Transportation industry has entered the era of big data. Part of the data disseminated by connected vehicles and infrastructure is being exploited by Intelligent Transport Systems (ITS), advanced applications in which information and communication technologies are applied in the field of road transport traffic management. In the upcoming future, all road vehicles are likely to communicate with one another and the surrounding infrastructure, for example, to warn others about traffic incidents or poor road conditions. But, the connectivity and data analytics requirements for the envisaged use cases are far from covered. Dedicated Short Range Communication (DSRC) is a higher layer standard based on the evolution of IEEE 802.11p Wi-Fi, one of the main technologies that support the first generation of vehicle-to-everything (V2X) communication. The first part of this dissertation addresses the improvement of IEEE 802.11p direct vehicular-to-infrastructure communication in the ITS data acquisition layer, which suffers from a well-known scalability problem. The analysis carried out concludes that the data dissemination of standardized protocols is not reliable enough to support safety applications that depend on ITS roadside units located in intersection areas. To solve this, novel infrastructure-oriented criteria is proposed to adapt the communication parameters and an intersection assistance protocol is designed in compliance with the standards to increase the reliability of the data acquisition layer up to the point where safety applications can be implemented. As ITS data acquisition layer produces massive amounts of data, it requires data aggregation and processing in the data analytics and application layer to enable more advanced use cases, mission-critical applications that have the potential impact to reduce problems such as road safety, pollution, traffic congestion and transportation costs. The second part of the dissertation proposes a generative deep learning model that can be used in an unsupervised manner to solve multiple ITS challenges. Big data collected by ITS is exploited and transformed to an asset for safety applications and decision-making, without the need for additional knowledge nor labeled data. The model allows to efficiently compress traffic data and forecast, impute missing values, select the best data and models for a specific problem and detect anomalous traffic data at the same time. The last part of the dissertation is motivated by the growing concern generated by the efficiency of ITS solutions and the large amount of data expected to be processed. The presented algorithm allows to automatically and efficiently derive the minimum expression architecture of the model that provides maximal compressed representations that inform about the original traffic data. In this way, the performance of the subsequent ITS traffic forecasting system is not adversely affected, but benefits from data being represented with fewer dimensions, which is vitally important in the age of big data. The basis of the algorithm is taken from theoretical concepts of Information Theory applied to neural networks, going a step beyond the current available methods that are based on trial and error.