Proposal and evaluation of connectivity solutions for beyond 5G radio access networks

Abstract

(English) In the context of the fifth generation (5G) of mobile communications, the number of connected devices is expected to increase substantially compared to previous systems (e.g., LTE). Similarly, more stringent user requirements in terms of quality of service (QoS) are anticipated, beyond high data rates (e.g., latency, reliability, etc.). Providing these services adequately represents a challenge for mobile network operators in terms of network deployment and operation. Therefore, adopting strategies to ensure adequate connectivity conditions is critical for mobile network operators to successfully provide 5G and future (6G) services. In recent years, artificial intelligence (AI) has revolutionized mobile network design, deployment and management processes, thus driving the development of innovative solutions, sustained also on other technological advances such as software-defined networking (SDN), network functions virtualization (NFV). In fact, the impact of these technological tools is not limited to 5G systems, but will also extend to future generations such as 6G. In this context, this thesis addresses the challenge of proposing, developing and evaluating solutions at the Radio Access Network (RAN) level with the objective of ensuring optimal connectivity conditions and thus satisfying the QoS requirements of network users. Various techniques are used to achieve this goal, with special emphasis on the use of AI techniques. Firstly, the thesis presents a model to optimize Multi-connectivity (MC) in heterogeneous networks. MC is a key technology for managing high traffic densities and meeting stringent QoS requirements. Performing effective multi-connectivity management is challenging due to various factors such as propagation conditions, interference, loads of various cells, QoS metrics, etc. To address these challenges, the thesis presents a novel algorithm designed to dynamically split User Equipment (UE) traffic between different RATs and cells. The algorithm aims to satisfy QoS requirements while minimizing radio resource consumption in order to minimize the possibility of congestion in the involved cells. The proposed solution is based on the Deep Q-Network (DQN) algorithm. Through a training phase, the model learns an optimal traffic splitting policy to be applied to each UE. The policy adapts to the current conditions of both the UE and the network. This adaptive approach improves network performance by increasing user throughput while mitigating the risk of having cell congestion. Deepening into the problem of ensuring adequate network coverage and as a second contribution, the thesis presents a methodology for coverage optimization in 5G systems. This methodology is based on two main tasks: detection and resolution of coverage holes. It is introduced a Machine Learning based model capable of detecting and characterizing coverage holes by analyzing real network traffic data. A coverage hole becomes significant for network performance when there is a persistent presence of users in its region, as this is reflected in a degradation of both user experience and overall network performance. As a solution to the coverage holes, the thesis considers the integration of relays in order to extend network coverage; the solution comprises both fixed and mobile relays (i.e., UEs acting as relays). The solution based on fixed relays focuses on a functionality to mitigate coverage holes by strategically placing relays in order to improve network availability. On the other hand, it is proposed a solution to extend coverage based on Relay UEs (RUEs). To achieve this effectively, a DRL algorithm is proposed for the intelligent activation or deactivation of the RUEs. Overall, the proposed coverage optimization methodology has demonstrated its feasibility, leading to improved network and user performance.

(Català) En el context de la cinquena generació de les comunicacions mòbils 5G, s'espera que el nombre de dispositius connectats augmenti substancialment en comparació dels sistemes anteriors. De la mateixa manera, es preveuen requisits més estrictes per part dels usuaris en termes de qualitat del servei (QoS), més enllà de només altes velocitats de dades (per exemple, latència, fiabilitat, etc.). La prestació adequada daquests serveis representa un repte per als operadors de xarxes mòbils en termes de desplegament i operació de la xarxa. Per tant, l‟adopció d‟estratègies que garanteixin unes condicions de connectivitat adequades és fonamental perquè els operadors de xarxes mòbils puguin prestar amb èxit serveis 5G i futurs. La IA ha revolucionat els processos de disseny, desplegament i gestió de xarxes mòbils, impulsant així el desenvolupament de solucions innovadores, sustentades també en altres avenços tecnològics com les xarxes definides per programari (SDN), la virtualització de funcions de xarxa (NFV). De fet, l‟impacte d‟aquestes eines tecnològiques no es limita als sistemes 5G, sinó que s‟estendrà també a futures generacions com la 6G. En aquest context, aquesta tesi aborda el repte de proposar, desenvolupar i avaluar solucions a nivell de xarxa d'accés ràdio (RAN) amb l'objectiu de garantir unes condicions òptimes de connectivitat i satisfer així els requisits de QoS dels usuaris de la xarxa. Per assolir aquest objectiu s'utilitzen diverses tècniques, amb un èmfasi especial en l'ús de tècniques d'IA. La tesi presenta un model per optimitzar la multiconnectivitat (MC) en xarxes heterogènies. La MC és clau per gestionar altes densitats de trànsit i complir estrictes requisits de qualitat de servei. Dur a terme una gestió eficaç de la multiconnectivitat suposa un repte a causa de diversos factors com les condicions de propagació, les interferències, les càrregues de les diferents cel·les, les mètriques de QoS, etc. La tesi presenta un algorisme dissenyat per dividir dinàmicament el trànsit dels equips d'usuari (UE) entre diferents RAT i cel·les. L'algorisme pretén satisfer els requisits de QoS alhora que minimitza el consum de recursos radioelèctrics per tal de minimitzar la possibilitat de congestió a les cel·les implicades. La solució es basa en l'algorisme DQN. A través d'una fase d'entrenament, el model aprèn una òptima política de divisió del trànsit per aplicar-la a cada UE. La política s'adapta a les condicions de l'equip i de la xarxa. Aquest enfocament adaptatiu millora el rendiment de la xarxa en augmentar el rendiment dels usuaris i mitigar el risc de congestió de les cèl·lules. Aprofundint en el problema d'assegurar una cobertura adequada i com a segona contribució, la tesi presenta una metodologia per a l'optimització de la cobertura. Aquesta metodologia es basa en dues tasques principals: detecció i resolució de forats de cobertura. La tesi proposa un model basat en Machine Learning capaç de detectar i caracteritzar forats de cobertura mitjançant lanàlisi de dades reals de trànsit de xarxa. Un forat de cobertura esdevé significatiu per al rendiment de la xarxa quan hi ha una presència persistent d'usuaris a la vostra regió, ja que això es reflecteix en una degradació tant de l'experiència de l'usuari com del rendiment de la xarxa. Com a solució, la tesi considera la integració de relays tant relays fixos com mòbils (és a dir, UEs que actuen com a relays). La solució basada en relays fixos se centra en una funcionalitat per mitigar els forats de cobertura mitjançant la col·locació estratègica de relays per tal de millorar la disponibilitat de la xarxa. D'altra banda, es proposa una solució per ampliar la cobertura basada en utilitzar UEs com a relays. Per aconseguir-ho de forma efectiva, es proposa un algorisme DRL per a l'activació o la desactivació intel·ligent dels RUEs. La metodologia d'optimització de la cobertura proposada ha demostrat la seva viabilitat, fet que es tradueix en una millora del rendiment tant de la xarxa i dels usuaris.

(Español) En el contexto de la quinta generación de comunicaciones móviles (5G), el número de dispositivos conectados a las redes ha aumentado sustancialmente en comparación con los sistemas anteriores (por ejemplo, LTE). Del mismo modo, los requisitos de los usuarios en cuanto a calidad del servicio (QoS) también han aumentado significativamente. Más allá de la mera entrega de altas velocidades de datos, la tecnología 5G considera escenarios y aplicaciones con diferentes requisitos en términos de latencia, fiabilidad, velocidad de datos, etc. Prestar estos servicios adecuadamente representa un reto para los operadores de redes móviles en términos de operación y despliegue de sus redes. En una red móvil, la cobertura es uno de los aspectos más importantes, ya que de esta depende en gran manera su rendimiento, así como el de los usuarios. Sin embargo, diversos factores, como puede ser una planificación subóptima, pérdidas de penetración, obstrucciones físicas, etc., hacen que las redes móviles sean susceptibles de sufrir problemas de cobertura. Garantizar una cobertura adecuada es fundamental a fin cumplir los estrictos requisitos de los servicios relacionados con 5G y servicios futuros (6G), de manera que los operadores de red han de adoptar estrategias que garanticen una cobertura óptima. En general, los operadores deben garantizar condiciones óptimas de conectividad para los usuarios de la red, para esto, han de implementar diversas estrategias, como, por ejemplo, la optimización de la cobertura, la gestión de la capacidad de la red, la actualización del layout de la red, hacer una gestión eficaz de los recursos radio, etc. De este modo, los operadores pueden garantizar los requisitos de calidad de servicio demandados por los usuarios de la red. En los últimos años, la inteligencia artificial (IA) ha revolucionado los procesos de diseño, despliegue y gestión de redes móviles, impulsando así el desarrollo de soluciones innovadoras, sustentadas también en otros avances tecnológicos como las redes definidas por software (SDN), la virtualización de funciones de red (NFV). De hecho, el impacto de estas herramientas tecnológicas no se limita a los sistemas 5G, sino que se extenderá también a futuras generaciones como la 6G. En este contexto, esta tesis aborda el reto de proponer, desarrollar y evaluar soluciones a nivel RAN con el objetivo de garantizar unas condiciones óptimas de conectividad y satisfacer así los requisitos de QoS de los usuarios de la red. Para lograr este objetivo se utilizan diversas técnicas, con especial énfasis en el uso de técnicas de IA. En primer lugar, la tesis presenta un modelo para optimizar la Multiconectividad en redes heterogéneas. La multiconectividad es una tecnología clave para gestionar elevadas densidades de tráfico y cumplir estrictos requisitos de QoS. La multiconectividad permite a los usuarios acceder simultáneamente a la red a través de múltiples nodos RAN, incluidos los eNodeB de LTE (eNB) y los gNodeB de 5G NR (gNB). Sin embargo, realizar una gestión eficaz de la multiconectividad supone un reto debido a diversos factores como las condiciones de propagación, las interferencias en los enlaces de los UE con diferentes celdas/RAT, las cargas de las diversas celdas existentes, las métricas de QoS, etc. Para hacer frente a estos retos, la tesis presenta un novedoso algoritmo diseñado para dividir dinámicamente el tráfico de UE entre diferentes RATs y celdas. El algoritmo tiene como objetivo satisfacer los requisitos de QoS al mismo tiempo que se minimiza el consumo de recursos de radio a fin de minimizar la probabilidad de congestión en las celdas involucradas. La solución propuesta se basa en IA, concretamente en Deep Reinforcement Learning por medio del algoritmo Deep Q-Network (DQN). Mediante una fase de entrenamiento, el modelo aprende una política óptima de división del tráfico para aplicarla a cada UE. La política se adapta a las condiciones actuales tanto del UE como de la red. Este enfoque adaptativo mejora el rendimiento de la red al aumentar el throughput de los usuarios al mismo tiempo que minimiza la probabilidad de congestión de las celdas. Profundizando en el problema de asegurar una adecuada cobertura de red y como segunda contribución, la tesis presenta una metodología para la optimización de la cobertura en sistemas 5G. Esta metodología se basa en dos tareas principales: detección y resolución de huecos de cobertura. Para ello, la tesis introduce un modelo basado en Machine Learning capaz de detectar y caracterizar huecos de cobertura mediante el análisis de datos reales de tráfico de red. Un hueco de cobertura se vuelve significativo para el rendimiento de la red cuando hay una presencia persistente de usuarios en su región, ya que esto se refleja en una degradación tanto de la experiencia del usuario como del rendimiento global de la red. El modelo propuesto tiene en cuenta el número de usuarios para identificar los huecos que hay que resolver para mejorar el rendimiento global de la red. Por último, como solución a los huecos de cobertura, la tesis considera la integración de relays para ampliar la cobertura de la red; la solución comprende tanto relays fijos como móviles (es decir, equipos de usuario que actúan como relays). La solución basada en relays fijos se centra en una funcionalidad para mitigar los huecos de cobertura mediante la colocación estratégica de relays con el fin de mejorar la disponibilidad de la red. Por otro lado, dada la disponibilidad actual y futura de UEs con potentes capacidades de comunicación y computación, las comunicaciones dispositivo a dispositivo (D2D) emergen como una alternativa viable para abordar los problemas de cobertura. En este sentido, se propone una solución para ampliar la cobertura basada en Relay UEs (RUEs). Para conseguirlo de forma efectiva, se propone un algoritmo basado en DQN para la activación o desactivación inteligente de los RUEs. Mediante un proceso de entrenamiento, el algoritmo aprende a activar y desactivar los RUEs estratégicamente, proporcionando cobertura sólo cuando es necesario, evitando así activaciones innecesarias que pueden representar un consumo excesivo de energía. En general, la metodología de optimización de la cobertura propuesta ha demostrado su viabilidad, lo que ha permitido mejorar el rendimiento tanto de usuarios como de la red.