Machine learning assisted QoT estimation for optical networks optimization

Abstract

The tremendous increase in data traffic has spurred a rapid evolution of the optical networks for a reliable, affordable, cost effective and scalable network infrastructure. To meet some of these requirements, network operators are pushing toward disaggregation. Network disaggregation focuses on decoupling the traditional monolithic optical transport hardware into independent functional blocks that interoperate. This enables a relatively free market where the network operators/owners could choose the best-in-class equipment from different vendors overcoming the vendor lock-in, at better prices. In this multi-vendor disaggregation context, the used equipment would impact the physical layer and the overall network behavior. This results in increasing the uncertainty on the performance when compared to a traditional single vendor aggregated approach. For effective optical network planning, operation and optimization, it is necessary to estimate the Quality of Transmission (QoT) of the connections. Network designers are interested in accurate and fast QoT estimation for services to be established in a future or existing network. Typically, QoT estimation is performed using a Physical Layer Model (PLM) which is included in the QoT estimation tool or Qtool. A design margin is generally included in a Qtool to account for the modeling and parameter inaccuracies, to re-assure an acceptable performance. PLM accuracy is highly important as modeling errors translate into a higher design margin which in turn translate into wasted capacity or unwanted regeneration. Recently monitoring and machine learning (ML) techniques have been proposed to account for the actual network conditions and improving the accuracy of the PLM in single vendor networks. This in turn results in more accurate QoT estimation. The first part of the thesis focuses on the ML assisted accurate QoT estimation techniques. In this regard, we developed a model that uses monitoring information from an operating network combined with supervised ML regression techniques to understand the network conditions. In particular, we model the generated penalties due to i). EDFA gain ripple effect, and ii). filter spectral shape uncertainties at ROADM nodes. Furthermore, with the aim of improving the Qtool estimation accuracy in multi-vendor networks, we propose PLM extensions. In particular, we introduce four TP vendor dependent performance factors that capture the performance variations of multi-vendor TPs. To verify the potential improvement, we studied the following two use cases with the proposed PLM, to: i) optimize the transponders (TPs) launch power; and ii) reduce design margin in incremental planning. In consequence, the last part of this thesis aims at investigating and solving the issue of accuracy limitation of Qtool in dynamic optimization tasks. To keep the models aligned to the real conditions, the digital twin (DT) concept is gaining significant attention in the research community. The DT is more than a model of the system; it includes an evolving set of data, and a means to dynamically adjust the model. Based on the DT fundamentals, we devised and implemented an iterative closed control loop process that, after several intermediate iterations of the optimization algorithm, configures the network, monitors, and retrains the Qtool. For the Qtool retraining, we adopt a ML-based nonlinear regression fitting technique. The key advantage of this novel scheme is that whilst the network operates, the Qtool parameters are retrained according to the monitored information with the adopted ML model. Hence, the Qtool tracks the projected states intermediately calculated by the algorithm. This reduces the optimization time as opposed to directly probing and monitoring the network.

Las operadoras están impulsando el concepto de desagregación de red. Dicho concepto permite desacoplar el tradicional hardware de transporte óptico dispuesto de forma monolítica en bloques funcionales independientes que interoperan entre ellos. Como resultado, esta desagregación incentiva un mercado más abierto en el cual los operadores/propietarios de la red pueden elegir los mejores dispositivos de diferentes proveedores, eliminando el conocido como bloqueo/dependencia del proveedor, a precios más competitivos. En este contexto de desagregación con múltiples fabricantes, cada equipo afecta de forma independiente. Por lo tanto, la incertidumbre aumenta al compararlo con el rendimiento obtenido mediante un modelo más tradicional basado en agregación y dependiente de un único proveedor. Para una eficiente planificación y optimización de una red óptica, es necesario estimar la Quality of Transmission (QoT) de las conexiones. Los diseñadores de redes están interesados en una estimación precisa y rápida de la QoT para los servicios que se establezcan. Normalmente, la estimación de la QoT se realiza mediante un Physical Layer Model (PLM) que se incluye en la herramienta de estimación de la QoT o Qtool. Además, se incluye unos márgenes de diseño (design margin) dentro de la herramienta Qtool. Esto permite tener en cuenta las imprecisiones de modelado y de los parámetros y de esta forma asegurar un rendimiento aceptable. La precisión del PLM es muy importante, ya que los errores de modelado se traducen en un mayor design margin que, a su vez, se traduce en una pérdida de capacidad. Recientemente, importantes logros en la definición de PLMs para redes ópticas más precisos y rápidos se han alcanzado. Estos se basan en métodos tradicionales con soluciones analíticas o numéricas. La primera parte de la tesis se centra en las técnicas de estimación precisa de QoT asistidas por machine learning (ML). Se ha desarrollado un modelo que utiliza la información de monitorización de red combinada con técnicas de regresión ML supervisadas para comprender las condiciones de la red. En particular, se han modelado las penalizaciones generadas debido a: i) el efecto de gain ripple del EDFA, y ii) las incertidumbres de la forma espectral del filtro en los nodos ROADM. Además, con el objetivo de mejorar la precisión de la estimación del Qtool en redes que incluyen elementos de diferentes fabricantes (i.e., multi-proveedor), se han propuesto unas extensiones del PLM. Se han introducido cuatro factores de rendimiento dependientes del proveedor del transponder (TP) que capturan las variaciones de rendimiento de los TP de múltiples proveedores. Para verificar la mejora potencial, se han estudiado los siguientes dos casos de uso con el PLM propuesto: i) optimizar la potencia de lanzamiento de los TPs; y ii) reducir el design margin. La última parte de esta tesis ha tenido como objetivo investigar la cuestión de la limitación de la precisión del Qtool en las tareas de optimización dinámica. Para mantener los modelos alineados con las condiciones reales, el concepto de digital twin (DT) está ganando mucha atención. El DT incluye un conjunto de datos en evolución y un medio para ajustar dinámicamente el modelo. Basándonos en los fundamentos del DT, se ha ideado e implementado un proceso iterativo de bucle cerrado de control que, tras varias iteraciones intermedias del algoritmo de optimización, configura la red, supervisa y reentrena el Qtool. Para el reentrenamiento del Qtool, se ha adoptado una técnica de ajuste de regresión no lineal basada en ML. La principal ventaja es que, mientras la red funciona, los parámetros del Qtool se reentrenan según la información monitorizada con el modelo ML adoptado. Por lo tanto, el Qtool sigue los estados proyectados de forma intermedia calculados por el algoritmo. Esto reduce el tiempo de optimización en comparación con el sondeo y la monitorización directa