Cloud-native orchestration and automation for disaggregated networks

Abstract

(English) Transport networks are segmented by different technologies and domains, what makes difficult automated end-to-end operations and making direct human intervention needed to deploy connectivity services. On top of that, datacenter operators are achieving efficiency and cost reduction by decoupling the software from the hardware, using white-box hardware with open Application Programming Interfaces (APIs), enabling more customization and vendor competition. Still, there are no clear standard data models that describe the device capabilities, attributes, operations and notifications, as well as efficient transport protocols that provides primitives to view and manipulate the data. Moreover, the growth of demanded by users, threaten to exhaust the capacity of Wavelength Division Multiplexing (WDM) optical networks. Extending the spectrum of use can be a short term solution, but in the long term, Spatial Division Multiplexing (SDM) needs to be deployed to keep up with capacity demands. The first objective is to provide network control to multi-layer multi-domain disaggregated packet optical networks. A control architecture for partially disaggregated optical networks is presented, based on a Software Defined Networking (SDN) controller that is able to controll them. It uses an Open Line System (OLS) controller to manage the optical line, using standard interfaces, and open transponders. To alleviate part of this complexity, an architecture for the orchestration of multi-domain multi-layer, packet and optical networks is also presented. The main idea is orchestrating the packet and optical domains using an agnostic centralized orchestrator that is only responsible for domain selection of multi-domain paths, wrapping the underlying domains with SDN controllers with standardiet interfaces. The deployment of SDM links between overloaded WDM nodes is proposed to alleviate links that are reaching full capacity. The presented target architecture consists of OLS controlled domains for WDM and SDM and open transponders following the disaggregated approach. These architectures are demonstrated in real optical testbeds. The second objective is to present an architecture than can keep up with the centralization and the complexity that the SDN approach comes with. A cloud-native architecture for SDN controllers that is able to cope with the complexity and size of transport networks is presented, based on the micro-services software architecture, that allows for self-healing infrastructure, independent auto scaling of micro-services and autonomous deployment and development of each module. Then, the same micro-service architecture is updated with a solution to scale the database, replicating the micro-service. Data coherence must be kept at all times, and micro-services must be aligned so there is no data corruption or misalignment. This is done using NewSQL databases, included in the architecture. The final objective deals with an architecture that joins the data gathering, training of models, and execution, needed to feed data to support multiple operations in the zero-touch management approach. A telemetry-enabled SDN controller architecture is shown, using novel, open, low-latency, and low-overhead telemetry protocols, with a demonstration of it's scalability. The telemetry system is used to provide the deployment of SDM links between WDM nodes. The proposed architecture also allows dynamic provisioning and reconfiguration of the VNT in case of failure or changes in the requested capacity. The SDN centralization allows improved data gathering from all the segments it controls. This way, machine-learning algorithms can benefit from it, getting access to easy data to train their models. An architecture that joins the data gathering, training of the models, and execution, capable of improving multiple operations is presented and showcased with a Quality of Transmission (QoT) predictor using machine-learning.

(Español) Las redes de transporte se segmentan en diferentes tecnologías y dominios, lo que dificulta y hace necesaria la intervención humana para desplegar los servicios. Además, los operadores de centros de datos están consiguiendo mayor eficiencia y reducción de costes desacoplando el software del hardware, utilizando "white-boxes" con interfaces de programación de aplicaciones (APIs) abiertas, permitiendo una mayor personalización y competencia entre proveedores. Aún no existen modelos de datos estándar claros que describan las capacidades y atributos, ni protocolos eficientes que proporcionen primitivas para visualizar y manipular los datos. Además, el crecimiento de la demanda de los usuarios, amenaza con agotar la capacidad de las redes de multiplexación por división de longitud de onda (WDM). Ampliar el espectro de uso puede ser una solución a corto plazo, pero habrá que desplegar la multiplexación por división espacial (SDM) para mantener el ritmo de la demanda. El primer objetivo es proporcionar control a redes ópticas desagregadas de paquetes multicapa y multidominio. Se presenta una arquitectura basada en un controlador de redes definidas por software (SDN) capaz de controlarlas. Utiliza un controlador de sistemas de linia abierta (OLS) para gestionar la línea óptica abierta, utilizando interfaces estándar, y transpondedores abiertos. Para aliviar parte de esta complejidad, se presenta una arquitectura para la orquestación de redes multicapa multidominio, de paquetes y ópticas. Controla los dominios ópticos y de paquetes utilizando un orquestador centralizado agnóstico que sólo es responsable de la selección de dominios de rutas multidominio, envolviendo los dominios subyacentes con controladores SDN con interfaces estándar. El despliegue de enlaces SDM entre nodos WDM es propuesto para aliviar los enlaces WDM que están alcanzando su capacidad máxima. La arquitectura consiste en dominios controlados por OLS para WDM y SDM y transpondedores abiertos siguiendo el enfoque desagregado. Estas arquitecturas son demostradas en escenarios de pruebas reales. El segundo objetivo es presentar una arquitectura que pueda hacer frente a la centralización y la complejidad que conlleva el enfoque SDN. Se presenta una arquitectura nativa en la nube para controladores SDN que es capaz de hacer frente a la complejidad y el tamaño de las redes de transporte, basada en la arquitectura de software de microservicios, que permite la autorestauración de la infraestructura, el autoescalado independiente de los microservicios y el despliegue y desarrollo autónomos de cada módulo. Después, se actualiza la misma arquitectura de microservicio con una solución para escalar la base de datos. La coherencia de los datos debe mantenerse en todo momento, y los microservicios deben estar alineados para que no haya corrupción de datos o desalineación . El ultimo objetivo trata sobre una arquitectura que aune la recopilación de datos, el entrenamiento de los modelos, y la ejecución para obtener datos para múltiples operaciones con el enfoque zero-touch. Se muestra una arquitectura de controlador SDN habilitada para telemetría, que utiliza protocolos de telemetría abiertos, de baja latencia y de cabeceras reducidas. El sistema de telemetría se utiliza para proporcionar un el despliegue de enlaces SDM entre nodos WDM. La arquitectura propuesta también deja margen para el aprovisionamiento dinámico y la reconfiguración de la VNT en caso de fallo o cambios en la capacidad solicitada. La centralización de SDN mejora la recopilación de datos de los segmentos que controla. Los algoritmos de aprendizaje automático pueden beneficiarse de ello, accediendo a datos para entrenar sus modelos. Se presenta una arquitectura que aúna la recopilación de datos, el entrenamiento de los modelos y la ejecución capaz de mejorar múltiples operaciones, muestra con un predictor de la calidad de transmisión (QoT) mediante aprendizaje automático.