Optimizing edge cloud deployments for video analytics

Abstract

(English) As our digital world and physical realities blend together, we, as users, are growing to expect real-time interaction wherever and whenever we want. Newer internet services require lower latency than a data center hundreds of kilometers away can provide, while generating more data than the backhaul of the network can absorb. Consequently, resources are being moved to the edge of the network to create a new type of highly distributed cloud infrastructure: the edge cloud.

Edge cloud deployments differ from traditional cloud deployments in two crucial points that, altogether, arise new challenges. First, edge locations are constrained by the amount of resources they can host, limiting the services these locations can execute and provide. Moreover, this limitation causes service providers to have a narrower spectrum of hardware from which to choose when executing their services at a given location while increasing the heterogeneity of the infrastructure as a whole. That is, resource-constrained nodes and hardware accelerated server-grade nodes will coexist, not within the same location, but within the same network. Services must consider this heterogeneity and adapt to it transparently. Second, contrary to traditional cloud locations, user aggregation is limited in the edge, as each location serves only its designated geographical region. Consequently, service providers face the challenge of understanding the impact of considering locality, hardware heterogeneity, and the compute requirements of their workloads while designing new deployments.

Among all the services and use cases expected to be accelerated from the edge, one stands out from the rest. Video analytics is already today the main use case being deployed to the edge due to its strict latency requirements and the high amount of bandwidth it continuously generates. In fact, the edge cloud is deemed as a necessary accelerator for video analytics deployments to be feasible and cost-effective at scale. Unfortunately, video analytics is a computationally expensive task, often requiring high-end hardware acceleration to provide real-time performance to a single user. In a context in which resources become scarcer the closer they are to the edge of the network, such high computational cost easily exceeds what the infrastructure can provide unless the entire workflow is optimized. Therefore, there is a need for new techniques that can enable video analytics to be served from resource-constrained nodes without compromising the user experience, while, at the same time, being able to maximize resource utilization there where resources are scarcer.

In this context, this thesis contributes to the optimization of edge cloud deployments aimed at providing service of video analytics workloads through distributed and resource-constrained edge infrastructures. Towards this end, this thesis contributes to the state-of-the-art by (C1) characterizing video analytics workloads on an heterogeneous set of hardware platform, each mapping to a different edge location archetype; (C2) developing and presenting a novel framework to accelerate large-scale deployments by leveraging the potential of a hybrid Edge-Cloud interplay and automating the task of optimizing neural networks and specializing them to the specific deployment's context; and, finally, (C3) developing a novel method to enable video analytics workloads to be massively distributed across different edge of locations.

Together, the contributions of this thesis define the hardware requirements of a heterogeneous edge cloud (C1) and open the door to new ways to adapt, optimize (C2), and distribute (C3) video analytics workloads for the edge cloud.

(Català) A mesura que el nostre món digital i la nostra realitat física s'entremesclen, nosaltres, com a usuaris, esperem cada vegada més una interacció en temps real on i quan vulguem. Els nous serveis d'Internet requereixen una latència més baixa que la que pot oferir un centre de dades situat a centenars de quilòmetres de distància, al mateix temps que generen més dades dels que pot absorbir el backhaul de la xarxa. En conseqüència, els recursos s'estan traslladant a la vora de la xarxa per a crear un nou tipus d'infraestructura de núvol altament distribuït: el edge cloud.

Els desplegaments en el edge difereixen dels desplegaments en un cloud tradicional en dos punts crucials que, junts, plantegen nous reptes. En primer lloc, les possibles localitzacions estan restringides per la quantitat de recursos que poden albergar, la qual cosa limita els serveis que poden oferir. A més, això estreta l'espectre de plataformes entre les quals triar en dissenyar desplegaments, el que augmenta l'heterogeneïtat de la infraestructura en el seu conjunt. És a dir, coexistiran nodes amb recursos limitats al costat de potents nodes de servidor amb acceleració hardware, no dins de la mateixa ubicació, sinó de la mateixa xarxa. Els serveis han de tenir en compte aquesta heterogeneïtat i adaptar-se a ella de manera transparent. En segon lloc, a diferència de les ubicacions tradicionals en el núvol, l'agregació d'usuaris està limitada a la vora de la xarxa, ja que cada ubicació proporciona servei només a la seva regió geogràfica designada. En conseqüència, els proveïdors de serveis s'enfronten al repte de comprendre l'impacte de considerar la localitat, l'heterogeneïtat i els requisits computacionals dels seus serveis en dissenyar noves infraestructures.

Entre tots els casos d'ús que s'espera proporcionar des del edge, un destaca sobre la resta. Vídeo analytics (anàlisi automàtica de vídeo) és ja avui dia el principal cas d'ús en el edge cloud a causa dels seus estrictes requisits de latència i a la gran quantitat d'amplada de banda que genera contínuament. De fet, el edge cloud és considerat un accelerador necessari perquè vídeo analytics sigui viable a escala. Desgraciadament, l'anàlisi de vídeo és una tasca computacionalment costosa, que sovint requereix d'acceleració per hardware per a proporcionar rendiment en temps real a un únic usuari. En un context en el qual els recursos es fan més escassos com més a prop estan de la vora de la xarxa, aquest cost supera fàcilment el que la infraestructura pot suportar tret que s'optimitzi tot el flux de treball. Per això, són necessàries noves tècniques que permetin proporcionar vídeo analytics des de nodes limitats sense comprometre l'experiència d'usuari mentre es maximitza la utilització dels recursos allí on aquests són més escassos.

En aquest context, aquesta tesi contribueix a l'optimització dels desplegaments destinats a donar servei de vídeo analytics a través d'infraestructures edge distribuïdes al llarg de la xarxa i amb recursos limitats. A aquest efecte, aquesta tesi contribueix a l'estat de l'art mitjançant (C1) la caracterització de vídeo analytics en un conjunt heterogeni de plataformes hardware, cadascuna d'elles associada a un arquetip de localització edge cloud diferent; (C2) la presentació d'un framework novell que permet accelerar els desplegaments a gran escala aprofitant el potencial d'una interacció híbrida entre el edge i un cloud centralitzat en optimitzar automàticament xarxes neuronals mitjançant la seva especialització en el context específic en el qual seran desplegades; i, finalment, (C3) la proposta d'un mètode novell per a permetre que l'anàlisi de vídeo es distribueixi massivament al llarg de diferents localitzacions edge.

En conjunt, les contribucions d'aquesta tesi defineixen els requisits hardware d'un edge cloud heterogeni (C1) i obren la porta a noves maneres d'adaptar, optimitzar (C2) i distribuir (C3) les càrregues de treball de vídeo analytics en el edge cloud.