On the majorization-minimization framework and g-convex optimization: exploiting diversity using sparse-aware and information theoretic criteria

Abstract

(English) Diversity is a well-established concept in wireless communications whose purpose is to quantify the potential robustness of a receiver when multiple independent copies of the informative signal are received. Indeed, there exists a formal definition of this concept within the context of wireless communications that takes into account its practical usage, i.e. it is defined with respect to the symbol error probability averaged over the channel statistical fluctuation. However, there is no consensus on the generalization of the previous definition to other forms of signal processing applications. For this reason and being inspired by an intuitive definition of diversity extracted from the multimodal data fusion framework, the purpose of this dissertation is to explore the concept of diversity through the lenses of Information theory, a numerical optimization framework based on the Majorization-Minimization principle and the Grassmann manifold. The motivation behind the Majorization-Minimization algorithms is that they fit perfectly to the optimization problems arising from information theoretic cost functions, while the Grassmann manifold emerges naturally in the context of sparse-aware signal processing problems that exhibit some sort of diversity. All these ideas are surveyed through three different scenarios: the multisensor fusion, the Covariance Conversion from wireless MIMO communications and the detection of correlation. All of the scenarios share the fact that the intrinsic dimension of the data is much smaller than the ambient space dimension.

In the multisensor fusion problem, we analyze the intuitive definition of diversity in a straightforward manner for three fusion policies. Firstly, the Covariance Intersection principle is reviewed to highlight its connection to the minimum error entropy criterion and the waterfilling algorithm for optimal power allocation in communications. Secondly, we derive a bounded descriptor based on the R\'enyi entropy of a sensor network contamination worst-case scenario (unbounded variance). Thanks to the aforementioned descriptor, it is possible to provide an operational interpretation to the commonly used L0 norm regularization particularized for this problem. Finally, we consider a fusion scheme that incorporates a subspace-based regression technique into the fusion operation. This proposal, which is inspired by a duality with the problem of unstructured interference mitigation in navigation receivers, is motivated by the fact that it is possible to obtain a measure of the fusion integrity when the temporal redundancy of the measurements and the intersensor covariance matrix are estimated in a joint manner.

Besides, a different kind of diversity is unveiled in the Covariance Conversion problem for Frequency Division Duplexing schemes from wireless communications. In essence, this problem consists in the estimation of the Downlink channel covariance matrix using a prior estimation of the Uplink channel covariance matrix. Particularly, we are interested in those cases where sparsity can be defined on the second-order statistics, which are found in the mmWave and ultra-wide band channels. Through a detailed analysis of this problem, we show a promising conversion algorithm founded on the Alternating Direction Method of Multipliers.

Lastly, the detection of correlation between two Gaussian vectors problem serves as a way to explore an information theoretic approach for the quantification of diversity. In fact, we transform this setting into a Mutual Information estimation problem of M parallel Gaussian channels to yield the aforementioned information theoretic measure. However, the Maximum Likelihood estimation of the Mutual Information suffers from bias when a subset of these channels provide no information. In light of this, we propose the adoption of model-order selection rules, well-known in other areas, as a means for estimating information under a bias-variance trade-off.

(Català) La diversitat és un concepte ben conegut en les comunicacions, el qual quantifica la robustesa d'un receptor quan es reben múltiples còpies independents d’un senyal informatiu. De fet, existeix una definició formal d'aquest concepte en el context de comunicacions sense fil que té en compte el seu ús pràctic, és a dir, es defineix en funció de la probabilitat d'error de símbol promitjada sobre la fluctuació estadística del canal. Tanmateix, no hi ha consens sobre la generalització de la definició anterior en altres aplicacions de processament de senyal. Per aquest motiu i inspirant-nos en una definició intuïtiva de la diversitat extreta de l’entorn de fusió de dades multimodal, l'objectiu d'aquesta tesi és explorar el concepte de diversitat des de la perspectiva de la teoria de la informació, l’optimització numèrica basada en el principi de MM i la varietat de Grassmann. La motivació dels algorismes de MM és que s'ajusten perfectament als problemes d'optimització derivats de les funcions de cost basades en mesures d’informació, mentre que la varietat de Grassmann sorgeix de manera natural en el context de problemes de processament de senyals amb esparsitat que presenten diversitat. Totes aquestes idees s'estudien a través de tres escenaris diferents: la fusió multisensor, la conversió de covariància de comunicacions MIMO sense fil i la detecció de correlació. Aquests escenaris comparteixen el fet que la dimensió intrínseca de les dades és molt més petita que la dimensió de l'espai global.

En el problema de la fusió multisensor, analitzem la definició intuïtiva de diversitat per a tres esquemes de fusió. En primer lloc, revisem el principi d'intersecció de covariància per destacar la seva connexió amb el criteri de mínima entropia i l'algorisme de “waterfilling” en comunicacions. A continuació, derivem un descriptor basat en l'entropia de Rényi del cas pitjor de contaminació en una xarxa de sensors. Gràcies al descriptor esmentat, és possible donar una interpretació a la regularització de la norma L0 amb arguments extrets de la teoria de la informació. Finalment, considerem un esquema de fusió que processa conjuntament la fusió i una tècnica de regressió basada en subespais lineals. La proposta anterior, que s'inspira en una dualitat amb el problema de la mitigació d'interferències no estructurades en receptors de navegació, està motivada pel fet que és possible obtenir una mesura de la integritat de la fusió quan la redundància temporal de les mesures i la matriu de covariància intersensor s'estimen de manera conjunta.

En segon lloc, es presenta un tipus diferent de diversitat en el problema de conversió de covariància per als esquemes de duplexació per divisió de freqüència de comunicacions. Aquest problema consisteix en l'estimació de la matriu de covariància de canal de l’enllaç de baixada mitjançant una estimació prèvia de la matriu de covariància de canal de l'enllaç de pujada. En particular, estem interessats en aquells casos en què l'esparsitat es pot definir sobre les estadístiques de segon ordre, els quals es troben als canals de “mmWave” i de banda ultra-ample. Mitjançant una anàlisi detallada d'aquest problema, mostrem un algorisme de conversió prometedor basat en el ADMM.

En darrer lloc, el problema de detecció de correlació entre dos vectors Gaussians serveix com a forma d'explorar una manera alternativa de quantificar la diversitat basada en teoria de la informació. De fet, transformem aquesta configuració en un problema d'estimació d'informació mútua de M canals Gaussians paral·lels per obtenir la mesura teòrica de la informació esmentada anteriorment. No obstant això, l'estimació de màxima versemblança de la informació mútua pateix de biaix quan un subconjunt d'aquests canals no proporcionen informació. En vista d'això, proposem l'adopció de regles de selecció de l’ordre de model, conegudes en altres àrees, com a una manera d’estimar la informació mútua sota un compromís de biaix-variància.

(Español) La diversidad es un concepto bien conocido en comunicaciones inalámbricas cuyo propósito es cuantificar la robustez potencial de un receptor cuando se reciben múltiples copias independientes de una señal. De hecho, existe una definición formal de este concepto que tiene en cuenta su uso práctico dentro del contexto de comunicaciones inalámbricas, es decir, se define con respecto a la probabilidad de error de símbolo promediada sobre la estadística del canal. Sin embargo, no existe consenso sobre la generalización de la definición para otro tipo de aplicaciones. Inspirándonos en una definición intuitiva de diversidad extraída de fusión de datos multimodal, el objetivo de esta tesis es explorar el concepto de diversidad bajo la perspectiva de la teoría de la información, la optimización numérica basada en el principio de MM y la variedad de Grassmann. La motivación detrás de los algoritmos de MM es que se ajustan perfectamente a los problemas de optimización que surgen de la teoría de la información, mientras que la variedad de Grassmann aparece naturalmente en el contexto de problemas con esparsidad que muestran diversidad. Todas estas ideas se analizan a través de tres escenarios diferentes: la fusión multisensor, la conversión de covarianza en comunicaciones inalámbricas MIMO y la detección de correlación. Estos escenarios comparten el hecho de que la dimensión intrínseca de los datos es mucho más pequeña que la dimensión del espacio global.

En el problema de fusión multisensor, analizamos la definición intuitiva de diversidad para tres esquemas de fusión. En primer lugar, revisamos el principio de Intersección de Covarianza para resaltar su conexión con el criterio de mínima entropía y el algoritmo de “waterfilling” en comunicaciones. En segundo lugar, derivamos un descriptor basado en la entropía de Rényi del peor caso de contaminación de una red de sensores. Gracias a este descriptor, es posible interpretar la regularización de norma L0 para el problema de fusión de sensores con argumentos extraídos de la teoría de la información. Finalmente, consideramos un esquema de fusión en la que se procesa conjuntamente la propia fusión de los sensores y una técnica de regresión basada en subespacios lineales. Este planteamiento, que se inspira en una dualidad con el problema de la mitigación de interferencias no estructuradas en receptores de navegación, está motivada por el hecho de que es posible obtener una medida de la integridad de la fusión cuando la redundancia temporal de las mediciones y la matriz de covarianza intersensores se estiman conjuntamente.

Por otra parte, se revela un tipo diferente de diversidad en el problema de conversión de covarianza para esquemas de duplexación por división de frecuencia en comunicaciones. Este problema consiste en la estimación de la matriz de covarianza de canal del enlace de bajada utilizando una estimación previa de la matriz de covarianza de canal del enlace de subida. Consideramos especialmente aquellos casos donde se puede definir esparsidad sobre las estadísticas de segundo orden, que ocurre en los canales “mmWave” y de banda ultra-ancha. A través de un análisis detallado de este problema, mostramos un algoritmo de conversión prometedor basado en el ADMM.

Por último, el problema de detección de correlación entre dos vectores Gaussianos sirve como una forma de explorar un enfoque basado en teoría de la información para cuantificar la diversidad. De hecho, transformamos este problema en uno de estimación de la información mutua de M canales Gaussianos paralelos para conseguir dicha medida de la diversidad. Sin embargo, la estimación de máxima verosimilitud de la información mutua sufre de sesgo cuando un subconjunto de estos canales no proporcionan información. Por este motivo, proponemos la adopción de reglas de selección de orden de modelo, bien conocidas en otras áreas, como un medio para estimar información bajo un compromiso de sesgo-varianza.