data mining and precision simulations of Cosmic Surveys

Abstract

La generació actual de cartografiats de cosmologia requereix observacions més grans i precises que mai. Tot i que Edwin Hubble només va utilitzar 46 galàxies a partir de les mesures de Vesto Slipher fa gairebé 100 anys, els estudis actuals requereixen analitzar milions de galàxies, de vegades milers de milions. Ara no només el volum de dades és ordres de magnitud més gran, sinó que la precisió de cada mesura va haver d’augmentar en conseqüència. Com que aquest creixement ha anat augmentant exponencialment, els recents cartografiats van haver de patir un canvi de paradigma en la manera com s’analitzaven les dades. La pràctica que una sola persona analitzi les dades en un sol ordinador ja no és vàlida. Es va haver de construir un pont entre científics i enginyers per fer front al complex processament de dades. Oportunament, l’era del Big Data va arribar a temps, proporcionant les eines necessàries per superar aquesta barrera tecnològica. De la mateixa manera, les simulacions havien d’incrementar-se, amb subtils trets instrumentals que no es tenien en compte abans, models d’univers més realistes a partir d’observacions recents i algoritmes més ràpids que permeten produir grans conjunts de simulacions precises on es podrien validar requisits ajustats. En aquesta tesi explorem diferents cartografiats cosmològics, des de la terra i l’espai, explorant l’espectre de llum des dels raigs ultraviolats fins als infrarojos. Des de la banda ampla a espectroscòpia. En tots els casos s’ha adoptat un enfocament similar; una simulació d’extrem a extrem on es poden dissenyar, optimitzar i verificar nous algoritmes en aquesta nova era de la cosmologia de precisió. Detallarem els nous algoritmes i solucions tècniques en diverses àrees d’un projecte cosmològic que ens van permetre assolir els objectius científics.

La generación actual de estudios de cosmología requiere observaciones más amplias y precisas que nunca. Si bien Edwin Hubble solo usó 46 galaxias medidas de Vesto Slipher hace casi 100 años, los estudios actuales requieren analizar millones, a veces miles de millones, de galaxias. No solo el volumen de datos es ahora órdenes de magnitud mayor, sino que la precisión de cada medición ha tenido que aumentar en consecuencia. Dado que este crecimiento ha ido aumentando exponencialmente, los cartografiados recientes han tenido que sufrir un cambio de paradigma en la forma en que se analizan los datos. La práctica de que una sola persona analice los datos en una sola computadora ya no es válida. Se deben que construir puentes entre científicos e ingenieros para lidiar con el complejo procesamiento de datos. Oportunamente, la era del Big Data llegó a tiempo, aportando las herramientas necesarias para superar esta barrera tecnológica. De la misma manera, las simulaciones han tenido que intensificarse, con características instrumentales sutiles que no se tenían en cuenta antes, modelos de universo más realistas a partir de observaciones recientes y algoritmos más rápidos que permiten producir grandes conjuntos de simulaciones precisas donde se pueden validar requisitos estrictos. En esta tesis exploramos diferentes estudios cosmológicos de última generación, terrestres y espaciales, explorando el espectro de luz desde el ultravioleta al infrarrojo. De la banda ancha a la espectroscopia. En todos los casos se ha adoptado un enfoque similar; una simulación de extremo a extremo donde se pueden diseñar, optimizar y verificar nuevos algoritmos en esta nueva era de cosmología de precisión. Detallaremos los nuevos algoritmos y soluciones técnicas en diversas áreas de un proyecto cosmológico que han permitido alcanzar los objetivos científicos.

The current generation of cosmology surveys requires larger and more accurate observations than ever before. While Edwin Hubble only used 46 galaxies measured from Vesto Slipher almost 100 years ago, present studies require analyzing millions - sometimes billions - of galaxies. Not only the data volume is now many orders of magnitude larger, but the accuracy of each measurement had to increase accordingly. As this growth has been increasing exponentially, recent surveys had to suffer a paradigm shift in the way the data were analyzed. The practice of a single person analysing the data in a single computer is not valid anymore. A bridge between scientists and engineers had to be built to deal with the complex data processing. Opportunely, the era of Big Data arrived in time, providing the necessary tools to overcome this technological barrier. In the same way, simulations had to step up, with subtle instrumental features not accounted for before, more realistic universe models from recent observations and faster algorithms that allow producing large sets of precise simulations where tight requirements could be validated. In this thesis we explore different state of the art cosmological surveys, ground and space based, exploring the spectrum of light from the UV to the infrared. From broadband to spectroscopy. A similar approach has been taken in all cases; an end-to-end simulation where new algorithms can be designed, optimized and verified in this new era of precision cosmology. We will detail the new algorithms and technical solutions in various areas of a cosmic survey that allowed us to achieve the target scientific results.