High performance computing of massive Astrometry and Photometry data from Gaia

dc.contributor
Universitat de Barcelona. Departament d'Astronomia i Meteorologia
dc.contributor.author
Castañeda Pons, Javier Bernardo
dc.date.accessioned
2016-05-17T07:59:53Z
dc.date.available
2016-05-17T07:59:53Z
dc.date.issued
2015-12-15
dc.identifier.uri
http://hdl.handle.net/10803/382464
dc.description.abstract
Gaia is an extremely ambitious astrometric space mission adopted within the scientific programme of the European Space Agency (ESA) in October 2000. It aims to measure with very high accuracy the positions, motions and parallaxes of a large number of stars and galactic objects, including also for almost all the objects information about their brightness, colour, radial velocity, orbits and astrophysical parameters. Gaia requires a demanding data processing system on both data volume and processing power. The treatment of the Gaia data has been designed as an iterative process between several systems each one solving different aspects of the data reduction system. In this thesis we have addressed the design and implementation of the Intermediate Data Updating (IDU) system. IDU is the instrument calibration and astrometric data processing system more demanding in data volume and processing power of the data processing system of the Gaia satellite data. Without this system, Gaia would not be able to provide the envisaged accuracies and its presence is fundamental to get the optimum convergence of the iterative process on which all the data processing of the spacecraft is based. The design and implementation of an efficient IDU system is not a simple task and a good knowledge of the Gaia mission is fundamental. The design and implementation of IDU is not only referring to the actual design and coding of the system but also to the management and scheduling of all the related development tasks, system tests and in addition the coordination of the teams contributing to this system. The developed system is very flexible and modular so it can be easily adapted and extended to cope with the changes on the operational processing requirements. In addition, the design and implementation of IDU presents a variety of interesting challenges; covering not only the purely scientific problems that appear in any data reduction but also the technical issues for the processing of the huge amount of data that Gaia is providing. The design has also been driven by the characteristics and restrictions of the execution environment and resources -- Marenostrum supercomputer hosted by the Barcelona Supercomputing Center (BSC) (Spain). Furthermore, we have developed several tools to make the handling of the data easier; including tailored data access routines, efficient data formats and an autonomous application in charge of handling and checking the correctness of all the input data entering and produced by IDU. Finally, we have been able to test and demonstrate how all the work done in the design and implementation of IDU is more than capable of dealing with the real Gaia data processing. We have basically executed two of the IDU tasks over the first ten months of routine operational Gaia data. This execution has been the very first cyclic data processing level run over real data so far. Executing IDU at Marenostrum over that amount of data for the first time has been a challenging task and from the results obtained we are confident that the system, we have designed and that constitutes the bulk of this thesis, is ready to cope with the Gaia data according to the requirements sets. Furthermore, the presented design provides a solid IDU system foundation for the challenging task of processing the Gaia data during the forthcoming years.
eng
dc.description.abstract
Gaia es la misión espacial astrométrica más ambiciosa de la Agencia Espacial Europea (ESA). El satélite fue lanzado el 19 de Diciembre de 2013 y su objetivo principal es la determinación, con una resolución y precisión sin precedentes, de las posiciones, distancias y velocidades de más de mil millones de estrellas de nuestra galaxia. Esta Tesis se centra en el desarrollo del sistema de procesado IDU, "Intermediate Data Updating". IDU es una de las etapas de calibración instrumental y reducción de datos astrométricos más exigente del sistema de procesado del satélite Gaia. Sin este sistema, Gaia no podría alcanzar el nivel de precisión que se quiere obtener y su presencia es fundamental para lograr la convergencia óptima del sistema iterativo de procesado de datos en el que se basa la reducción de datos de Gaia. El procesado de los datos de Gaia es un gran reto tecnológico. En particular, el gran volumen de datos a procesar y el elevado número de procesos involucrados ha implicado el diseño de un sistema de distribución y procesado de datos muy complejo. Este procesado se basa en un sistema iterativo entre varios procesos en el que se añaden de manera continuada los nuevos datos recibidos del satélite. De entre estos procesos, esta tesis se centra en el diseño e implementación de IDU, donde se vuelven a procesar todos los datos brutos usando las calibraciones más recientes obtenidas del resto de procesos. El diseño e implementación de IDU ha supuesto una gran variedad de retos; incluyendo los problemas puramente científicos pero también las dificultades técnicas que aparecen en el procesado del gran volumen de datos de Gaia y la gestión de todas las tareas de desarrollo, test y coordinación de los equipos que contribuyen a este sistema. IDU se ejecuta en el supercomputador Marenostrum, gestionado por el "Barcelona Supercomputing Center" (BSC). Finalmente, esta tesis incluye los resultados de la primera ejecución operacional de IDU la cual ha servido para demostrar que el sistema desarrollado esta listo para afrontar el exigente reto de procesar los datos reales de Gaia durante los próximos años de misión.
cat
dc.format.extent
348 p.
cat
dc.format.mimetype
application/pdf
dc.language.iso
eng
cat
dc.publisher
Universitat de Barcelona
dc.rights.license
L'accés als continguts d'aquesta tesi queda condicionat a l'acceptació de les condicions d'ús establertes per la següent llicència Creative Commons: http://creativecommons.org/licenses/by-nd/3.0/es/
dc.rights.uri
http://creativecommons.org/licenses/by-nd/3.0/es/
*
dc.source
TDX (Tesis Doctorals en Xarxa)
dc.subject
Astrometria
cat
dc.subject
Astrometría
cat
dc.subject
Astrometry
cat
dc.subject
Processament de dades
cat
dc.subject
Proceso de datos
cat
dc.subject
Data processing
cat
dc.subject
Centres informàtics
cat
dc.subject
Centros de proceso de datos
cat
dc.subject
Data processing service centers
cat
dc.subject
European Space Agency
cat
dc.subject
Exploració espacial
cat
dc.subject
Exploración espacial
cat
dc.subject
Space exploration
cat
dc.subject.other
Ciències Experimentals i Matemàtiques
cat
dc.title
High performance computing of massive Astrometry and Photometry data from Gaia
cat
dc.type
info:eu-repo/semantics/doctoralThesis
dc.type
info:eu-repo/semantics/publishedVersion
dc.subject.udc
52
cat
dc.contributor.director
Fabricius, Claus
dc.contributor.director
Torra Roca, Jorge
dc.contributor.tutor
Manrique Oliva, Alberto
dc.embargo.terms
cap
cat
dc.rights.accessLevel
info:eu-repo/semantics/openAccess


Documents

JBCP_THESIS.pdf

34.95Mb PDF

This item appears in the following Collection(s)