Hierarchical control of the Atlas experiment.

Abstract

Hierarchical Control of the ATLAS experiment<br/>Àlex Barriuso Poy<br/>Els sistemes de control emprats en nous experiments de física d'altes energies són cada dia més complexos a conseqüència de la mida, volum d'informació i complexitat inherent a la instrumentació del detectors. En concret, aquest fet resulta visible en el cas de l'experiment ATLAS (A Toroidal LHC ApparatuS) situat dins del nou accelerador de partícules LHC (Large Hadron Collider) al CERN. ATLAS és el detector de partícules més gran mai construït fruit d'una col·laboració internacional on participen més de 150 instituts i laboratoris d'arreu del món. L'experiment estudia col·lisions protó-protó i, seguint l'estructura clàssica d'un detector de partícules, es composa d'una sèrie de sub-detectors especialitzats i d'un sistema d'imants superconductors que confereixen camp magnètic a l'experiment.<br/>Concernent l'operació de ATLAS, existeixen dos sistemes integradors principals. Per una banda, el sistema DAQ (Data AdQuisition) realitza l'adquisició de dades per els conseqüents estudis de física. Per altra banda, el DCS (Detector Control System) s'encarrega d' assegurar la coherent operació de tot l'experiment. Tot i ser dos sistemes independents, ambdós es complementen. Mentre un gestiona les dades utilitzades per als consegüents estudis de física, l'altre gestiona tota la infrastructura relacionada amb l'estat operacional del detector assegurant així la correcta extracció de informació.<br/>El DCS, principal argument d'aquesta tesi, supervisa tot el hardware dins al complex de l'experiment incloent tots els serveis dels sub-detectors (ex. alta i baixa tensió, refrigeració, etc.) i la infrastructura general de l'experiment (ex. condicions ambientals). El DCS també és la interfície amb els sistemes externs a l'experiment com per exemple els serveis tècnics CERN (ex. ventilació o electricitat) o, encara més crucial, amb l'accelerador LHC o el DAQ de ATLAS. En total, al voltant de 200.000 canals d'informació seran supervisats en tot moment per el DCS.<br/>Un dels principals problemes existents en anteriors experiments era la manca d'estandardització en moltes àrees. Per exemple, degut a l'escenari tècnic de l'època, els sistemes de control a l'era LEP (1989-2000) utilitzaven diferents llenguatges de programació, diferents protocols de comunicació i hardware 'fet a mida'. Com a conseqüència, el desenvolupament i manteniment del DCS era en molts casos una tasca difícil. Amb la intenció de solventar els problemes del passat, el projecte JCOP va ser creat al CERN a finals de 1997. Els diferents sub-detectors de ATLAS (així com dels 3 altres principals experiments del LHC) estan composats de múltiples equips de persones treballant en paral·lel. L'objectiu principal del JCOP és treballar en comú per reduir duplicitat i, al mateix temps, facilitar la integració i futur manteniment dels experiments. D'aquesta manera, components sovint utilitzats per al control de plantes industrials com PLCs, 'fieldbuses', el protocol OPC o SCADA han estat instaurats i són utilitzats amb èxit als experiments. Al mateix temps, el JCOP combina els productes comercials existents amb elements hardware i software específicament creats per al seu ús dins el món del control d'experiments de física d'altes energies. Aquest és el cas del software anomenat FSM (Finite State Machine).<br/>El modelatge i integració dels molts dispositius distribuïts que coexisteixen al DCS es realitza utilitzant la FSM. D'aquesta manera, el control s'estableix mitjançant entitats software distribuïdes, autònomes i cooperatives que són organitzades jeràrquicament i segueixen una lògica de màquines finites d'estats. L'eina FSM combina dues tecnologies principals: SMI++ (State Manager Interface toolkit) i un producte SCADA comercial. SMI++ (escrit en C++) ja ha estat utilitzat amb èxit en dos experiments de física d'altes energies anteriors a ATLAS proveint la següent funcionalitat: un llenguatge orientat a objectes, una lògica de màquina finita d'estats, un sistema expert basat en regles, i un protocol de comunicació independent de la plataforma utilitzada. Aquesta funcionalitat s'aplica doncs a tots els nivells d'operació/abstracció de l'experiment (ex. des d'una vàlvula d'un sistema de refrigeració fins a tot ATLAS). Així i, basant-se en regles establertes i acurades inter-connexions que organitzen els objectes jeràrquicament, s'assoleix l'automatització global de l'experiment.<br/>Aquesta tesi presenta la integració del ATLAS DCS dins una jerarquia de control seguint la segmentació natural de l'experiment en sub-detectors i sub-sistemes. La integració final dels molts sistemes que formen el DCS a ATLAS inclou tasques com: l'organització del software de control, la identificació de models dels processos, l'automatització de processos, la detecció d'errors, la sincronització amb DAQ, i la interfície amb l'usuari.<br/>Tot i que l'experiència adquirida al passat amb la utilització de SMI++ és bon punt de partença per al disseny de la jerarquia de control de ATLAS, nous requisits han aparegut degut a la complexitat i mida de l'experiment. Així, l'escalabilitat de l'eina ha estat estudiada per afrontar el fet de què la jerarquia de control final a ATLAS serà centenars de cops més gran que cap dels dos antecedents existents. Una solució comú per a tots els sistemes que formen el DCS ha estat creada amb el principal objectiu d'assolir una certa homogeneïtat entre les diferents parts. Així, una arquitectura basada en 3 nivells funcionals organitza els sistemes pertanyents als 12 sub-detectors de l'experiment. Seguint aquesta arquitectura, les diferents funcions i parts del DCS han estat modelades amb una 'granularitat' similar entre sub-detectors, la qual cosa, ens ha portat a l'obtenció de jerarquies de control isomorfes.<br/>La detecció, monitorització i diagnòstic d'errors és una part essencial per l'operació i coordinació de tasques de qualsevol experiment de física d'altes energies o planta industrial. La presència d'errors al sistema distorsiona l'operació i pot invalidar els càlculs realitzats per a la recerca de física. Per aquest motiu, una estratègia estàndard i una interfície estàndard amb l'usuari han estat definides donant èmfasi a la ràpida detecció, monitorització i diagnòstic dels errors basant-se en un mecanisme dinàmic de tractament d'errors. Aquests nou mecanisme es basa en la creació de dos camins de comunicació (o jerarquies paral·leles) que, al mateix temps que tracten els errors, donen una descripció més clara de les condicions d'operació de l'experiment. Així, un dels camins de comunicació està poblat per objectes dedicats a la detecció i anàlisi dels errors, mentre a l'altre, els objectes comanden l'operació de l'experiment. Aquests dos camins paral·lels cooperen i contenen la lògica que descriu l'automatització de processos al DCS. Així, els diferents objectes segueixen unes màquines finites de estats preestablertes per ATLAS que faciliten la comprensió i futur desenvolupament del DCS. A més, el fet de què l'estratègia proposada agrupi i resumi els errors d'una forma jeràrquica, facilita notablement l'anàlisi d'aquests errors en un sistema de la mida d'ATLAS. L'estratègia proposada, modular i distribuïda, ha estat validada mitjançant nombrosos tests. El resultat ha estat una substancial millora en la funcionalitat mantenint, al mateix temps, una<br/>correcta gestió dels recursos existents. Aquesta estratègia ha estat implementada amb èxit i constitueix l'estàndard emprat a ATLAS per a la creació de la jerarquia de control.<br/>Durant l'operació de l'experiment, el DCS s'ha de sincronitzar amb els sistema DAQ a càrrec del procés de presa de dades per als conseqüents estudis de física. L'automatització de processos d'ambdós sistemes, DAQ i DCS, segueixen una lògica similar basada en una jerarquia de màquines finites d'estats (similituds i diferències han estat identificades i presentades). Tot i això, la interacció entre els dos principals sistemes integradors de ATLAS ha estat fins el moment limitada, però aproximant-se a l'inici d'operacions, esdevé cada dia més important. Així, un mecanisme de sincronització que estableix connexions entre els diferents segments dels sistema DAQ i la jerarquia de control del DCS ha estat desenvolupat. La solució adoptada insereix automàticament objectes SMI++ dins la jerarquia de control del DCS. Aquests objectes permeten a les aplicacions del DAQ comandar diferents seccions del DCS d'una forma independent i transparent. Al mateix temps, el mecanisme no permet prendre dades per física quan una part del detector funciona d'una forma incorrecta evitant així l'extracció d'informació corrupta mentre l'experiment torna a un estat segur. Un prototip que assoleix la sincronització dels dos sistemes ha estat implementat i validat, i ja està llest per a ésser utilitzat durant la integració dels sub-detectors.<br/>Finalment, la interfície situada a la sala de control entre el DCS i l'usuari ha estat implementada. D'aquesta manera, es completa la integració de les diferents parts del DCS. Els principals reptes solventats durant les fases de disseny i desenvolupament de la interfície han estat: permetre a l'operador controlar un procés de la mida de ATLAS, permetre la integració i manteniment dels molts diferents 'displays' d'operador que pertanyen als diferents sub-detectors i, donar la possibilitat a l'operador de navegar ràpidament entre les diferents parts del DCS. Aquestes qüestions han estat solventades combinant la funcionalitat del sistema SCADA amb la eina FSM. La jerarquia de control es utilitzada per la interfície per estructurar d'una forma intuïtiva els diferent 'displays' que formen el DCS. Llavors, tenint en compte que cada node de la jerarquia representa una porció susceptible de ser controlada independentment, hem assignat a cada node un 'display' que conté la informació del seu nivell d'abstracció dins la jerarquia. Tota la funcionalitat representada dins la jerarquia de control és accessible dins els 'displays' SCADA mitjançant dispositius gràfics especialment implementats. Utilitzant aquest dispositius gràfics, per una banda possibilitem que els diferents 'displays' s'assimilin en la seva forma, i així, facilitem la comprensió i utilització de la interfície per part del usuari. Per altra banda, els estats, transicions i accions que han estat definits per els objectes SMI++ són fàcilment visibles dins la interfície. D'aquesta manera, en cas de una possible evolució del DCS, el desenvolupament necessari per adequar la interfície es redueix notablement. A més, un mecanisme de navegació ha estat desenvolupat dins la interfície fent accessible a l'operador ràpidament qualsevol sistema dins la jerarquia. La jerarquia paral·lela dedicada al tractament d'errors també és utilitzada dins la interfície per filtrar errors i accedir als sistemes en problemes de una manera eficient. La interfície és suficientment modular i flexible, permet ésser utilitzada en nous escenaris d'operació, resol les necessitats de diferents tipus d'usuaris i facilita el manteniment durant la llarga vida de l'experiment que es preveu fins a 20 anys. La consola està sent utilitzada des de ja fa uns mesos i actualment totes les jerarquies dels sub-detectors estan sent integrades.

Hierarchical Control of the ATLAS experiment<br/>Àlex Barriuso Poy<br/>Control systems at High Energy Physics (HEP) experiments are becoming increasingly complex mainly due to the size, complexity and data volume associated to the front-end instrumentation. In particular, this becomes visible for the ATLAS experiment at the LHC accelerator at CERN. ATLAS will be the largest particle detector ever built, result of an international collaboration of more than 150 institutes. The experiment is composed of 9 different specialized sub-detectors that perform different tasks and have different requirements for operation. The system in charge of the safe and coherent operation of the whole experiment is called Detector Control System (DCS).<br/>This thesis presents the integration of the ATLAS DCS into a global control tree following the natural segmentation of the experiment into sub-detectors and smaller sub-systems. The integration of the many different systems composing the DCS includes issues such as: back-end organization, process model identification, fault detection, synchronization with external systems, automation of processes and supervisory control.<br/>Distributed control modeling is applied to the widely distributed devices that coexist in ATLAS. Thus, control is achieved by means of many distributed, autonomous and co-operative entities that are hierarchically organized and follow a finite-state machine logic.<br/>The key to integration of these systems lies in the so called Finite State Machine tool (FSM), which is based on two main enabling technologies: a SCADA product, and the State Manager Interface (SMI++) toolkit. The SMI++ toolkit has been already used with success in two previous HEP experiments providing functionality such as: an object-oriented language, a finite-state machine logic, an interface to develop expert systems, and a platform-independent communication protocol. This functionality is then used at all levels of the experiment operation process, ranging from the overall supervision down to device integration, enabling the overall sequencing and automation of the experiment.<br/>Although the experience gained in the past is an important input for the design of the detector's control hierarchy, further requirements arose due to the complexity and size of ATLAS. In total, around 200.000 channels will be supervised by the DCS and the final control tree will be hundreds of times bigger than any of the antecedents. Thus, in order to apply a hierarchical control model to the ATLAS DCS, a common approach has been proposed to ensure homogeneity between the large-scale distributed software ensembles of sub-detectors. A standard architecture and a human interface have been defined with emphasis on the early detection, monitoring and diagnosis of faults based on a dynamic fault-data mechanism. This mechanism relies on two parallel communication paths that manage the faults while providing a clear description of the detector conditions. The DCS information is split and handled by different types of SMI++ objects; whilst one path of objects manages the operational mode of the system, the other is dedicated to handle eventual faults. The proposed strategy has been validated<br/>through many different tests with positive results in both functionality and performance. This strategy has been successfully implemented and constitutes the ATLAS standard to build the global control tree.<br/>During the operation of the experiment, the DCS, responsible for the detector operation, must be synchronized with the data acquisition system which is in charge of the physics data taking process. The interaction between both systems has so far been limited, but becomes increasingly important as the detector nears completion. A prototype implementation, ready to be used during the sub-detector integration, has achieved data reconciliation by mapping the different segments of the data acquisition system into the DCS control tree. The adopted solution allows the data acquisition control applications to command different DCS sections independently and prevents incorrect physics data taking caused by a failure in a detector part.<br/>Finally, the human-machine interface presents and controls the DCS data in the ATLAS control room. The main challenges faced during the design and development phases were: how to support the operator in controlling this large system, how to maintain integration across many displays, and how to provide an effective navigation. These issues have been solved by combining the functionalities provided by both, the SCADA product and the FSM tool. The control hierarchy provides an intuitive structure for the organization of many different displays that are needed for the visualization of the experiment conditions. Each node in the tree represents a workspace that contains the functional information associated with its abstraction level within the hierarchy. By means of an effective navigation, any workspace of the control tree is accessible by the operator or detector expert within a common human interface layout. The interface is modular and flexible enough to be accommodated to new operational scenarios, fulfil the necessities of the different kind of users and facilitate the maintenance during the long lifetime of the detector of up to 20 years. The interface is in use since several months, and the sub-detector's control hierarchies, together with their associated displays, are currently being integrated into the common human-machine interface.