Mètodes gràfics i estadístics per a la detecció de valors extrems

Abstract

La teoria de valors extrems (EVT) és l’única disciplina estadística que desenvolupa tècniques i models per descriure el comportament inusual en comptes de l’habitual, l’objectiu principal de la qual és l’estimació de quantils corresponents a successos molt extrems. En moltes àrees d’aplicació un requisit típic és estimar el valor en risc a un cert nivell (VaR), prou alt per a que la possibilitat de superació d’aquest sigui menor a una quantitat donada. La teoria probabilista associada a l’EVT es troba ben establerta, gràcies als resultats de Fisher i Tippet (1923), Balkema i de Haan (1974) i Pickands (1975). Dos enfocs principals van ser desenvolupats: el mètode per blocs de màxims i el mètode d’excessos sobre un llindar, l’aplicació dels quals presenta dificultats a l’hora d’aplicar eines estadístiques, Diebold et al. (1998). La determinació del llindar a partir del qual la distribució límit pot utilitzar-se i del comportament d’aquesta són els problemes principals a tractar. Per distingir les dades generals de les que són objecte d’estudi, es farà servir el concepte de cua, el qual fa referència a aquells valors que es troben per sobre d’un valor suficientment alt. Per als excessos sobre un llindar, la distribució asimptòtica que caracteritza el comportament de la cua és la Pareto Generalitzada (GPD); el seu paràmetre de forma, anomenat índex del valor extrem, permet classificar les cues en pesades, exponencials i lleugeres. L’aplicació del model GPD es pot trobar extensament detallada a McNeil et al. (2005) o Embrechts et al. (1997), però es troben limitacions, per exemple, quan no hi ha moments suficients o la subjectivitat que sorgeix quan s’utilitzen mètodes gràfics. L’objectiu d’aquesta tesi és presentar noves eines per a l’EVT, que serveixen per a la selecció de llindar i l’estimació de l’índex del valor extrem i solucionen alguns dels problemes existents. En el Capítol 1 es fa un repàs de la teoria estadística per a valors extrems. Es recorden els mètodes gràfics més utilitzats, el mean excess plot i el Hill-plot, i els mètodes d’estimació disponibles per a la GPD, finalment es presenten un nou mètode gràfic anomenat CV-plot, Castillo et al. (2014), i un enfoc aparegut recentment per a cues pesades i exponencials, Castillo et al. (2013). En el Capítol 2 s’utilitza el fet que el coeficient de variació residual caracteritza distribucions, Gupta i Kirmani (2000), per trobar el CV-plot teòric per a algunes distribucions i aplicar la teoria asimptòtica al cas de la GPD, sempre que hi hagi existència de moments d’ordre quatre. Gràcies a una transformació, presentada en el Capítol 3, el CV-plot es podrà aplicar en qualsevol situació. En el Capítol 4 es presenten uns estadístics que permeten estimar l’índex del valor extrem, contrastar la hipòtesi de GPD i s’utilitzen en un algoritme automàtic de selecció de llindars. Aquest tercer punt suposa un gran avenç per a l’aplicació del mètode Peak over Threshold, el qual requereix de l’estimació del llindar, a partir d’un mètode gràfic, i l’estimació de l’índex del valor extrem, mitjançant màxima versemblança, Coles (2001), ja que desapareix la subjectivitat de l’investigador quan s’estima el llindar. El Capítol 5 es troba dedicat a l’estudi de 16 conjunts de dades en sistemes informàtics encastats. El CV-plot i els estadístics Tm han estat utilitzats, obtenint bons resultats per a la majoria dels casos. En el Capítol 6 es tornen a aplicar les noves eines a les dades daneses sobre assegurances de focs, McNeil (1997), i les dades financeres analitzades a Gomes i Pestana (2007). Per finalitzar, en el Capítol 7 es presenten les conclusions d’aquest treball i s’exposen les noves línies de recerca que es poden seguir.

Extreme value theory (EVT) is the only statistical discipline that develops techniques and models to describe the unusual behavior instead of the usual one, the main objective of which is the quantile estimation corresponding to very extreme events. In many areas of application, a typical requirement is to estimate the value at risk (VaR), high enough to overcome the possibility that this is less than a given amount. The probability theory associated to the EVT is well-established thanks to the results of Fisher and Tippet (1923), Balkema and de Haan (1974), and Pickands (1975). Two main approaches were developed; the block maxima method and the method of the excesses over a threshold, the application of which presents difficulties in applying statistical tools, Diebold et al. (1998). The determination of the threshold from which the limit distribution can be used and its behavior are the main problems to deal with. To distinguish the general data from those which are under study, we will use the concept of tail, which refers to values that are above a sufficiently high value. For excesses over a threshold the distribution that characterizes the asymptotic behavior of the tail is the Generalized Pareto (GPD), its shape parameter, called extreme value index, classifies tails in heavy, exponential, and light. The application of the GPD model is extensively detailed in McNeil et al. (2005) and Embrechts et al. (1997), but there are limitations, for example, when there are no finite moments or the subjectivity that arises when graphical methods are used. The aim of this thesis is to present new tools for EVT, which can be used for the threshold selection and the extreme value index estimation and they solve some existing problems. Chapter 1 is a review of statistical theory for extreme values. The most used graphical methods are remembered, the mean excess plot and the Hill-plot, and the estimation methods available for GPD too. Finally, a new graphical method called CV plot, Castillo et al. (2014), and a recently appeared approach to heavy and exponential tails, Castillo et al. (2013), are presented. In Chapter 2 the fact that the coefficient of variation characterizes residual distributions, Gupta and Kirman (2000), is used to find the theoretical CV plot for some distributions and to apply the asymptotic theory to the case of GPD, provided by the existence of four finite moments. Thanks to a transformation, presented in Chapter 3, the CV-plot can be applied in any situation. Chapter 4 presents statistics that allow us to estimate the extreme value index, to contrast the hypothesis of GPD and they are used in an automated selection thresholds algorithm. This third point is a major breakthrough for the application of the method Peak over Threshold, which requires estimating the threshold from a graphical method and estimating the extreme value index through the maximum likelihood, Coles (2001), since researcher's subjectivity disappears when the threshold is estimated. Chapter 5 is dedicated to the study of 16 data sets in embedded systems. The CV plot and statistical Tm have been used, obtaining good results in most cases. In Chapter 6, we will again apply new tools to data on Danish fire insurance, McNeil (1997), and financial data analyzed in Gomes and Pestana (2007). Finally, Chapter 7 presents the conclusions of this work and the new lines of research.