From trust in the profession to trust in results: A multi-scalar analysis of performance-based accountability in Norwegian education

Abstract

En un intent per millorar l’eficiència i l’equitat dels sistemes educatius, un nombre creixent de sistemes educatius han adoptat polítiques de rendició de comptes (RdC) basades en el rendiment escolar. Si bé la investigació sobre les reformes de RdC s’ha expandit en les últimes dècades, la literatura existent no adreça en profunditat per què els decisors de polítiques, en contextos tan diversos, opten per la RdC basada en el rendiment a l’hora de reformar els seus sistemes educatius. De manera similar, la comprensió dels mecanismes i condicions sota els quals la RdC genera resultats diferents és limitada. Amb l’objectiu de contribuir a omplir aquests buits en la literatura existent, aquesta tesi doctoral adopta un aproximació multiescalar a l’estudi del desplegament de les polítiques de RdC basades en el rendiment a Noruega, un país nòrdic anteriorment considerat “immune” a aquest fenomen de política globalitzadora. Concretament, la tesi explora com la RdC basada en el rendiment s’adopta, configura i implementa en el sistema educatiu noruec. Per examinar la trajectòria de la RdC a Noruega, l’estui es basa en dues fonts de dades principals; 37 entrevistes en profunditat amb polítics d’alt rang, decisors de polítiques i agents clau de l’educació noruega, així com 4 llibres blancs. A més, per il·lustrar el paper exercit per organitzacions que intercedeixen en el desenvolupament i recontextualització de la RdC, es realitza una anàlisi sistemàtica de 3.046 articles de premsa publicats per 155 diaris regionals i locals noruecs entre 2004-2018. Finalment, per obtenir una comprensió més profunda de com s’interpreten, experimenten i posen en pràctica les demandes de RdC a nivell escolar, he portat a terme entrevistes en profunditat a 23 directors que treballen en escoles primàries públiques de nou municipis urbans. Els resultats destaquen que, a Noruega, la RdC s’ha adoptat i institucionalitzat com una forma d’assegurar els estàndards d’aprenentatge en un sistema educatiu altament descentralitzat. Si bé els factors i les idees de polítiques globals han influït clarament en els processos de disseny de la política, la trajectòria de la RdC a Noruega està determinada simultàniament per les institucions polítiques, el règim de benestar i el sistema educatiu del país, així com pels processos d’implementació de polítiques. Els mitjans de comunicació juguen un paper central en la mediació de l’impacte de la publicació dels resultats de les proves de rendiment; són un mecanisme de pressió clau a l’hora de desencadenar canvis de comportament entre les escoles. L’anàlisi identifica quatre marcs de significat dominants en la cobertura dels mitjans regionals i locals sobre les proves estandarditzades, així com importants diferències en la informació que els mitjans ofereixen sobre rendiment escolar al llarg del temps i entre les diferents localitats. Finalment, els resultats identifiquen patrons de resposta diferents en la forma en què els directors noruecs perceben, interpreten i tradueixen les demandes de RdC. La tesi posa de relleu que la RdC basada en el rendiment promou canvis de comportament a través de la reformulació de les normes i nocions sobre bones pràctiques educatives, i de com els educadors donen sentit als aspectes centrals del seu treball. Al fer-ho, aquesta tesi desafia una premissa central de la investigació sobre la RdC educativa; és a dir, que els incentius extrínsecs i les sancions formen els principals factors explicatius del canvi de comportament impulsat per la RdC. A més, la tesi contribueix a la literatura sobre la RdC educativa en proporcionar evidències empíriques noves sobre un règim de RdC de baixes conseqüències en un entorn educatiu nòrdic, així com en demostrar el valor d’un enfocament multiescalar per comprendre el desplegament de les polítiques de RdC.

En un intento por mejorar la eficiencia y la equidad de los sistemas educativos, un número creciente de sistemas educativos han adoptado políticas de rendición de cuentas (RdC) basadas en el desempeño escolar. Si bien la investigación sobre las reformas de RdC se ha expandido en las últimas décadas, la literatura existente no aborda en profundidad los motivos por los que los decisores de políticas, en contextos tan diversos, optan por la RdC basada en el rendimiento a la hora de reformar sus sistemas educativos. De manera similar, la comprensión de los mecanismos y condiciones bajo los cuales la RdC genera resultados diferenciados es todavía limitada.

Con el objetivo de contribuir a llenar estos vacíos en la literatura existente, esta tesis doctoral adopta una aproximación multiescalar al estudio del despliegue de las políticas de RdC basadas en el desempeño en Noruega, un país nórdico anteriormente considerado ""inmune"" a este fenómeno de política globalizadora. Concretamente, la tesis explora cómo la RdC basada en el desempeño se adopta, configura e implementa en el sistema educativo noruego. Para examinar la trayectoria de la RdC en Noruega, el análisis se basa en dos fuentes de datos principales; 37 entrevistas en profundidad con políticos de alto rango, decisores de políticas y agentes clave de la educación noruega, así como 4 libros blancos. Además, para ilustrar el papel desempeñado por organizaciones que intermedian en las formas en que la RdC se desarrolla y recontextualiza en el ámbito de la práctica educativa, se realiza un análisis sistemático de 3.046 artículos de prensa publicados por 155 periódicos regionales y locales noruegos entre 2004-2018. Finalmente, para obtener una comprensión más profunda de cómo se interpretan y ponen en práctica las demandas de RdC a nivel escolar, el análisis se basa en entrevistas en profundidad a 23 directores que trabajan en escuelas primarias.

Los resultados destacan que, en Noruega, la RdC se ha adoptado e institucionalizado como una forma de asegurar los estándares de aprendizaje en un sistema educativo altamente descentralizado. Si bien los factores y las ideas de políticas globales han influido claramente en los procesos de diseño de la política, la trayectoria de la RdC en Noruega está determinada simultáneamente por las instituciones políticas, el régimen de bienestar y el sistema educativo del país, así como por los procesos de implementación de políticas. Los medios de comunicación juegan un rol central en la mediación del impacto de la publicación de los resultados de las pruebas de desempeño como un mecanismo de presión clave para provocar el cambio de comportamiento deseado entre las escuelas. El análisis identifica cuatro marcos de significado dominantes en la cobertura de los medios regionales y locales sobre las pruebas estandarizadas, así como importantes diferencias en la información de los medios sobre desempeño escolar a lo largo del tiempo y entre las diferentes localidades. Finalmente, los resultados identifican patrones de respuesta distintos en la forma en que los directores noruegos perciben, interpretan y traducen las demandas de RdC.

La tesis pone de relieve que la RdC basada en el desempeño promueve cambios de comportamiento a través de la reformulación de las normas y nociones sobre buenas prácticas educativas y de cómo los educadores dan sentido a los aspectos centrales de su trabajo. Al hacerlo esta tesis desafía una premisa central de la investigación sobre la RdC educativa; es decir, que los incentivos extrínsecos y las sanciones son los principales factores explicativos del cambio de comportamiento impulsado por la RdC. Además, la tesis contribuye a la literatura sobre la RdC educativa al demostrar el valor de un enfoque multiescalar para comprender el despliegue de políticas de RdC.

“In an attempt to raise the performance, efficiency and equity of education systems, performance-based accountability policies have been adopted or strengthened by an increasing number of countries, characterized by highly diverse political institutional regimes, education systems, and levels of economic development. While research interest in accountability reforms has sparked in recent decades, the existing literature remains characterized by an insufficient understanding of why policymakers, in such diverse contexts, turn towards performance-based accountability to reform their education systems, in particular considering the absence of strong evidence regarding the benefits produced by this reform approach. In a similar vein, a limited understanding prevails of the mechanisms and conditions under which performance-based accountability generates particular policy outcomes.

With the aim of contributing to filling some of the gaps in the existing literature, this doctoral dissertation adopts a multi-scalar case-study, which scrutinizes the different (but interconnected) scales in the deployment of performance-based accountability policies in Norway, a Nordic country formerly considered ‘immune’ to this globalizing policy phenomenon. More specifically, the dissertation examines how performance-based accountability, as a global policy for education reform, is adopted, shaped and enacted in the Norwegian education system. In order to examine the trajectory of performance-based accountability in Norway, the analysis relies on two principal data sources; 37 in-depth interviews with top-level politicians, policymakers and education stakeholders, as well as 4 White Papers. Moreover, to shed light on the role played by intermediate bodies in mediating the ways in which accountability plays out in practice, a systematic analysis of 3,046 newspaper articles published by 155 Norwegian regional and local newspapers between 2004-2018 is performed. Finally, to gain a deeper understanding of how accountability demands are interpreted, experienced and put into practice at the school level, the analysis relies on in-depth interviews with 23 school principals working at public, primary schools in nine urban municipalities.

The findings highlight how performance-based accountability has been adopted and institutionalized in Norway as a way to secure equity and quality standards in a highly decentralized education system. While global drivers and policy ideas have clearly influenced policy design processes, the trajectory of performance-based accountability in Norway is simultaneously shaped by the country’s political institutions, welfare regime, and education system, as well as by policy enactment processes. The media play a key role in mediating the impact of the publication of test results as a key pressure mechanism to elicit the desired behavioral change. The analysis identifies four dominant frames present in regional and local media coverage on standardized testing, as well as important differences in media reporting over time and across localities. Finally, the findings identify distinct response patterns in how Norwegian principals perceive, interpret and translate accountability demands, which range from alignment to accountability expectations to symbolic responses.

By highlighting how performance-based accountability can drive behavioral change by reframing norms of good educational practice, and by changing how educators make sense of core aspects of their work, this dissertation challenges a central premise of educational accountability research; i.e. that external incentives and sanctions form the prime explanatory factors of behavioral change instigated by accountability reforms. Moreover, the dissertation contributes to the educational accountability literature by providing novel empirical findings on a lesser documented accountability regime in a Nordic educational setting, as well as by demonstrating the value of a multi-scalar approach to understand the deployment of accountability policies. The dissertation advocates that lowering the stakes forms an insufficient measure to prevent perverse effects from occurring, and calls for the need to re-think current dominant accountability approaches in education.