Calidad académica y clasificaciones universitarias: un análisis de fiabilidad y validez del Ranking de Universidades La Tercera-Qué Pasa

Abstract

[spa] En las últimas dos décadas, los rankings universitarios emergieron como referentes de los sistemas universitarios. Pese a las controversias que provocan, estas tablas de clasificación resaltan los puntos fuertes y débiles de las universidades. Los rankings o tablas de posiciones jerarquizan a las universidades según un conjunto de indicadores comunes que son ponderados y tras su suma se alcanza un puntaje —generalmente de 0 a 100—: la institución que tiene más puntos es la que se encuentra mejor posicionada. El objetivo declarado de estos instrumentos es el de entregar información tanto para la toma de decisiones de los futuros estudiantes como para las propias instituciones, destacando sus puntos fuertes y débiles. Utilizando fórmulas estadísticas se normaliza la información para hacerla comparable, homologando instituciones que de por sí son diversas.

Este estudio se propuso abordar la fiabilidad y validez del Ranking de Universidades de La Tercera-Qué Pasa (Chile) con el fin de proponer mejoras a este instrumento. Para ello se consideró identificar el concepto de calidad que subyace en los rankings globales y nacionales, verificar la fiabilidad y validez de la escala Ranking de Universidades La Tercera-Qué Pasa, conocer la opinión de autoridades de las casas de estudios sobre la utilidad que le dan a los rankings, y presentar propuestas de mejora tendientes a la elaboración del ranking La Tercera-Qué Pasa con grados de validez y fiabilidad aceptables.

Una primera aproximación común para medir calidad son las variables de prestigio e investigación, que constituyen los pilares de los rankings Academic Ranking of World Universities (ARWU), World University Rankings (QS) y World University Rankings (THE). La pregunta que subyace es si calidad equivale a investigación o prestigio, los conceptos centrales con los cuales trabajan estos rankings, y que establecen un enfoque para equiparar a todas las universidades independiente de su desarrollo, del contexto geográfico y cultural donde se encuentran ubicadas.

En cuanto a los rankings chilenos, comprobamos que replican indicadores utilizados en los rankings globales.

La evidencia empírica indica que el Ranking de Universidades de La Tercera-Qué Pasa tiene grados de fiabilidad aceptables. Se argumenta la necesidad de normalizar los indicadores tamaño dependiente de las universidades, la importancia de la transparencia de la metodología y el uso de fuentes de acceso público, de modo tal que la escala pueda ser replicada obteniendo los mismos resultados.

La entrega de información relevante para las universidades está supeditada a la confiabilidad que tiene el instrumento, la que se relaciona con la transparencia y replicabilidad de la metodología. Mientras mayor es la información autorreportada por las instituciones, menor es el grado de fiabilidad que tiene un ranking. Los rankings son definidos como un benchmark — elaborado a base de variables comunes de un conjunto de instituciones—, que permite ahorrar tiempo en la búsqueda de información, acceder a información que no se tiene, comparar instituciones de desarrollo similar y verificar los cambios de estrategias en los planteles.

Finalmente, se concluye que más que considerar a los rankings como una verdad absoluta de la realidad que pretenden demostrar, se hace imperioso revisar las metodologías e indagar en las diferentes dimensiones que tiene el quehacer universitario.

[eng] In the last two decades, university rankings emerged as benchmarks for university systems. Despite the controversies they trigger, these leaderboards highlight the strengths and weaknesses of universities. This thesis explores the underlying concept of university quality with which rankings work, examines how they are constructed and the effects they have on universities. Using descriptive techniques, it analyzes the reliability and validity of one of these instruments, the Ranking of Universities La Tercera-Qué Pasa (Chile), its indicators, weightings and the correlations between them. It is argued the need to standardize the size-dependent indicators of the universities, the relevance of openness of the methodology and the use of public access sources, so that the scale can be replicated obtaining the same results. Finally, it is concluded that more than considering the rankings as an absolute truth of the reality that they intend to demonstrate, it is imperative to review the methodologies and examine the different dimensions of the work of a university.