Avaluació automàtica de la Competència Digital Docent a través de la interacció amb l’entorn virtual d'aprenentatge

Author

de Torres Gómez, Eduard

Director

Canaleta Llampallas, Xavier

Tutor

Canaleta Llampalla, Xavier

Date of defense

2025-05-29

Pages

179 p.



Department/Institute

Universitat Ramon Llull. La Salle

Abstract

L’aparició de les tecnologies digitals i la seva ràpida evolució ha provocat una transformació digital de la societat de la informació que ha afectat el treball, oci i quotidià de tots els ciutadans. Els ciutadans del segle XXI necessiten disposar d’un conjunt de competències que els permetin interactuar amb aquestes tecnologies de la informació i la comunicació. L’Educació també s’ha vist canviada a causa d’aquesta transformació i el professorat actual necessita saber aplicar competències digitals en els processos d’ensenyament i aprenentatge. L’impacte de la tecnologia digital durant les últimes dècades ha portat a institucions com la Unió Europea, la UNESCO, o l’ISTE a crear marcs que permetin definir què és la competència digital docent i com avaluar-la. En aquesta tesi doctoral es presenten els resultats obtinguts d’un projecte d’investigació amb l’objectiu d’avaluar la competència digital docent de professorat universitari, a través de la interacció que el professorat té amb un entorn virtual d’aprenentatge. L’avaluació de la competència digital docent es realitza a través de les dades emmagatzemades dins l’entorn virtual d’aprenentatge, les quals s’han generat a partir de les accions empreses pel professorat. El marc d’avaluació de la competència digital docent utilitzat en aquest projecte d’investigació és l’European Framework for the Digital Competence of Educators, també conegut com a DigCompEdu. Aquest marc defineix 22 competències i un model de progressió de sis nivells. La metodologia d’investigació que segueix aquest projecte d’investigació és la investigació basada en el disseny. El projecte s’ha estructurat en quatre iteracions que es defineixen a partir de la retroalimentació obtinguda en les etapes anteriors. Durant la primera iteració, s’han obtingut 261 indicadors que relacionen les activitats i recursos de Moodle, l’entorn virtual d’aprenentatge escollit, amb 16 de les competències del marc DigCompEdu. Al llarg de la segona iteració s’ha desenvolupat un instrument per extreure i analitzar les dades de la base de dades de Moodle a partir dels indicadors anteriors. Aquest instrument ha permès, en la segona, tercera i quarta iteració, l’avaluació automatitzada de 1020 docents universitaris que han impartit classes durant el curs acadèmic 2022-2023 a graus, màsters, o postgraus de La Salle Campus Barcelona – Universitat Ramon Llull. L’estudi es repeteix pel curs acadèmic 2023-2024 on s’avaluen 1037 docents universitaris de la mateixa institució i programes formatius. Els resultats obtinguts de mitjana pel professorat és baix durant el curs acadèmic 2022-2023, equivalent al nivell competencial A2 – Explorer, segons el marc DigCompEdu. Durant el curs acadèmic 2023-2024 s’observa una millora en els resultats mitjans que ascendeixen fins al nivell competencial B1 – Integrator. D’entre els resultats obtinguts, destaquen positivament les competències relacionades amb la creació, modificació i gestió de recursos digitals compartits amb els estudiants, l’ús d’eines digitals per a l’avaluació, així com la facilitació de la competència digital en els estudiants en matèria de creació i gestió de recursos digitals. D’entre les limitacions observades al llarg del projecte d’investigació es destaca la impossibilitat d’avaluar 6 de les competències definides pel marc DigCompEdu, així com la manca d’indicadors per avaluar el nivell competencial C2 – Pioneer.


La aparición de las tecnologías digitales y su rápida evolución han provocado una transformación digital en la sociedad de la información, afectando al trabajo, el ocio y la vida cotidiana de todos los ciudadanos. Los ciudadanos del siglo XXI necesitan disponer de un conjunto de competencias que les permitan utilizar las tecnologías de la información y la comunicación. La Educación también se ha visto afectada por esta transformación, y los docentes necesitan saber aplicar competencias digitales en los procesos de enseñanza y aprendizaje. El impacto de la tecnología digital en las últimas décadas ha llevado a instituciones como la Unión Europea, la UNESCO o el ISTE a crear marcos que permitan definir qué es la competencia digital docente y cómo evaluarla. En esta tesis doctoral se presentan los resultados obtenidos en un proyecto de investigación con el objetivo de evaluar la competencia digital docente del profesorado universitario a través de la interacción que los docentes tienen con un entorno virtual de aprendizaje. La evaluación de la competencia digital docente se realiza a partir de los datos almacenados en dicho entorno, generados por las acciones llevadas a cabo por los docentes. El marco de evaluación de la competencia digital docente utilizado en este proyecto es el European Framework for the Digital Competence of Educators, también conocido como DigCompEdu. Este marco define 22 competencias y un modelo de progresión con seis niveles. La metodología de investigación seguida en este proyecto es la investigación basada en el diseño. El proyecto se ha estructurado en cuatro iteraciones, definidas a partir de la retroalimentación obtenida en las etapas anteriores. Durante la primera iteración, se identificaron 261 indicadores que relacionan las actividades y recursos de Moodle, el entorno virtual de aprendizaje seleccionado, con 16 de las competencias del marco DigCompEdu. A lo largo de la segunda iteración, se desarrolló un instrumento para extraer y analizar los datos de la base de datos de Moodle a partir de estos indicadores. Este instrumento permitió, en la segunda, tercera y cuarta iteración, la evaluación automatizada de 1020 docentes universitarios que impartieron clases durante el curso académico 2022-2023 en grados, másteres o posgrados de La Salle Campus Barcelona – Universitat Ramon Llull. El estudio se repite en el curso académico 2023-2024, evaluando a 1037 docentes universitarios de la misma institución y programas formativos. Los resultados obtenidos muestran que la media de competencia digital de los docentes fue baja durante el curso académico 2022-2023, situándose en el nivel competencial A2 – Explorer, según el marco DigCompEdu. Durante el curso académico 2023-2024, se observa una mejora en los resultados medios, que ascienden hasta el nivel competencial B1 – Integrator. Entre los aspectos más positivos destacan las competencias relacionadas con la creación, modificación y gestión de recursos digitales compartidos con los estudiantes, el uso de herramientas digitales para la evaluación, así como la facilitación de la competencia digital en los estudiantes en materia de creación y gestión de recursos digitales. Entre las limitaciones observadas a lo largo del proyecto de investigación, destaca la imposibilidad de evaluar 6 de las competencias definidas en el marco DigCompEdu, así como la falta de indicadores para evaluar el nivel competencial C2 – Pioneer.


The emergence of digital technologies and their rapid evolution have driven a digital transformation of the information society, affecting work, leisure, and daily life for all citizens. In the 21st century, individuals must develop a set of competencies that enable them to navigate information and communication technologies effectively. Education has also undergone significant changes due to this transformation, requiring modern educators to integrate digital competencies into teaching and learning processes. The impact of digital technology over recent decades has led institutions such as the European Union, UNESCO, and ISTE to establish frameworks that define teacher digital competency and outline methods for its assessment. This doctoral thesis presents the results of a research project aimed at evaluating university educators' teaching digital competence by analyzing their interaction with a virtual learning environment. The assessment is conducted by examining data stored within the virtual learning environment, which is generated from educators' actions. The evaluation framework employed in this research project is the European Framework for the Digital Competence of Educators (DigCompEdu). This framework defines 22 competencies and a six-level progression model. The research methodology follows a design-based research approach. The project is structured into four iterations, each defined from feedback obtained in previous stages. During the first iteration, 261 indicators were identified, linking activities and resources in Moodle—the selected virtual learning environment—with 16 competencies from the DigCompEdu framework. In the second iteration, a tool was developed to extract and analyze Moodle database records to compare with these indicators. This tool enabled the automated assessment of 1,020 university educators who taught undergraduate, master's, or postgraduate courses at La Salle Campus Barcelona – Universitat Ramon Llull during the 2022–2023 academic year. The study was repeated for the 2023–2024 academic year, evaluating 1,037 educators from the same institution and academic programs. The results indicate that, on average, educators scored at a low proficiency level during the 2022–2023 academic year, corresponding to A2 – Explorer within the DigCompEdu framework. However, a significant improvement was observed in 2023–2024, with the average proficiency level increasing to B1 – Integrator. Notably, educators demonstrated strong competencies in creating, modifying, and managing shared digital resources, utilizing digital tools for assessment, and fostering students’ digital competencies in content creation and resource management. Among the study’s limitations, the inability to assess six of the competencies defined by the DigCompEdu framework stands out, along with the lack of indicators necessary to evaluate the C2 – Pioneer proficiency level.

Keywords

competència digital docent; DigCompEdu; automatització; entorn virtual d’aprenentatge; educació superior

Subjects

004 - Computer science; 37 – Education. Training. Leisure time; 378 - Higher education. Universities

Knowledge Area

Educació

Documents

Tesi_Eduard_deTorres.pdf

4.471Mb

 

Rights

ADVERTIMENT. Tots els drets reservats. L'accés als continguts d'aquesta tesi doctoral i la seva utilització ha de respectar els drets de la persona autora. Pot ser utilitzada per a consulta o estudi personal, així com en activitats o materials d'investigació i docència en els termes establerts a l'art. 32 del Text Refós de la Llei de Propietat Intel·lectual (RDL 1/1996). Per altres utilitzacions es requereix l'autorització prèvia i expressa de la persona autora. En qualsevol cas, en la utilització dels seus continguts caldrà indicar de forma clara el nom i cognoms de la persona autora i el títol de la tesi doctoral. No s'autoritza la seva reproducció o altres formes d'explotació efectuades amb finalitats de lucre ni la seva comunicació pública des d'un lloc aliè al servei TDX. Tampoc s'autoritza la presentació del seu contingut en una finestra o marc aliè a TDX (framing). Aquesta reserva de drets afecta tant als continguts de la tesi com als seus resums i índexs.

This item appears in the following Collection(s)