Assessing the digital well-being of educational technologies supported by learning analytics

Abstract

The accelerating adoption of digital technologies creates a direct relationship between the status of individual and societal well-being on one hand, and the state of the digital technologies that underpin human life experiences on the other. This technological shift is represented in the domain of Education by Technology-Enhanced Learning (TEL), a field of research and practice. The potential of technological advances to enhance learning has been well explored, as well as many of the challenges to the effective use of technology in education. Less research has been undertaken, however, on the ethical considerations related to TEL use and research. When data analytics are merged, which is present in TEL in the form of Learning Analytics (LA), the ethical concerns about the impact of digital technologies on human well-being become more relevant. This doctoral thesis aims at exploring indicators and methods that can support the assessment of the well-being impacts of LA-supported educational technologies. Value-sensitive design (VSD) methodology and elements of the IEEE P7010 Well-being Impact Assessment (WIA) were followed to achieve the objectives of this thesis. The term well-being was conceptualized in the TEL field through workshops with LA tool’s developers and a systematic literature review, resulting in around 70 well-being indictors covering twelve life domains. The findings indicated that the well-being impact of TEL is more scoped in four main domains: affect, community, psychology, and education. Samples of users were consulted about the well-being indicators of two cases of LA-supported educational technologies, which were learning design community platforms and a computer-supported collaborative learning (CSCL) tool. Data collection scenarios were applied to enable the assessment of the CSCL tool on certain aspects of teachers’ and learners’ well-being, particularly teacher-perceived stress and students’ basic psychological needs satisfaction. The findings shed light on how the tool’s interface support the student’s basis psychological needs of autonomy, relatedness, and competence, indicating that relatedness and completeness are more perceived by the students who participated in collaborative learning activities supported by the tool. The triggers of teacher-perceived stress when orchestration those activities were found to be either technological difficulties, actions by students or time-related issues.

La adopción acelerada de tecnologías digitales crea una relación directa entre el estado del bienestar individual y social, por un lado, y el estado de las tecnologías digitales que sustentan las experiencias de la vida humana, por el otro. Este cambio tecnológico está representado el dominio del Aprendizaje mejorado con tecnología (TEL, por sus siglas en inglés), un campo de investigación y práctica. La investigació en TEL ha explorado extensamente el potencial de los avances tecnológicos para mejorar el aprendizaje, así como muchos de los desafíos para el uso eficaz de la tecnología en la educación. Sin embargo, ha realizado menos investigaciones sobre las consideraciones éticas relacionadas con el uso y la investigación de TEL. Cuando se fusiona el análisis de datos, que están presentes en TEL en forma de la analítica del aprendizaje (LA), las preocupaciones éticas sobre el impacto de las tecnologías digitales en el bienestar humano se vuelven más urgentes. Esta tesis doctoral tiene como objetivo explorar indicadores y métodos que puedan apoyar la evaluación de los impactos en el bienestar de las tecnologías educativas apoyadas por LA. La tesis siguie la metodología de diseño sensible al valor (VSD) y los elementos de la Evaluación de Impacto en el Bienestar (WIA) IEEE P7010 para lograr los objetivos de esta tesis. El término bienestar se conceptualizó en el campo TEL a través de talleres con los desarrolladores de la herramienta LA y una revisión sistemática de la literatura, lo que resultó en alrededor de 70 indicadores de bienestar que cubren doce dominios de la vida. Los hallazgos indicaron que el impacto de TEL en el bienestar tiene un mayor alcance en cuatro dominios principales: afecto, comunidad, psicología y educación. Se consultó a muestras de usuarios sobre los indicadores de bienestar de dos casos de tecnologías educativas apoyadas por LA apoyadas por LA. Estos casos consideran el uso de plataformas de comunidad de profesores para el diseño de aprendizaje y una herramienta de aprendizaje colaborativo apoyado por ordenador (CSCL). Se aplicaron escenarios de recopilación de datos para permitir la evaluación de la herramienta CSCL sobre ciertos aspectos bienestar de los docentes y los alumnos, en particular el estrés percibido por los docentes y la satisfacción de las necesidades psicológicas básicas de los alumnos. Los hallazgos arrojan luz sobre cómo la interfaz de la herramienta respalda las necesidades psicológicas básicas de autonomía, relación y competencia del estudiante competencia del estudiante. Los resultados indican que los constructos de relación y competencia es percidio en mayor nivel por los estudiantes que participaron en las actividades de aprendizaje respaldaas por la herramienta colaborativa. Así mismo, los resultados indican que factores desencadenantes del estrés percibido por los docentes cuando organizaban esas actividades son fundamentalmente las dificultades tecnológicas, las acciones de los estudiantes o problemas relacionados con el tiempo.