The Orchestration of computer-supported collaboration scripts with learning analytics

Abstract

Computer-supported collaborative learning (CSCL) creates avenues for productive collaboration between students. In CSCL, collaborative learning flow patterns (CLFPs) provide pedagogical rationale and constraints for structuring the collaboration process. While structured collaboration facilitates the design of favourable learning conditions, orchestration of collaboration becomes an important factor, as learner participation and real-world constraints can create deviations in real time. On the one hand, limited research has examined the orchestration challenges related to collaborative learning situations scripted according to CLFPs in authentic educational contexts to resolve collaboration at different scales. On the other hand, learning analytics (LA) can be used to provide proper technological tooling, infrastructure and support to orchestrate collaboration. To this end, this dissertation addresses the following research question: How can LA support orchestration mechanisms for scripted CSCL? To address this question, this dissertation first focuses on studying the orchestration challenges associated with scripted CSCL situations on small scales (in the classroom learning context) and large scales (in the distance learning context, specifically in massive open online courses [MOOCs]). In the classroom learning context, lack of teacher access to activity regulation mechanisms constituted a key challenge. In MOOCs, sustained student participation in multiple phases of the script was a primary challenge. The dissertation also focuses on studying the design of LA interventions that might address the orchestration challenges under examination. The proposed LA interventions range from human-in-control to machine-in-control in nature given the feasibility and regulation needs of the learning contexts under investigation. Following a design-based research (DBR) methodology, evaluation studies were conducted in naturalistic classrooms and in MOOCs to evaluate the effects of the proposed LA interventions and to understand the conditions for their successful implementation. The results of the evaluation studies conducted in the classroom context shed light on how teachers interpret LA data and how they action the resulting knowledge in authentic collaborative learning situations. In the distance learning context, the proposed interventions were critical in sustaining continuous flows of collaboration. The practical benefits and limitations of deploying LA solutions in real-world settings, as well as future research directions, are outlined.

El aprendizaje colaborativo asistido por ordenador (CSCL) ofrece oportunidades para la colaboración productiva entre estudiantes. En CSCL, los patrones de flujo de aprendizaje colaborativo (CLFP) proporcionan un fundamento pedagógico y restricciones para estructurar el proceso de colaboración. Si bien la colaboración estructurada facilita el diseño de condiciones de aprendizaje favorables, la orquestación de dicha colaboración estructurada se convierte en un factor importante, ya que la participación del alumno y los condicionantes del mundo real pueden crear desviaciones en el momento de su realización. Por un lado, existe una investigación limitada sobre los desafíos de la orquestación de aprendizaje colaborativo guiado según los CLFP en contextos educativos auténticos a diferentes escalas. Por otro lado, la analítica del aprendizaje (LA) se puede utilizar para proporcionar las herramientas tecnológicas, la infraestructura y el apoyo adecuados para orquestar la colaboración. Con este fin, esta tesis doctoral plantea la siguiente pregunta de investigación: ¿Cómo puede LA apoyar los mecanismos de orquestación de guiones de CSCL? Para abordar esta pregunta, la tesis doctoral se centra, primero, en estudiar los desafíos de la orquestación en situaciones CSCL guiadas a pequeña escala (en el contexto del aula) y a gran escala (en el contexto de aprendizaje a distancia, específicamente en cursos masivos abiertos en línea [MOOC]). En el contexto del aula, un reto imporante es la falta de acceso de los docentes a los mecanismos de regulación de la actividad. En los MOOC, el reto principal es sostener la participación de los estudiantes a lo largo de las diversas fases del guión. La tesis doctoral también se centra en estudiar el diseño de intervenciones de LA que podrían abordar los retos de orquestación detectados. Dadas las necesidades de viabilidad y regulación de los contextos de aprendizaje investigados, las intervenciones de LA propuestas van desde acciones automáticas donde la “máquina está en control” a intervenciones que implican “control por humanos”. Siguiendo una metodología de investigación basada en el diseño (DBR), se han realizado estudios en aulas y en MOOCs para evaluar los efectos de las intervenciones de LA propuestas y comprender las condiciones para su buena implementación. Los resultados de la evaluación realizada en el contexto del aula arrojan luz sobre cómo los profesores interpretan los datos de LA y cómo actúan en consecuencia en situaciones auténticas de aprendizaje colaborativo. En el contexto de la educación a distancia, las intervenciones propuestas fueron fundamentales para mantener flujos continuos de colaboración. La tesis docotral describe los beneficios prácticos y las limitaciones a la hora de implementar soluciones de LA en entornos reales, así como las direcciones de investigación futuras.