Promoting collaborative creativity using automatic creativity evaluation and real-time feedback

Abstract

Introducció: La creativitat, la col·laboració i la intel·ligència artificial (IA) són tres aspectes essencials de la nostra vida quotidiana que ens ajuden a resoldre els desafiaments complexos que afronten les organitzacions. La creativitat col·laborativa efectiva (cocreativitat) requereix l’orquestració de processos cognitius i socials a un alt nivell i que la IA pot maximitzar els seus resultats. No obstant això, en un context educatiu, hi ha una significativa bretxa d’investigació en la integració de la IA per millorar el procés cocreatiu, particularment en el marc de l’aprenentatge basat en projectes (ABP). Per tant, aquesta tesi té com a objectiu utilitzar un enfocament impulsat per IA per avaluar la generació d’idees en el context de l’ABP en situacions reals durant el procés cocreatiu. Això, a més, impulsa la provisió de feedback en temps real per millorar el complex procés cocreatiu i en entorns de classe reals. Mètodes: Per assolir aquest objectiu, en primer lloc, vam realitzar un estudi de revisió exploratòria de l’avaluació automàtica de la creativitat. En segon i tercer lloc, en un disseny d’estudi de cas, vam avaluar les dues dimensions clau de la creativitat: la novetat i la flexibilitat de les idees obertes generades durant el procés cocreatiu, respectivament. En quart lloc, es va realitzar un estudi de cas amb mètodes mixtos proporcionant feedback sobre el grau de novetat de les idees generades en petit grup i avaluant l’impacte del feedback en temps real en el grau de creativitat i en les característiques dels comportaments col·laboratius durant la resolució d’un repte científic utilitzant Google Slides. Resultats: Les nostres dades revelen que les tècniques d’IA “sentence embedding models” poden resoldre el repte d’avaluar la novetat i la flexibilitat de les idees generades durant el procés cocreatiu. Els resultats també mostren que la tècnica “codificador universal de frases Transformer (USE-T)” es correlaciona amb les puntuacions dels experts. A més, el nostre estudi va aplicar el mecanisme de proporcionar feedback automàtic sobre el grau de novetat de les idees en temps real i en entorns de classe reals. La provisió de feedback ha mostrat impactes positius en les puntuacions de creativitat així com en els comportaments cocreatius. Discussió: El nostre treball mostra les possibilitats de l’ús de la IA per integrar l’avaluació i la provisió de feedback de creativitat en temps real. Aquesta integració beneficia substancialment els estudiants, educadors i plataformes d’aprenentatge en línia, assenyalant un futur prometedor per a l’educació.

Introducción: La creatividad, la colaboración y la inteligencia artificial (IA) son tres aspectos esenciales de nuestra vida cotidiana que nos ayudan a resolver los desafíos complejos que enfrentan las organizaciones. La creatividad colaborativa efectiva (cocreatividad) requiere la orquestación de procesos cognitivos y sociales a un alto nivel y que la IA puede maximizar sus resultados. No obstante, en un contexto educativo, hay una significativa brecha de investigación en la integración de la IA para mejorar el proceso cocreativo, particularmente en el marco del aprendizaje basado en proyectos (ABP). Por lo tanto, esta tesis tiene como objetivo utilizar un enfoque impulsado por IA para evaluar la generación de ideas en el contexto del ABP en situaciones reales durante el proceso cocreativo. Esto, además, impulsa la provisión de retroalimentación en tiempo real para mejorar el complejo proceso cocreativo y en entornos de clase reales.

Métodos: Para alcanzar este objetivo, en primer lugar, realizamos un estudio de revisión exploratoria de la evaluación automática de la creatividad. En segundo y tercer lugar, en un diseño de estudio de caso, evaluamos las dos dimensiones clave de la creatividad: la novedad y la flexibilidad de las ideas abiertas generadas durante el proceso cocreativo, respectivamente. En cuarto lugar, se realizó un estudio de caso con métodos mixtos proporcionando retroalimentación sobre el grado de novedad de las ideas generadas en grupos pequeños y evaluando el impacto de la retroalimentación en tiempo real en el grado de creatividad y en las características de los comportamientos colaborativos durante la resolución de un reto científico utilizando Google Slides.

Resultados: Nuestros datos revelan que las técnicas de IA “sentence embedding models” pueden resolver el desafío de evaluar la novedad y la flexibilidad de las ideas generadas durante el proceso cocreativo. Los resultados también muestran que la técnica “codificador universal de frases Transformer (USE-T)” se correlaciona con las puntuaciones de los expertos. Además, nuestro estudio aplicó el mecanismo de proporcionar retroalimentación automática sobre el grado de novedad de las ideas en tiempo real y en entornos de clase reales. La provisión de retroalimentación ha mostrado impactos positivos en las puntuaciones de creatividad, así como en los comportamientos cocreativos.

Discusión: Nuestro trabajo muestra las posibilidades del uso de la IA para integrar la evaluación y la provisión de retroalimentación de creatividad en tiempo real. Esta integración beneficia sustancialmente a los estudiantes, educadores y plataformas de aprendizaje en línea, señalando un futuro prometedor para la educación.

Introduction: Creativity, collaboration, and Artificial Intelligence (AI) are three essential aspects of our daily lives that help us solve the complex challenges faced by organizations. Effective collaborative creativity (cocreativity) requires the orchestration of cognitive and social processes at a high level, with AI unleashing synergistic effects that maximize its outcomes. However, in an educational context, there remains a significant research gap in integrating AI to enhance the cocreative process, particularly within modern Project-Based Learning (PBL). Thus, this thesis aims to use an AI-driven approach to evaluate the creativity of open-ended ideas within the context of real-life PBL during the cocreative process. This further prompts the provision of real-time feedback to enhance the complex cocreative process within human groups and in real-class settings.

Methods: To reach this goal, firstly, we conducted a scoping review study of automatic creativity evaluation. Secondly and thirdly, in a case study design, we evaluate the two key dimensions of creativity, namely, novelty and flexibility of open-ended ideas generated during the cocreative process, respectively. Fourthly, a mixed-methods case study was conducted by providing novelty feedback and examining the impact of real-time novelty feedback on their creativity and collaborative behaviours during a science challenge utilizing Google Slides.

Results: Our findings disclose that sentence embedding models can solve the challenge of evaluating the novelty and flexibility of open-ended ideas generated during the cocreative process. The results also show that the Universal Sentence Encoder Transformer (USE-T) correlates highly with experts’ scores. Furthermore, our study applied the mechanism of providing real-time automatic novelty feedback in classroom settings. The provision of feedback has shown positive impacts on creative scores as well as on cocreative behaviours.

Discussion: The pragmatic implications of our findings position its applications in real-world educational settings, specifically by integrating AI-driven real-time creativity evaluation and feedback within the digitalized educational landscape. This integration substantially benefits students, educators, and e-learning platforms, signalling a promising future for real-world education.