Computing-Based Testing: conceptual model, implementations and experiments extending IMS QTI.

Abstract

The use of objective tests in Technology Enhanced Learning (TEL) is based on the application of computers to support automatic assessment. Current research in this domain is mainly focused on the design of new question-items, being IMS Question and Test Interoperability (QTI) the recognized de-facto standard. This thesis claims that the domain can be extended with the design of advanced test-scenarios that integrate new interactive contexts for the visualization of question-items and tests, and that consider different types of devices and technologies that enable diverse activity settings. In this context, the dissertation proposes to term the domain as Computing-Based Testing (CBT) instead of Computer- Based Testing because it captures better the new technological support possibilities for testing. Advanced CBT scenarios can increase teachers’ choices in the design of more appropriate tests for their subject areas, enabling the assessment of higher-order skills. With the aim of modelling an advanced CBT domain that extends the current possibilities of QTI and related work, this thesis provides a set of contributions around three objectives. The first objective deals with proposing a Conceptual Model for the CBT domain considering three main dimensions: the Question-item, the Test and the Activity. To tackle this objective, the thesis presents, on the one hand, a framework to assist in the categorization and design of advanced CBT scenarios and, on the other hand, two models that suggest elements for technologically representing the Test and Question-item dimensions. The models are platform-independent models (PIM) that extend QTI in order to support advanced CBT. Besides, the use of patterns is proposed to complement the modelling of the domain. The second objective seeks to show the relevance, value and applicability of the CBT Conceptual Model through exemplary challenging scenarios and case studies in authentic settings. To this end, the dissertation evaluates the design and implementation of a set of CBT systems and experiments. All the experiments use the proposed CBT Conceptual Model for designing an advanced CBT scenario. For each case the CBT-PIMs serve as the basis for developing a particular CBT-PSM and system. The evaluation results show that the implementations foster educational benefits, enable the assessment of higher-order skills and enhance the students’ motivation. Finally, the third objective is devoted to propose extension paths for QTI. The collection of models proposed in the thesis suggests different extension directions for QTI so as to enable the implementation of advanced questions, tests and activities. The proposed systems and scenarios also represent reference implementation and good practices of the proposed extension paths.

El uso de test de corrección automática, en el Aprendizaje Apoyado por Tecnologías de la Información y las Comunicaciones, se basa en el uso de ordenadores. Las propuestas actuales se centran en el diseño de nuevas preguntas, siendo IMS Question and Test Interoperability (QTI) el estándar de-facto. La tesis propone que este dominio puede ser extendido con el diseño de escenarios de test avanzados que integren nuevos contextos de interacción para la visualización de preguntas y tests, y que consideren la aplicación de diversos dispositivos tecnológicos para permitir diversos tipos de actividades. En este contexto se propone usar el término inglés Computing-Based Testing (CBT) para referirse al dominio, en vez de usar el término Computer-Based Testing, enfatizando el papel de la tecnología para la evaluación basada en test. Los escenarios CBT avanzados pueden aumentar la posibilidad de que los profesores puedan diseñar test más adecuados para sus asignaturas, permitiendo la evaluación de habilidades de alto nivel. Con el reto principal de modelar el dominio del CBT extendiendo las posibilidades actuales de QTI y las aproximaciones actuales, esta tesis proporciona un conjunto de contribuciones relacionadas con tres objetivos. El primer objetivo de la tesis es proponer un Modelo Conceptual definiendo y relacionando tres dimensiones: Pregunta, Test y Actividad. Por una parte, se propone un marco como guía en la categorización y diseño de escenarios CBT. Además, se proponen dos modelos que indican los elementos para la representación tecnológica de preguntas y test. Estos modelos son independientes de plataforma (PIM) que extienden QTI formulando los elementos que permiten implementar escenarios CBT avanzados. Además, se propone el uso de patrones como complemento en el modelado del dominio. El segundo objetivo trata de mostrar la relevancia y aplicabilidad de las contribuciones a través de escenarios y casos de estudio representativos en contextos reales. Para ello, se evalúa el diseño e implementación de un conjunto de experimentos y sistemas. En todos los experimentos se utiliza el Modelo Conceptual para diseñar escenarios CBT avanzados. Para cada caso los CBT-PIMs sirven como base para desarrollar modelos específicos de plataforma (CBT-PSMs) y sistemas asociados. La evaluación muestra que las implementaciones resultantes tienen beneficios educativos positivos, permitiendo la evaluación de habilidades de alto nivel y mejorando la motivación de los estudiantes. Finalmente, el tercer objetivo se centra en proponer vías de extensión para QTI. La colección de modelos propuestos sugiere diferentes direcciones de extensión de QTI para la implementación de preguntas, tests y actividades avanzados. Los escenarios y sistemas llevados a cabo representan implementaciones de referencia y buenas prácticas para las vías de extensión propuestas.