Natural language processing meets user modeling for automatic and adaptive free-text scoring

Abstract

Tradicionalmente, los sistemas de evaluación automática de respuestas en texto libre se han basado únicamente en el uso de técnicas de Procesamiento de Lenguaje Natural. De esta forma se ha ido mejorando el rendimiento de estos sistemas, pero no se ha podido ofrecer a los estudiantes la posibilidad de una evaluación formativa adaptada a sus necesidades y a su nivel real de conocimiento en función de las respuestas en texto libre proporcionadas al sistema usado. En este artículo, se describe un procedimiento en el que técnicas de Procesamiento de Lenguaje Natural y Modelado de Usuario se combinan para generar y mantener un modelo de estudiante en sistemas de evaluación automática de respuestas en texto libre. De esta forma, la evaluación de las respuestas en texto libre, no es sólo automática sino también adaptada a las características específicas de cada estudiante en cada momento.

Free-text Computer Assisted Assessment (CAA) systems are able to automatically score free-text students' answers using Natural Language Processing techniques. Traditionally, free-text CAA systems have not included any possibility of adaptation, or kept a student model. In this paper, a procedure in which Natural Language Processing and User Modeling techniques are used together to generate and keep a student model in free-text CAA systems is described. That way, it is possible to offer the students not only an automatic assessment of their free-text answers, but also adaptation to their specific formative needs and their real level of knowledge. The student model is extracted from the students' free-text answers to the questions asked by the system and, the model is used by the system to choose the next question to ask the student. That way, not only the model is derived from the students' answers, but the students' answers keep the model updated.