Evaluación de sistemas de búsqueda de respuestas con restricción de tiempo

Abstract

Las investigaciones sobre la evaluación de los sistemas de Búsqueda de Respuestas (BR) sólo se han centrado en la evaluación de la precisión de los mismos. En este trabajo se desarrolla un procedimiento matemático para explorar nuevas medidas de evaluación en sistemas de BR considerando el tiempo de respuesta. Además, hemos llevado a cabo un ejercicio para la evaluación de sistemas de BR en la campaña CLEF-2006 usando las medidas propuestas. La principal conclusión es que la evaluación del tiempo de respuesta puede ser un nuevo escenario para la evaluación de los sistemas de BR.

Previous works on evaluating the performance of Question Answering (QA) systems are focused in the evaluation of the precision. Nevertheless, the importance of the answer time never has been evaluated. In this paper, we developed a mathematic procedure in order to explore new evaluation measures in QA systems considering the answer time. Also, we carried out an exercise for the evaluation of QA systems within a time constraint in the CLEF-2006 campaign, using the proposed measures. The main conclusion is that the evaluation of QA systems in realtime can be a new scenario for the evaluation of QA systems.