Validación de un sistema de diálogo mediante el uso de diferentes umbrales de poda en el proceso de reconocimiento automático de voz

Abstract

Este artículo presenta una nueva metodología cuyo objetivo es validar el funcionamiento de los sistemas de diálogo centrándose en dos aspectos: tiempo de respuesta y porcentaje de comprensión de frases. En primer lugar, el artículo realiza una descripción de la interfaz de entrada del sistema de diálogo usado en los experimentos, incluyendo una clasificación de las tareas de reconocimiento consideradas. A continuación, presenta los fundamentos de la técnica propuesta y muestra una aplicación de la misma para validar el funcionamiento del sistema de diálogo. Seguidamente muestra los resultados experimentales, los cuales indican, por una parte, que seis de las nueve tareas de reconocimiento diseñadas pueden ser consideradas válidas, pues se cumplen los requisitos impuestos respecto a tiempo de reconocimiento y porcentaje de comprensión de frases. Por otra parte, los resultados indican que para validar el funcionamiento del sistema es necesario cambiar las estrategias empleadas en las tres tareas restantes. Finalmente, el artículo muestra algunas líneas de trabajo futuro, encaminadas a utilizar nuevas estrategias para mejorar el funcionamiento del sistema de diálogo.

This paper presents a new technique to validate the performance of dialogue systems focusing on two measures: response time a sentence understanding. Initially, the paper presents a description of the input interface of the dialogue system used in the experiments, including a classification of the recognition tasks considered. Later, it presents the basic features of the proposed technique and describes how the technique has been applied to validate the performance of the dialogue system. Later the paper presents the experimental results which, on the one hand, show that six out of the nine recognition tasks employed by the system can be considered validated, since the imposed restrictions on recognition time and sentence understanding are kept. On the other hand, the results show that for improving the system it is necessary to change the strategies used for the remainder three tasks. Finally, the paper shows some possibilities for future work related to the new strategies employable to enhance the performance of the dialogue system.