Medidas de confianza en sistemas de diálogo

Abstract

Este artículo trata el cálculo de medidas de confianza en sistemas de diálogo a tres niveles diferentes: palabra, concepto y frase. Las medidas de confianza se utilizan para detectar errores de reconocimiento, conceptos semánticos incorrectos y frases fuera del dominio de la tarea (o frases mal comprendidas) en el entorno del sistema DARPA Communicator desarrollado en la Universidad de Colorado (Estados Unidos). En este artículo se proponen nuevos parámetros extraídos del analizador semántico, para el cálculo de la confianza a nivel de concepto semántico y frase completa. En nuestro caso hemos considerado una red neuronal para combinar todos los parámetros utilizados y generar una única medida de confianza. Se ha conseguido detectar un 53,2% de palabras erróneas, un 50,1% de conceptos semánticos erróneos y un 76,1% de frases erróneas (fuera del dominio de la tarea o más interpretadas por el sistema) considerando un rechazo incorrecto del 5%.

This paper investigates improved confidence assessment for spoken dialogue systems at three levels: word, concept and utterance levels. The confidence scores are used to detect word-level speech recognition errors, incorrect concepts and out of domain or miss-understood utterances in the CU Communicator system. New measures from the speech understanding component are proposed for confidence annotation at concept and utterance levels. We have considered a neural network to combine all measures in order to provide a unique confidence score. Using the data collected from a live telephony system, it is shown that 53.2% of incorrectly recognized words, 50.1% of incorrect concepts and 76.1% of out of domain or miss-understood utterances are detected at a 5% false rejection rate.