San Segundo Hernández, Rubén, Macías Guarasa, Javier, Montero Martínez, Juan Manuel, Ferreiros López, Javier, Córdoba Herralde, Ricardo de, Pardo Muñoz, José Manuel
Medidas de confianza en sistemas de diálogo
SAN SEGUNDO HERNÁNDEZ, Rubén, et al. “Medidas de confianza en sistemas de diálogo”. Procesamiento del lenguaje natural. Nº 33 (septiembre 2004), pp. 95-102
URI: http://hdl.handle.net/10045/1460
DOI: 
ISSN: 1135-5948
Abstract: 
Este artículo trata el cálculo de medidas de confianza en sistemas de diálogo a tres niveles diferentes: palabra, concepto y frase. Las medidas de confianza se utilizan para detectar errores de reconocimiento, conceptos semánticos incorrectos y frases fuera del dominio de la tarea (o frases mal comprendidas) en el entorno del sistema DARPA Communicator desarrollado en la Universidad de Colorado (Estados Unidos). En este artículo se proponen nuevos parámetros extraídos del analizador semántico, para el cálculo de la confianza a nivel de concepto semántico y frase completa. En nuestro caso hemos considerado una red neuronal para combinar todos los parámetros utilizados y generar una única medida de confianza. Se ha conseguido detectar un 53,2% de palabras erróneas, un 50,1% de conceptos semánticos erróneos y un 76,1% de frases erróneas (fuera del dominio de la tarea o más interpretadas por el sistema) considerando un rechazo incorrecto del 5%.
This paper investigates improved confidence assessment for spoken dialogue systems
at three levels: word, concept and utterance levels. The confidence scores are used to detect
word-level speech recognition errors, incorrect concepts and out of domain or miss-understood
utterances in the CU Communicator system. New measures from the speech understanding
component are proposed for confidence annotation at concept and utterance levels. We have
considered a neural network to combine all measures in order to provide a unique confidence
score. Using the data collected from a live telephony system, it is shown that 53.2% of
incorrectly recognized words, 50.1% of incorrect concepts and 76.1% of out of domain or miss-understood
utterances are detected at a 5% false rejection rate.
Keywords:Medidas de confianza en sistemas de diálogo, Parámetros obtenidos del analizador semántico, Redes neuronales, Confidence measures, Understanding confidence annotation, Neural networks
Sociedad Española para el Procesamiento del Lenguaje Natural
info:eu-repo/semantics/article