Medidas de confianza en sistemas de diálogo

Please use this identifier to cite or link to this item: http://hdl.handle.net/10045/1460
Información del item - Informació de l'item - Item information
Title: Medidas de confianza en sistemas de diálogo
Authors: San Segundo Hernández, Rubén | Macías Guarasa, Javier | Montero Martínez, Juan Manuel | Ferreiros López, Javier | Córdoba Herralde, Ricardo de | Pardo Muñoz, José Manuel
Keywords: Medidas de confianza en sistemas de diálogo | Parámetros obtenidos del analizador semántico | Redes neuronales | Confidence measures | Understanding confidence annotation | Neural networks
Issue Date: Sep-2004
Publisher: Sociedad Española para el Procesamiento del Lenguaje Natural
Citation: SAN SEGUNDO HERNÁNDEZ, Rubén, et al. “Medidas de confianza en sistemas de diálogo”. Procesamiento del lenguaje natural. Nº 33 (septiembre 2004), pp. 95-102
Abstract: Este artículo trata el cálculo de medidas de confianza en sistemas de diálogo a tres niveles diferentes: palabra, concepto y frase. Las medidas de confianza se utilizan para detectar errores de reconocimiento, conceptos semánticos incorrectos y frases fuera del dominio de la tarea (o frases mal comprendidas) en el entorno del sistema DARPA Communicator desarrollado en la Universidad de Colorado (Estados Unidos). En este artículo se proponen nuevos parámetros extraídos del analizador semántico, para el cálculo de la confianza a nivel de concepto semántico y frase completa. En nuestro caso hemos considerado una red neuronal para combinar todos los parámetros utilizados y generar una única medida de confianza. Se ha conseguido detectar un 53,2% de palabras erróneas, un 50,1% de conceptos semánticos erróneos y un 76,1% de frases erróneas (fuera del dominio de la tarea o más interpretadas por el sistema) considerando un rechazo incorrecto del 5%. | This paper investigates improved confidence assessment for spoken dialogue systems at three levels: word, concept and utterance levels. The confidence scores are used to detect word-level speech recognition errors, incorrect concepts and out of domain or miss-understood utterances in the CU Communicator system. New measures from the speech understanding component are proposed for confidence annotation at concept and utterance levels. We have considered a neural network to combine all measures in order to provide a unique confidence score. Using the data collected from a live telephony system, it is shown that 53.2% of incorrectly recognized words, 50.1% of incorrect concepts and 76.1% of out of domain or miss-understood utterances are detected at a 5% false rejection rate.
URI: http://hdl.handle.net/10045/1460
ISSN: 1135-5948
Language: spa
Type: info:eu-repo/semantics/article
Appears in Collections:Revistas - Procesamiento del Lenguaje Natural - Nº 33 (septiembre 2004)

Files in This Item:
Files in This Item:
File Description SizeFormat 
ThumbnailPLN_33_13.pdf199,54 kBAdobe PDFOpen Preview


Items in RUA are protected by copyright, with all rights reserved, unless otherwise indicated.