Topic Identification based on Bayesian Belief Networks in the context of an Air Traffic Control Task

Abstract

En este artículo presentamos una tarea de identificación de tópico basada en Redes Bayesianas. Estas redes son entrenadas a partir de los conceptos semánticos que se han etiquetado para cada frase a procesar y que han sido definidos por un experto en el dominio de aplicación. Los tópicos a identificar se corresponden con las cinco posiciones de control disponibles en un aeropuerto. Se ha llevado a cabo una evaluación basada en bloques de frases. Obtenemos una tasa de error de identificación de bloque del 3.5% para un esquema de evaluación ‘winner takes all’ usando un tamaño de 5 frases por bloque. Finalmente, comparamos los resultados obtenidos con una estrategia basada en un clasificador Bayesiano para el que tomamos como vector de parámetros las perplejidades resultantes de aplicar un modelo de lenguaje de tipo trigrama específico para cada uno de los tópicos. Los resultados obtenidos demuestran la importancia de considerar el orden de aparición de la información y la necesidad de incluirla en las Redes Bayesianas en futuros trabajos.

In this paper we present a topic identification task based on a Bayesian Belief Network approach. These networks are trained with a number of semantic concepts which have been tagged for each utterance and defined by an expert in the application domain. The target topics are the five control positions available at the airport. In order to evaluate the performance of our approach we apply a block based evaluation scheme. The lower error rate that we obtained was 3.5% using a winner takes all evaluation scheme and using five utterances per block. Finally, we compare these results with those obtained by a Bayesian classifier considering a parameter vector constituted by the resultant perplexities, at phrase level, applying a trigram language model for each topic of the task; the obtained results allow us to know intuitively the importance of including temporal information into the BN in future works.