Moreda, Paloma, Llorens Martínez, Héctor, Saquete Boró, Estela, Palomar, Manuel
The influence of semantic roles in QA: a comparative analysis
MOREDA POZO, Paloma, et al. “The influence of semantic roles in QA: a comparative analysis”. Procesamiento del lenguaje natural. N. 41 (sept. 2008). ISSN 1135-5948, pp. 55-62
URI: http://hdl.handle.net/10045/8065
DOI: 
ISSN: 1135-5948
Abstract: 
Los conjuntos de preguntas utilizados normalmente para evaluar los
sistemas de búsqueda de respuestas (BR) están principalmente constituidos por preguntas
cuyas respuestas son entidades nombradas (NE), por tanto, la mayoría de
estos sistemas usan reconocedores de entidades para extraer las posibles respuestas. Últimamente, el etiquetado de roles semánticos y su contribución a la BR es
un tema de especial interés. Sin embargo, los sistemas basados en NEs siempre
funcionarán mejor que los basados en roles a la hora de extraer respuestas para
preguntas cuya respuesta sea una NE. El objetivo de este artículo es evaluar ambos
métodos para preguntas de lugar bajo las mismas condiciones, usando, no sólo preguntas
basadas en nombres propios sino también basadas en nombres comunes. Para
ello se presentan tres propuestas diferentes de un módulo de extracción de respuestas
embebidas en un sistema de BR: una basada en entidades nombradas y dos basadas
en roles semánticos. Los resultados obtenidos indican que mientras la propuesta
de NE contesta mejor las preguntas basadas en nombres propios (+49,57% MRR),
las propuestas de roles obtienen los mejores resultados en las preguntas basadas en
nombres comunes (+223,48% MRR) siendo sus resultados de una precisión más alta
para ambos tipos de preguntas.
Question sets normally used to evaluate QA systems are mainly based
on questions whose answers are named entities, therefore most of these systems rely
on NERs to extract possible answers. Nowadays, semantic role labeling and its
contribution to question answering has recently become an interesting issue. Nevertheless,
NE-based systems will always work better than SR-based ones extracting
answers for questions with NE-based answers. The aim of this paper is to evaluate
both of approaches for location questions under the same conditions and using not
only NE-based questions but also common noun-based ones. In order to achieve
this goal we present three different proposals of an answer extraction module embedded
into a QA system: one based on named entities and two based on semantic
roles. Results show that while NE-based approach performs better with NE-based
questions (MRR +49.57%), SR-based approaches show the best results in common
noun-based ones (MRR +223.48%) and obtain a higher precision in both types of
questions.
Keywords:Roles semánticos, Entidades nombradas, Búsqueda de respuestas, Semantic roles, Named entities, Question answering
Sociedad Española para el Procesamiento del Lenguaje Natural
info:eu-repo/semantics/article