The influence of semantic roles in QA: a comparative analysis

Por favor, use este identificador para citar o enlazar este ítem: http://hdl.handle.net/10045/8065
Información del item - Informació de l'item - Item information
Título: The influence of semantic roles in QA: a comparative analysis
Título alternativo: La influencia de los roles semanticos en BR: un análisis comparativo
Autor/es: Moreda, Paloma | Llorens Martínez, Héctor | Saquete Boró, Estela | Palomar, Manuel
Palabras clave: Roles semánticos | Entidades nombradas | Búsqueda de respuestas | Semantic roles | Named entities | Question answering
Fecha de publicación: sep-2008
Editor: Sociedad Española para el Procesamiento del Lenguaje Natural
Cita bibliográfica: MOREDA POZO, Paloma, et al. “The influence of semantic roles in QA: a comparative analysis”. Procesamiento del lenguaje natural. N. 41 (sept. 2008). ISSN 1135-5948, pp. 55-62
Resumen: Los conjuntos de preguntas utilizados normalmente para evaluar los sistemas de búsqueda de respuestas (BR) están principalmente constituidos por preguntas cuyas respuestas son entidades nombradas (NE), por tanto, la mayoría de estos sistemas usan reconocedores de entidades para extraer las posibles respuestas. Últimamente, el etiquetado de roles semánticos y su contribución a la BR es un tema de especial interés. Sin embargo, los sistemas basados en NEs siempre funcionarán mejor que los basados en roles a la hora de extraer respuestas para preguntas cuya respuesta sea una NE. El objetivo de este artículo es evaluar ambos métodos para preguntas de lugar bajo las mismas condiciones, usando, no sólo preguntas basadas en nombres propios sino también basadas en nombres comunes. Para ello se presentan tres propuestas diferentes de un módulo de extracción de respuestas embebidas en un sistema de BR: una basada en entidades nombradas y dos basadas en roles semánticos. Los resultados obtenidos indican que mientras la propuesta de NE contesta mejor las preguntas basadas en nombres propios (+49,57% MRR), las propuestas de roles obtienen los mejores resultados en las preguntas basadas en nombres comunes (+223,48% MRR) siendo sus resultados de una precisión más alta para ambos tipos de preguntas. | Question sets normally used to evaluate QA systems are mainly based on questions whose answers are named entities, therefore most of these systems rely on NERs to extract possible answers. Nowadays, semantic role labeling and its contribution to question answering has recently become an interesting issue. Nevertheless, NE-based systems will always work better than SR-based ones extracting answers for questions with NE-based answers. The aim of this paper is to evaluate both of approaches for location questions under the same conditions and using not only NE-based questions but also common noun-based ones. In order to achieve this goal we present three different proposals of an answer extraction module embedded into a QA system: one based on named entities and two based on semantic roles. Results show that while NE-based approach performs better with NE-based questions (MRR +49.57%), SR-based approaches show the best results in common noun-based ones (MRR +223.48%) and obtain a higher precision in both types of questions.
Patrocinador/es: This paper has been partially supported by the Spanish government, project TIN-2006-15265-C06-01 and project GV06/028, and by the framework of the project QALL-ME, which is a 6th Framework Research Programme of the European Union (EU), contract number: FP6-IST-033860.
URI: http://hdl.handle.net/10045/8065
ISSN: 1135-5948
Idioma: eng
Tipo: info:eu-repo/semantics/article
Aparece en las colecciones:Procesamiento del Lenguaje Natural - Nº 41 (septiembre 2008)
INV - GPLSI - Artículos de Revistas

Archivos en este ítem:
Archivos en este ítem:
Archivo Descripción TamañoFormato 
ThumbnailPLN_41_07.pdf343,16 kBAdobe PDFAbrir Vista previa


Todos los documentos en RUA están protegidos por derechos de autor. Algunos derechos reservados.