New measures for open-domain question answering evaluation within a time constraint
Por favor, use este identificador para citar o enlazar este ítem:
http://hdl.handle.net/10045/3136
| Título: | New measures for open-domain question answering evaluation within a time constraint |
|---|---|
| Autor/es: | Noguera Robles, Elisa | Llopis, Fernando | Ferrández, Antonio | Escapa, Alberto |
| Grupo/s de investigación o GITE: | Procesamiento del Lenguaje Natural y Sistemas de Información |
| Centro, Departamento o Servicio: | Universidad de Alicante. Departamento de Lenguajes y Sistemas Informáticos | Universidad de Alicante. Departamento de Matemática Aplicada |
| Palabras clave: | Evaluación | Búsqueda de respuestas | Evaluation | Question answering |
| Área/s de conocimiento: | Lenguajes y Sistemas Informáticos |
| Fecha de creación: | abr-2007 |
| Fecha de publicación: | sep-2007 |
| Editor: | Springer |
| Cita bibliográfica: | NOGUERA ROBLES, Elisa, et al. “New measures for open-domain question answering evaluation within a time constraint”. Lecture notes in computer science. 2007, Vol. 4629/2007. ISSN 0302-9743, pp. 540-547 |
| Resumen: | Previous works on evaluating the performance of Question Answering (QA) systems are focused on the evaluation of the precision. In this paper, we developed a mathematic procedure in order to explore new evaluation measures in QA systems considering the answer time. Also, we carried out an exercise for the evaluation of QA systems within a time constraint in the CLEF-2006 campaign, using the proposed measures. The main conclusion is that the evaluation of QA systems in realtime can be a new scenario for the evaluation of QA systems. |
| Patrocinador/es: | This research has been partially supported by the framework of the project QALL-ME (FP6-IST-033860), which is a 6th Framenwork Research Programme of the European Union (EU), by the Spanish Government, project TEXT-MESS (TIN-2006-15265-C06-01) and by the Valencia Government under project number GV06-161. |
| URI: | http://hdl.handle.net/10045/3136 |
| ISBN: | 978-3-540-74627-0 |
| ISSN: | 0302-9743 |
| DOI: | 10.1007/978-3-540-74628-7 |
| Idioma: | eng |
| Tipo: | info:eu-repo/semantics/article |
| Derechos: | The original publication is available at www.springerlink.com |
| Revisión científica: | si |
| Versión del editor: | http://dx.doi.org/10.1007/978-3-540-74628-7 |
| Aparece en las colecciones: | INV - GPLSI - Artículos de Revistas INV - GEDE - Artículos de Revistas INV - I+GE - Artículos de Revistas |
Archivos en este ítem:
| Archivo | Descripción | Tamaño | Formato | |
|---|---|---|---|---|
 tsd07.pdf | Versión revisada (acceso libre) | 842,84 kB | Adobe PDF | Abrir Vista previa |
Ver citas en Google Académico
Todos los documentos en RUA están protegidos por derechos de autor. Algunos derechos reservados.