Generación automática de meta-resúmenes para la evaluación del manejo de estructuras discursivas y coherencia en el alumnado
Por favor, use este identificador para citar o enlazar este ítem:
http://hdl.handle.net/10045/114250
Título: | Generación automática de meta-resúmenes para la evaluación del manejo de estructuras discursivas y coherencia en el alumnado |
---|---|
Título alternativo: | Automatic generation of meta-summaries for evaluation of the handling of discursive structures and coherence in students |
Autor/es: | Atutxa, Unai | Molina-Villegas, Alejandro | Iruskieta Quintian, Mikel |
Palabras clave: | Evaluación de Resumen Automático | Análisis del discurso | PLN en Euskera | Summarization Evaluation | Discourse Analysis | Basque NLP |
Área/s de conocimiento: | Lenguajes y Sistemas Informáticos |
Fecha de publicación: | mar-2021 |
Editor: | Sociedad Española para el Procesamiento del Lenguaje Natural |
Cita bibliográfica: | Procesamiento del Lenguaje Natural. 2021, 66: 165-175. https://doi.org/10.26342/2021-66-14 |
Resumen: | La técnica de crowd-sourcing puede ser una herramienta de gran ayuda tanto para evaluar los resúmenes de los alumnos como para poder ofrecerles un feedback que ayude a mejorar sus destrezas para resumir. En este trabajo, se propone un enfoque para la generación de meta-resúmenes en euskera, con el objetivo de diseñar y desarrollar una evaluación automática de los resúmenes de extracción. Se presenta un nuevo algoritmo que permite usar los meta-resúmenes generados con las siguientes finalidades: i) comparar los resúmenes elaborados por alumnos de diferentes edades y cursos educativos (primaria y universidad), ii) evaluar los resúmenes creados en clase (evaluación de la clase) y iii) evaluar a cada alumno (evaluación individual). Los resultados muestran que el método propuesto, el cual se ha elaborado basándose en aspectos cualitativos (estructura discursiva de la coherencia) y cuantitativos (kappa de Fleis y distancia de Hamming), es apto para comparar grupos e individuos. | Crowd-sourcing can help teachers to evaluate student summaries and give them feedback to improve their summarization skills. In this paper, we propose an approach for meta-summaries generation, to design and develop the automatic evaluation of extractive summaries for the Basque language. We propose a novel algorithm that allows to use the generated meta-summaries to i) compare students meta-summaries at different ages and education stages (elementary and undergraduates), ii) evaluate classroom meta-summaries (classroom evaluation) and iii) evaluate each student (individual evaluation). The results show that our proposed method, based on qualitative (coherence discourse structure) and quantitative (Fleis kappa and Hamming distance) measures, is accurate to compare both: groups and individuals. |
Patrocinador/es: | El trabajo de Unai Atutxa está financiado por una beca de doctorado (PIF18/118) de la Universidad del País Vasco (UPV/EHU). |
URI: | http://hdl.handle.net/10045/114250 |
ISSN: | 1135-5948 |
DOI: | 10.26342/2021-66-14 |
Idioma: | spa |
Tipo: | info:eu-repo/semantics/article |
Derechos: | © Sociedad Española para el Procesamiento del Lenguaje Natural |
Revisión científica: | si |
Versión del editor: | https://doi.org/10.26342/2021-66-14 |
Aparece en las colecciones: | Procesamiento del Lenguaje Natural - Nº 66 (2021) |
Archivos en este ítem:
Archivo | Descripción | Tamaño | Formato | |
---|---|---|---|---|
PLN_66_14.pdf | 891,22 kB | Adobe PDF | Abrir Vista previa | |
Todos los documentos en RUA están protegidos por derechos de autor. Algunos derechos reservados.