Overview of FLARES at IberLEF 2024: Fine-grained Language-based Reliability Detection in Spanish News
Please use this identifier to cite or link to this item:
http://hdl.handle.net/10045/146906
Title: | Overview of FLARES at IberLEF 2024: Fine-grained Language-based Reliability Detection in Spanish News |
---|---|
Other Titles: | Resumen de FLARES en IberLEF 2024: Detección detallada de la confiabilidad en el lenguaje de noticias en español |
Authors: | Sepúlveda-Torres, Robiert | Bonet-Jover, Alba | Diab, Isam | Guillén-Pacho, Ibai | Cabrera-de Castro, Isabel | Badenes-Olmedo, Carlos | Saquete Boró, Estela | Martín Valdivia, María Teresa | Martínez-Barco, Patricio | Ureña López, Luis Alfonso |
Research Group/s: | Procesamiento del Lenguaje y Sistemas de Información (GPLSI) |
Center, Department or Service: | Universidad de Alicante. Departamento de Lenguajes y Sistemas Informáticos |
Keywords: | Natural Language Processing | Reliability Detection | Quality Information | Language Models | Procesamiento del Lenguaje Natural | Detección de Confiabilidad | Calidad de la Información | Modelos de Lenguaje |
Issue Date: | Sep-2024 |
Publisher: | Sociedad Española para el Procesamiento del Lenguaje Natural |
Citation: | Procesamiento del Lenguaje Natural. 2024, 73: 369-379. https://doi.org/10.26342/2024-73-28 |
Abstract: | This paper presents FLARES, a shared task organised in the framework of the evaluation campaign of Natural Language Processing systems in Spanish and other Iberian languages, IberLEF 2024. FLARES aims to detect patterns of reliability in the language used in news that will allow the development of effective techniques for the future detection of misleading information. To this end, the 5W1H journalistic technique for detecting the relevant content of a news item is proposed as a basis, as well as an annotation guideline designed to detect linguistic reliability. Two subtasks are proposed: the first focusing on the identification of the 5W1H elements and the second focusing on the detection of reliability. A total of 7 participants registered in the shared task, of which 3 participated in the first subtask and 4 in the second. The teams proposed various approaches, especially based on fine-tuning of encoding models and adjustment of instructions in decoding models. | Este artículo presenta FLARES, una tarea compartida organizada en el marco de la campaña de evaluación de sistemas de Procesamiento del Lenguaje Natural en español y otras lenguas ibéricas, IberLEF 2024. FLARES tiene como objetivo detectar patrones de confiabilidad en el lenguaje utilizado en las noticias que permita desarrollar técnicas eficaces para la futura detección de información engañosa. Para ello, se propone como base la técnica periodística de las 5W1H para detectar el contenido relevante de una noticia, así como una guía de anotación diseñada para detectar la confiabilidad lingüística. Se proponen dos subtareas: la primera centrada en la identificación de los elementos 5W1H y la segunda en la detección de la confiabilidad. Un total de 7 participantes se registraron en la tarea compartida, de los cuales 3 participaron en la primera subtarea y 4 en la segunda. Los equipos propusieron diversos enfoques, especialmente basado en el ajuste de modelos de codificación y en el ajuste de instrucciones en modelos de decodificación. |
Sponsor: | This research work is part of the R&D&I projects: COOLANG.CONSENSO/TRIVIAL (PID2021-122263OB-C21/PID2021-122263OB-C22) funded by MCIN/AEI/10.13039/501100011033/ and by ERDF A way of making Europe; SOCIAL-FAIRNESS. SOCIALTOX/SOCIALTRUST (PDC2022-133146-C21/PDC2022-133146-C21C22), funded by MCIN/AEI/10.13039/501100011033/ and by the European Union NextGenerationEU/PRTR; NL4DISMIS: Natural Language Technologies for dealing with dis- and misinformation with grant reference (CIPROM/2021/21) funded by the Generalitat Valenciana; Project MODERATES (TED2021-130145B-I00); and Public Procurement Assessment in the Healthcare Sector - ProCure (101128437) funded by the European Union NextGenerationEU/PRTR. It is also supported by the Predoctoral Grants PIPF-2022/COM-25947 and PIPF-2022/COM-25762 of the Consejería de Educación, Ciencia y Universidades de la Comunidad de Madrid, Spain. |
URI: | http://hdl.handle.net/10045/146906 |
ISSN: | 1135-5948 |
DOI: | 10.26342/2024-73-28 |
Language: | eng |
Type: | info:eu-repo/semantics/article |
Rights: | © Sociedad Española para el Procesamiento del Lenguaje Natural. Distribuido bajo Licencia Creative Commons Reconocimiento-NoComercial-SinObraDerivada 4.0 |
Peer Review: | si |
Publisher version: | https://doi.org/10.26342/2024-73-28 |
Appears in Collections: | INV - GPLSI - Artículos de Revistas |
Files in This Item:
File | Description | Size | Format | |
---|---|---|---|---|
![]() | 712,62 kB | Adobe PDF | Open Preview | |
Items in RUA are protected by copyright, with all rights reserved, unless otherwise indicated.