LyricSIM: A novel dataset and benchmark for similarity detection in Spanish song lyrics

Please use this identifier to cite or link to this item: http://hdl.handle.net/10045/137147
Información del item - Informació de l'item - Item information
Title: LyricSIM: A novel dataset and benchmark for similarity detection in Spanish song lyrics
Other Titles: LyricSIM: Un nuevo dataset y benchmark para la detección de similitud en letras de canciones en español
Authors: Benito-Santos, Alejandro | Ghajari, Adrián | Hernández, Pedro | Fresno Fernández, Víctor | Ros, Salvador | González-Blanco García, Elena
Keywords: Semantic textual similarity | Annotation task | Dataset | Benchmark | Cultural heritage | Song lyrics | Similitud semántica en textos | Tarea de anotación | Conjunto de datos | Letras de canciones
Issue Date: Sep-2023
Publisher: Sociedad Española para el Procesamiento del Lenguaje Natural
Citation: Procesamiento del Lenguaje Natural. 2023, 71: 149-163. https://doi.org/10.26342/2023-71-12
Abstract: In this paper, we present a new dataset and benchmark tailored to the task of semantic similarity in song lyrics. Our dataset, originally consisting of 2775 pairs of Spanish songs, was annotated in a collective annotation experiment by 63 native annotators. After collecting and refining the data to ensure a high degree of consensus and data integrity, we obtained 676 high-quality annotated pairs that were used to evaluate the performance of various state-of-the-art monolingual and multilingual language models. Consequently, we established baseline results that we hope will be useful to the community in all future academic and industrial applications conducted in this context. | En este trabajo presentamos un nuevo conjunto de datos y benchmark orientados a la tarea de similitud semántica en letras de canciones. Nuestro conjunto de datos, originalmente formado por 2775 pares de canciones en Español, fue anotado en un experimento de anotación colectivo por 63 anotadores nativos. Después de recoger y refinar los datos para asegurar un alto grado de consenso e integridad en los datos, obtuvimos 676 pares anotados de alta calidad que fueron empleados para evaluar el rendimiento de diferentes modelos del lenguaje monolingües y multilingües pertenecientes al estado del arte. En consecuencia, obtuvimos unos resultados base que esperamos sean de utilidad a la comunidad en todas aquellas aplicaciones académicas e industriales futuras que se realicen en este contexto.
Sponsor: This research has been carried out in the framework of the Grant LyrAIcs Grant agreement ID: 964009 funded by ERC-POCLS, and in the framework of the Grant CLS INFRA reference 101004984 funded by H2020-INFRAIA-2020-1. It has also received funding from the project ISL: Intelligent Systems for Learning (GID2016-39) in the call PID 22/23, and from FAIRTRANSNLP-DIAGNOSIS: Measuring and quantifying bias and fairness in NLP systems, grant PID2021-124361OB-C32, funded by MCIN/AEI/10.13039/501100011033 and by ERDF, EU A way of making Europe. Alejandro Benito-Santos acknowledges support from the postdoctoral grant ”Margarita Salas”, awarded by the Spanish Ministry of Universities.
URI: http://hdl.handle.net/10045/137147
ISSN: 1135-5948
DOI: 10.26342/2023-71-12
Language: eng
Type: info:eu-repo/semantics/article
Rights: © Sociedad Española para el Procesamiento del Lenguaje Natural. Distribuido bajo Licencia Creative Commons Reconocimiento-NoComercial-SinObraDerivada 4.0
Peer Review: si
Publisher version: https://doi.org/10.26342/2023-71-12
Appears in Collections:Procesamiento del Lenguaje Natural - Nº 71 (2023)
Research funded by the EU

Files in This Item:
Files in This Item:
File Description SizeFormat 
ThumbnailPLN_71_12.pdf1,24 MBAdobe PDFOpen Preview


This item is licensed under a Creative Commons License Creative Commons