Consumer Cynicism Identification for Spanish Reviews using a Spanish Transformer Model

Abstract

Companies pay close attention to how consumers react on social media to their products or services. Our work focuses on the identification of Consumer Cynicism, defined as a negative attitude that can have a broad or specific focus and comprises cognitive, affective, and behavioral components. We create a corpus of 619 Spanish-language comments on YouTube car reviews, annotated for four cynicism constructs: Dissatisfaction, Alienation, Skepticism, and Hostility. We compare different classification formulations (binary vs. multi-label) and different pre-trained models (Spanish BETO vs. multilingual BERT). We find binary classifiers derived from BETO consistently outperform multi-label classifiers and classifiers derived from BERT. Our best models achieve F1 of 0.83 for Dissatisfaction, 0.77 for Hostility, 0.71 for Skepticism and 0.70 for Alienation.

Las empresas prestan mucha atención a las reacciones de los consumidores de sus productos o servicios en las redes sociales. Nuestro trabajo se centra en la identificación del cinismo del consumidor, el cual se define como una actitud negativa que puede tener un enfoque amplio o específico y comprende los componentes cognitivo, afectivo y conductual. Creamos un corpus de 619 comentarios en el idioma español sobre reseñas de automóviles de YouTube, los comentarios se etiquetaron para cuatro constructos del cinismo: Insatisfacción, Alienación, Escepticismo y Hostilidad. Además, comparamos diferentes formulaciones de clasificación (binaria vs. multi-etiqueta) y diferentes modelos pre-entrenados (BETO-español vs. BERT-multilingüe). Encontramos que los clasificadores binarios derivados de BETO superan consistentemente a los clasificadores de etiquetas múltiples y a los clasificadores derivados de BERT. Nuestros mejores modelos alcanzan F1 de 0.83 para Insatisfacción, 0.77 para Hostilidad, 0.71 para Escepticismo y 0.70 para Alienación.