Acceso usuarios
Summer Devlin, Olivier Philippe, Claudia Andreina Rosas Mendoza
La mayoría de los trabajos sobre detección de stance (posicionamiento) se han centrado en la clasificación supervisada de texto en íngles, a pesar del creciente interés por comprender cómo se desempeñan los modelos de lenguaje grandes (LLMs) en entornos multilingües y de pocos recursos. Este artículo revisita la tarea desde la perspectiva del in-context learning (ICL), introduciendo un método novedoso llamado modified Chain-of-Stance (mCoS) y evaluando si los LLMs de open-source pueden funcionar como alternativas competitivas, sin entrenamiento, a los sistemas supervisados tradicionales. Evaluamos cuatro LLMs ajustados con instrucciones en tuits en español y catalán del Catalonia Independence Corpus (CIC), en euskera con Vaxxstance, y en tuits en inglés de SemEval-2016, comparando cinco estrategias de prompting zero-shot, few-shot, chain-of-thought, mCoS y el COLA multi-agent framework frente a sólidos baselines supervisados. mCoS alcanza rendimiento stateof- the-art en todos los conjuntos de datos evaluados por modelos generativos, aunque sigue por debajo de los baselines estadísticos y de transformadores finetuned en los entornos multilingues de español, catalán, y euskera. Un análisis adicional muestra que el ruido en las anotaciones y los sesgos ligados al idioma explican gran parte de los errores, subrayando los desafíos de la detección de stance multilingüe y la necesidad de conjuntos de datos de mayor calidad y evaluaciones orientadas a la equidad.
Despite the importance of performance of large language models (LLMs) in multilingual and low-resource settings, most work on stance detection has focused on supervised text classification in English. This paper revisits the task through in-context learning (ICL) method, introducing a novel method called modified Chain-of-Stance (mCoS) and assessing whether open-source LLMs can serve as competitive, zero-training alternatives to supervised systems. This work evaluates four instruction-tuned LLMs on Spanish and Catalan tweets from the Catalonia Independence Corpus (CIC). It also evaluates them on Basque (Euskera) data from VaxxStance and English tweets from SemEval-2016. The study compares five prompting strategies: zero-shot, few-shot, chain-of-thought, modified Chain-of-Stance, and the COLA multi-agent framework, and the results are compared against strong supervised baselines. The paper concludes that mCoS achieves state-of-the-art performance in all languages evaluated for generative models, but remains below fine-tuned and statistical baselines in the multilingual settings of Spanish, Catalan and Basque. Additional analysis shows that annotation noise and language-linked biases for the CIC dataset drive many errors, highlighting persistent challenges in multilingual stance detection and the need for higher-quality and fairness-oriented evaluation resources.
