Acceso usuarios
La mayoría de los trabajos sobre detección de stance (posicionamiento) se han centrado en la clasificación supervisada de texto en íngles, a pesar del creciente interés por comprender cómo se desempeñan los modelos de lenguaje grandes (LLMs) en entornos multilingües y de pocos recursos. Este artículo revisita la tarea desde la perspectiva del in-context learning (ICL), introduciendo un método novedoso llamado modified Chain-of-Stance (mCoS) y evaluando si los LLMs de open-source pueden funcionar como alternativas competitivas, sin entrenamiento, a los sistemas supervisados tradicionales. Evaluamos cuatro LLMs ajustados con instrucciones en tuits en español y catalán del Catalonia Independence Corpus (CIC), en euskera con Vaxxstance, y en tuits en inglés de SemEval-2016, comparando cinco estrategias de prompting zero-shot, few-shot, chain-of-thought, mCoS y el COLA multi-agent framework frente a sólidos baselines supervisados. mCoS alcanza rendimiento stateof- the-art en todos los conjuntos de datos evaluados por modelos generativos, aunque sigue por debajo de los baselines estadísticos y de transformadores finetuned en los entornos multilingues de español, catalán, y euskera. Un análisis adicional muestra que el ruido en las anotaciones y los sesgos ligados al idioma explican gran parte de los errores, subrayando los desafíos de la detección de stance multilingüe y la necesidad de conjuntos de datos de mayor calidad y evaluaciones orientadas a la equidad.
Despite the importance of performance of large language models (LLMs) in multilingual and low-resource settings, most work on stance detection has focused on supervised text classification in English. This paper revisits the task through in-context learning (ICL) method, introducing a novel method called modified Chain-of-Stance (mCoS) and assessing whether open-source LLMs can serve as competitive, zero-training alternatives to supervised systems. This work evaluates four instruction-tuned LLMs on Spanish and Catalan tweets from the Catalonia Independence Corpus (CIC). It also evaluates them on Basque (Euskera) data from VaxxStance and English tweets from SemEval-2016. The study compares five prompting strategies: zero-shot, few-shot, chain-of-thought, modified Chain-of-Stance, and the COLA multi-agent framework, and the results are compared against strong supervised baselines. The paper concludes that mCoS achieves state-of-the-art performance in all languages evaluated for generative models, but remains below fine-tuned and statistical baselines in the multilingual settings of Spanish, Catalan and Basque. Additional analysis shows that annotation noise and language-linked biases for the CIC dataset drive many errors, highlighting persistent challenges in multilingual stance detection and the need for higher-quality and fairness-oriented evaluation resources.
