Acceso usuarios
Aitzo Saizar, Maddalen López de Lacalle, Xavier Saralegi Urizar
Este trabajo evalúa el rendimiento de los modelos de lenguaje generativos Llama3 (8B y 70B) en la predicción de los rasgos de personalidad del modelo Big Five a partir de textos en español y euskera. Se analizaron diversas estrategias de aprendizaje en contexto, incluyendo zero-shot, few-shot y Chain-of-Thought (CoT) prompting, así como el ajuste fino, utilizando dos conjuntos de datos construidos a partir de diferentes fuentes: Essays y PAN-15 (con un subconjunto en euskera traducido específicamente para este trabajo). Los resultados muestran que Llama3 tiene un desempeño deficiente en euskera; las estrategias de aprendizaje en contexto no logran superar la línea de base aleatoria, salvo una leve mejora con CoT en el modelo de 70B. El ajuste fino del modelo de 8B solo proporciona mejoras marginales. En español, el rendimiento es superior pero sigue siendo modesto, el one-shot prompting y el ajuste fino ofrecen ligeras mejoras en el caso del modelo más pequeño. Por ´ultimo, en el caso del español, todas las técnicas de aprendizaje en contexto superan el enfoque zero-shot cuando se utiliza el modelo de 70B.
This study assesses the performance of Llama3 generative large language models (8B and 70B) in predicting Big Five personality traits from Spanish and Basque texts. Various in-context learning approaches, including zero-shot, few-shot, and Chain-of-Thought (CoT) prompting, as well as instruction fine-tuning, were evaluated on two datasets built on texts from different sources, Essays and PAN-15 (with a Basque subset translated for this work). Results show that Llama3 performs poorly in Basque, with in-context learning strategies failing to exceed the random baseline, except for a slight improvement with CoT on the 70B model. Fine-tuning the 8B model provides only marginal gains. Performance in Spanish is better but remains modest, with one-shot prompting and fine-tuning offering slight improvements in the case of the smaller model. Finally, in the case of Spanish, all in-context learning techniques surpass zero-shot when using the 70B model.
