Resumen de Discriminative Benchmarking of Spanish Language Models: Findings from the ODESIA Challenge 2024

Alejandro Benito Santos, Roser Morante , Adrián Ghajari Espinosa, Iker García Ferrero, Robiert Sepúlveda Torres, Germán Rigau Claramunt , Rodrigo Agerri Gascón , Juan Pablo Consuegra Ayala, Ernesto Luis Estevanell Valladares, Fabio Yáñez Romero, Miquel Canal Esteve, Yoan Gutiérrez Vázquez , Rafael Muñoz Guillena , Manuel Palomar Sanz , Eva Sánchez Salido, Guillermo Marco Remón, Andrés Fernández García, Víctor Fresno Fernández , Enrique Amigó, Laura Plaza Morales, Jorge Carrillo de Albornoz, Miguel Lucas, Julio Gonzalo Arroyo

• español

  Presentamos los resultados del ODESIA Challenge 2024, una competición abierta basada en conjuntos de prueba privados orientada a evaluar sistemas de procesamiento del lenguaje natural (PLN) en español en diez tareas discriminativas.

  El sistema ganador, un LLM (Qwen2.5-14B), destacó por su rendimiento en extractive Question Answering, mientras que los encoders superaron a los LLM en tareas como sequence labeling y soft classification. Concluimos que, aunque los grandes modelos generativos pueden dominar tareas de razonamiento con contextos largos, los encoders logran un rendimiento comparable o superior en muchos escenarios discriminativos, poniendo en tela de juicio la creencia de que el tamaño de un modelo es un factor más decisivo que el emplear una arquitectura especializada en este tipo de tareas.

• English

  This paper presents the results from the 2024 ODESIA Challenge, a public competition aimed at benchmarking natural language processing (NLP) systems in Spanish across ten discriminative tasks using a standardized methodology based on private, held-out test sets. Results show the winning system (Qwen2.5-14B) prevailed due to structural advantages in extractive Question Answering, whereas encoders outperformed LLMs in other tasks such as sequence labeling and soft classification. We conclude that, while generative models may dominate reasoning-heavy tasks involving long contexts, encoder architectures obtain on-par or even better performance in many other discriminative scenarios, challenging the assumption that massive scale universally supersedes specialized architectural design.