Acceso usuarios
, Paloma Moreda Pozo
La Detección de Subjetividad (SD) es una tarea fundamental del PLN, que distingue entre contenido factual y opinión. Su análisis proporciona conocimiento lingüístico profundo, útil para tareas como la detección de desinformación. Nuestro objetivo es desarrollar y validar un marco de anotación híbrido para la SD en español. Nuestra metodología incluye: (1) un estudio piloto que compara la anotación humana con el aprendizaje automático (ML) y grandes modelos de lenguaje (LLMs); (2) un análisis de errores para refinar el marco; y (3) la aplicación del marco consolidado. Los resultados muestran que ML logra mayor precisión, pero ignora estructuras complejas (ej., subjuntivo). La metodología híbrida se prueba en tres configuraciones de anotación (humana [A1], automática no revisada [A2], semi-automática consolidada [A3]). La A3 logra el mejor equilibrio entre calidad y consumo de tiempo (solo 19% de la anotación manual).
Subjectivity Detection (SD) is a fundamental NLP task that distinguishes between factual content and opinion. Its analysis provides profound linguistic knowledge, useful for tasks such as disinformation detection. Our objective is to develop and validate a hybrid annotation framework for SD in Spanish. Our methodology includes: (1) a pilot study comparing human annotation against Machine Learning (ML) and Large Language Models (LLMs); (2) an error analysis to refine the framework; and (3) the application of the consolidated framework. Results show ML achieving higher precision, but overlooking complex structures (e.g., subjunctive). The consolidated hybrid methodology is tested in three annotation setups (human [A1], unrevised automatic [A2], consolidated semi-automatic [A3]). A3 achieves the best balance between quality and time consumption (only 19% of the manual annotation effort).
