Acceso usuarios
Este trabajo presenta un análisis comparativo de la anotación en la detección de sexismo utilizando datos ambiguos en Español seleccionados con el método Think Twice. Un subconjunto de instancias con contenido sexista fue anotado por mujeres mexicanas de diversos contextos socioculturales y contrastado con las etiquetas generadas por un LLM. Los resultados muestran un bajo acuerdo tanto entre las personas como entre ellas y el modelo, lo que refleja la variabilidad interpretativa propia de las tareas subjetivas. A pesar de esta variabilidad, el modelo tiende a aproximarse al juicio humano promedio. Estos hallazgos resaltan la necesidad de esquemas de anotación y enfoques de clasificación que consideren la diversidad cultural y lingüística en lugar de imponer una única interpretación correcta en tareas sensibles como la detección de sexismo.
This work presents a comparative analysis of labeling in sexism detection using ambiguous Spanish-language data selected with the Think Twice method. A subset of examples with content related to sexism was annotated by Mexican women from diverse sociocultural backgrounds and contrasted with labels produced by an LLM. The results show low agreement both among humans and between humans and the LLM, reflecting the interpretative variability inherent in subjective tasks. Despite this variability, the model tends to approximate the average human judgment. These findings highlight the need for annotation schemes and classification approaches that account for cultural and linguistic diversity rather than forcing a single correct interpretation in sensitive tasks such as sexism detection.
