Acceso usuarios
En este documento presentamos el resumen de la tarea DIMEMEX organizada como parte del IberLEF 2024 junto con la 40a Conferencia Internacional de la Sociedad Española para el Procesamiento de Lenguaje Natural (SEPLN 2024). El principal objetivo de la tarea es promover la investigación en el desarrollo de soluciones automáticas para la detección de contenido inapropiado en memes. Se consideraron dos tareas: (i) Clasificación ternaria cuyo objetivo es determinar si un meme contiene contenido relacionado con discurso de odio, contenido inapropiado o ninguno; y (ii) Clasificación de grano fino en la que el meme puede ser clasificado en una sub categoría de discurso de odio. Se les proporcionó a los participantes un conjunto de datos multimodal, anotado manualmente, que contiene tanto imágenes como texto relacionado con cada meme. Para la fase final de evaluación se recibieron en total 5 sistemas. Se reportaron resultados competitivos para ambas subtareas, siendo los mejores aquellos asociados a la tarea de clasificación ternaria. El conjunto de datos y los resultados detallados pueden consultarse en el sitio web de la tarea: https://codalab.lisn.upsaclay.fr/competitions/18118.
In this paper, we present the overview of the DIMEMEX shared task which was organized at IberLEF 2024 and co-located in the framework of the 40th International Conference of the Spanish Society for Natural Language Processing (SEPLN 2024). The main aim of this task is to promote the research on developing automatic solutions for detecting inappropriate content in memes. Two subtasks were considered: (i) A three-way classification task aimed to determine if a meme contains hate speech, inappropriate content, or neither; and (ii) A fine-grained classification task in which a meme may be categorized into specific hate speech categories. A multimodal manual annotated corpus comprising both images and text associated with each meme was provided to the participants. A total of 5 systems were submitted for the final evaluation phase. Competitive results were reported for both subtasks being Subtask 1 the one with higher results. The data and results are available at the shared task website at https://codalab.lisn.upsaclay.fr/competitions/18118.
