Acceso usuarios
Andrea Juliana Parra Ariza, Hoover Fabian Rueda Chacon
Speech has driven the development of Automatic Speech Recognition (ASR) models like Whisper, capable of converting spoken language into written text.
However, these models require large amounts of data (corpora), which limits their performance in languages or variants with scarce resources, such as the Colombian Spanish, whose accents and regionalisms are underrepresented. Likewise, the use of recordings often includes sensitive information, such as names or IDs, which makes the collection and sharing of these corpora difficult. This work proposes the development of a model based on the Whisper arquitecture and WhisperX ’s pipeline, for anonymized speech transcription in Colombian Spanish, with temporal annotation and speaker diarization. With models achieving a 7,60% transcription word error rate (WER), an F1-score of 60,81% for named entity recognition, and an F1-score of 76,10% for anonymization, it contributes to closing the gap between existing models and Colombian dialects, ensuring robust performance even in low-resource settings.
El habla ha motivado el desarrollo de modelos de Reconocimiento Automático del Habla (ASR, del inglés Automatic Speech Recognition) como Whisper, capaces de convertir el habla en texto escrito. Sin embargo, estos modelos requieren grandes volúmenes de datos (corpus), lo que limita su desempeño en idiomas o variantes con recursos limitados, como el español de Colombia, cuyos acentos y regionalismos están poco representados. Asimismo, el uso de grabaciones suele incluir información sensible, como nombres o identificaciones, que dificulta la recopilación e intercambio de estos corpus. Este trabajo propone desarrollar un modelo basado en la arquitectura de Whisper y el flujo de trabajo de WhisperX para la transcripción de voz anonimizada en el español colombiano, con anotación temporal y diarización de hablantes. Con modelos que alcanzan un 7,60% de error de transcripción a nivel de palabra (WER), un F1-score de 60,81% para reconocimiento de entidades y un F1-score de 76,10% en anonimización, se aporta al cierre de la brecha entre los modelos existentes y los dialectos colombianos, garantizando un desempeño robusto incluso en entornos con datos escasos.
