Acceso usuarios
Javier Alonso Villegas Luis, Marco Antonio Sobrevilla Cabezudo
La detección de texto generado por máquinas en español sigue siendo un desafío. Modelos preentrenados como RoBERTa ofrecen representaciones contextuales potentes, pero a menudo tienen un desempeño inferior en textos humanos y son sensibles a cambios de dominio. En este trabajo, integramos características lingüísticas de PUCP-Metrix—que abarcan propiedades léxicas, sintácticas, semánticas, psicolingüísticas y de cohesión—con modelos preentrenados.
Evaluamos clasificadores basados en características, RoBERTa afinado, modelos híbridos y ensamblajes en el dataset AuTexTification. Los modelos híbridos mejoran la detección de texto humano (F1 65.49 vs. 60.74 de RoBERTa) y la clasificación de texto máquina (F1 81.76), mientras que un ensamblaje por votación logra el macro-F1 más alto (74.75) y la mayor robustez. Los análisis muestran que las características lingüísticas actúan como anclas estables e interpretables, reduciendo el sobreajuste y mejorando la generalización sobre las salidas de múltiples LLMs.
Los resultados demuestran que combinar características lingüísticas con modelos preentrenados ofrece una solución robusta para la detección de texto generado por máquinas en español.
Detecting machine-generated Spanish text remains challenging across domains and generators. Pre-trained models like RoBERTa provide strong contextual embeddings but often underperform on human-authored texts and are sensitive to domain shifts. In this work, we integrate linguistic features from PUCPMetrix—covering lexical, syntactic, semantic, psycholinguistic, and cohesion properties—with pre-trained models. We evaluate feature-based classifiers, fine-tuned RoBERTa, hybrid models, and ensembles on the AuTexTification dataset. Hybrid models improve human-text detection (F1 65.49 vs. 60.74 for RoBERTa) and machine-text classification (F1 81.76), while a voting ensemble achieves the highest macro-F1 (74.75) and strongest robustness. Analyses indicate linguistic features provide stable, interpretable anchors, reducing overfitting and enhancing generalization across LLM outputs. Results demonstrate that combining linguistic and pre-trained models yields a robust solution for Spanish machine-generated text detection.
