Text Processing Through LLM for Gender-Inclusive Annotation and Translation: A case study on informed consent documents

• Roser Sánchez-Castany ^[1]
  1. [1] Universitat Jaume I

     Universitat Jaume I

     Castellón, España

     
• Localización: MonTI: Monografías de traducción e interpretación, ISSN 1889-4178, ISSN-e 1989-9335, Nº. 18, 2026 (Ejemplar dedicado a: La inteligencia artificial al servicio de la labor de la traducción: investigaciones en torno a los nuevos avances tecnológicos / Artificial intelligence at the service of translation: research on new technological achievements / coord. por Diana González-Pastor , Celia Rico Pérez ), págs. 293-333
• Idioma: inglés
• DOI: 10.6035/MonTI.2026.18.09
• Enlaces
  • Texto completo
• Resumen
  • español

    Este estudio explora la capacidad de "ChatGPT-4o" para detectar y clasificar el lenguaje inclusivo y no inclusivo en documentos de consentimiento informado ("DCI") en español para su posterior traducción. Gracias a la combinación de la anotación semiautomatizada y un estudio comparativo de traducción, esta contribución evalúa el impacto de las estrategias de prompting "zero-shot" y "few-shot" en las respuestas que proporciona el modelo. Los resultados muestran que, aunque "ChatGPT-4o" puede llevar a cabo anotaciones a gran escala, pasa por alto muchas expresiones, tanto inclusivas como no inclusivas, si no se le dan instrucciones explícitas. En cuanto al uso de "ChatGPT-4o" como motor de traducción automática, la ingeniería de prompt aumenta la inclusividad de los resultados de forma significativa, especialmente con el uso de formas duales y términos colectivos. Los resultados ponen de manifiesto tanto los beneficios como las limitaciones de los "LLM" a la hora de traducir con perspectiva de género, y enfatizan la importancia de la revisión humana y de los prompts personalizados.

  • English

    This study explores the ability of ChatGPT-4o to detect and classify gender-inclusive and exclusive language in Spanish informed consent documents for translation purposes. Combining a semi-automated annotation and a comparative translation study, this contribution assesses the impact of zero-shot and few-shot prompting strategies on the model’s outputs. Results reveal that while ChatGPT-4o can support large-scale annotation, it misses many inclusive and non-inclusive markers without explicit instruction. Regarding the use of ChatGPT-4o as a machine translation engine, prompt engineering significantly increases inclusive output, especially through dual forms and collective terms, yet masculine defaults persist, namely in zero-shot prompted translation. The findings highlight both the promise and limitations of large language models in gender-sensitive translation, emphasising the importance of human revision and tailored prompting.

• Referencias bibliográficas
  • AA.VV. (2023a): «Introducing Claude». *Anthropic*.
  • AA.VV. (2023b): «PaLM 2 Technical Report». *Google*.
  • AA.VV. (2023c): «GPT-4 Technical Report». *OpenAI*.
  • AA.VV. (2025): *Atlas.Ti*. Scientific Software Development GmbH.
  • Alonso Betanzos, Amparo. «Artificial intelligence and gender bias». *Gender on Digital. Journal of Digital Feminism*, vol. 1, 2023, pp. 11-32.
  • Bender, Emily M. et al. «On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?». *Proceedings of the 2021 ACM Conference on...
  • Briva-Iglesias, Vicent, Joao Lucas Cavalheiro Camargo y Gokhan Dogru. «Large Language Models ‘Ad Referendum’: How Good Are They at Machine...
  • Cho, Won Ik et al. «On measuring gender bias in translation of gender-neutral pronouns». *Proceedings of the first workshop on gender bias...
  • Costa-jussà, Marta R. «An Analysis of Gender Bias studies in Natural Language Processing». *Nature Machine Intelligence*, vol. 1, n.º 11,...
  • Criado-Pérez, Caroline. *Invisible Women: Exposing Data Bias in a World Designed for Men*. Vintage Books, 2019.
  • Doughman, Jad et al. «Gender bias in text: Origin, taxonomy, and implications». *Proceedings of the 3rd Workshop on Gender Bias in Natural...
  • Escudé Font, Joel y Marta R. Costa-jussà. «Equalizing gender bias in neural machine translation with word embeddings techniques». *Proceedings...
  • Fan, Angela et al. «Beyond English-Centric Multilingual Machine Translation». *Journal of Machine Learning Research (JMLR)*, vol. 22, n.º...
  • Farkas, Anna y Renáta Németh. «How to measure gender bias in machine translation: Real-world oriented machine translators, multiple reference...
  • Fleisig, Eve y Christiane Fellbaum. «Mitigating Gender Bias in Machine Translation through Adversarial Learning». *arXiv*, 2022.
  • Flores Anate, Laura. «Sesgos de género en la Inteligencia Artificial. El Estado de derecho frente a la discriminación algorítmica por razón...
  • Friedman, Batya y Helen Nissenbaum. «Bias in computer systems». *ACM Transactions on Information Systems (TOIS)*, vol. 14, n.º 3, 1996, pp....
  • Gao, Tianyu, Adam Fisch y Danqi Chen. «Making Pre-trained Language Models Better Few-shot Learners». *Proceedings of the 59th Annual Meeting...
  • Gao, Yuan, Ruili Wang y Feng Hou. «How to design translation prompts for ChatGPT: An empirical study». *arXiv*, 2023.
  • Hadi, Muhammad Usman et al. «Large language models: A comprehensive survey of its applications, challenges, limitations, and future prospects»....
  • Havens, Lucy et al. «Uncertainty and Inclusivity in Gender Bias Annotation: An Annotation Taxonomy and Annotated Datasets of British English...
  • Isaksson, Anna. «Mitigation measures for addressing gender bias in artificial intelligence within healthcare settings: a critical area of...
  • Jiao, Wenxiang et al. «Is ChatGPT a good translator? Yes, with GPT-4 as the engine». *arXiv*, 2023.
  • Joshi, Pratik et al. «The State and Fate of Linguistic Diversity and Inclusion in the NLP World». *Proceedings of the 58th Annual Meeting...
  • Khalifa, Muhammad et al. «Source-aware training enables knowledge attribution in language models». *arXiv*, 2024.
  • Leavy, Susan. «Gender Bias in Artificial Intelligence: The Need for Diversity and Gender Theory in Machine Learning». *IEEE/ACM 1st International...
  • Liu, Yinhan et al. «Multilingual denoising pre-training for neural machine translation». *arXiv*, 2020.
  • Martínez-Carrasco, Robert y Pilar Ordóñez-López. «El consentimiento informado en la comunicación médico-paciente: análisis crítico del marco...
  • Martínez-Carrasco, Robert y Roser Sánchez-Castany. (En prensa): «Prompt Engineering for Gender-Inclusive Annotation of Informed Consent Documents...
  • O’Neil, Cathy. *Armas de destrucción matemática. Cómo el big data aumenta la desigualdad y amenaza la democracia*. Madrid, Capitán Swing,...
  • Ollion, Etienne et al. «ChatGPT for Text Annotation? Mind the Hype!». *SocArXiv Papers*, 2023.
  • Ordóñez-López, Pilar y Robert Martínez-Carrasco. (En prensa): «Procedimientos de desterminologización en consentimientos informados elaborados...
  • Ortiz de Zárate Alcarazo, Lucía. «Sesgos de género en la inteligencia artificial». *Revista de Occidente*, n.º 502, 2023, pp. 5-20.
  • Ouyang, Long et al. «Training Language Models to Follow Instructions with Human Feedback». *NeurIPS*, vol. 35, 2022, pp. 27730–27744.
  • Pérez-Ortiz, Juan Antonio, Mikel Forcada y Felipe Sánchez-Martínez. «How neural machine translation works». *Machine translation for everyone:...
  • Piazzolla, Silvia Alma, Beatrice Savoldi y Luisa Bentivogli. «Good, but not always Fair: An Evaluation of Gender Bias for three commercial...
  • Prates, Marcelo O., Pedro H. Avelar y Luís C. Lamb. «Assessing gender bias in machine translation: A case study with Google Translate». *Neural...
  • Ray, Partha Pratim. «ChatGPT: A comprehensive review on background, applications, key challenges, bias, ethics, limitations and future scope»....
  • Reynolds, Laria y Kyle McDonell. «Prompt Programming for Large Language Models: Beyond the Few-Shot Paradigm». *arXiv*, 2021.
  • Rivas Ginel, María Isabel y Joss Moorkens. «A year of ChatGPT: translators’ attitudes and degree of adoption». *Revista Tradumàtica. Tecnologies...
  • Rodriguez-Penagos, Carlos et al. «The Catalan Language Understanding Benchmark (CLUB)». *arXiv*, 2021.
  • Sánchez-Gijón, Pilar y Leire Palenzuela-Badiola. «Analysis and evaluation of ChatGPT-induced HCI shifts in the digitalised translation process»....
  • Saunders, Danielle y Bill Byrne. «Reducing Gender Bias in Neural Machine Translation as a Domain Adaptation Problem». *Proceedings of the...
  • Savoldi, Beatrice et al. «Gender Bias in Machine Translation». *Transactions of the Association for Computational Linguistics*, vol. 9, 2021,...
  • Savoldi, Beatrice et al. «What the Harm? Quantifying the Tangible Impact of Gender Bias in Machine Translation with a Human-centered Study»....
  • Scao, Teven le et al. «BLOOM: A 176B-Parameter Open-Access Multilingual Language Model». *arXiv*, 2022.
  • Solaiman, Irene et al. «Release Strategies and the Social Impacts of Language Models». *arXiv*, 2019.
  • Vanmassenhove, Eva, Christian Hardmeier y Andy Way. «Getting gender right in neural machine translation». *Proceedings of the 2018 Conference...
  • Varela Salinas, María José y Adriana Godoy Lorenzatto. «Using ChatGPT and determinologisation to enhance understanding of lung cancer information»....
  • Vaswani, Ashish et al. «Attention Is All You Need». *arXiv*, 2017.
  • Wei, Jason et al. «Chain of Thought Prompting Elicits Reasoning in Large Language Models». *NeurIPS*, vol. 35, 2022, pp. 24824–24837.
  • Yacouby, Reda y Dustin Axman. «Probabilistic Extension of Precision, Recall, and F1 Score for More Thorough Evaluation of Classification Models»....