Acceso usuarios
Logroño, España
El surgimiento de los modelos de lenguaje de gran tamaño basados en transformadores preentrenados generativos (GPT), como ChatGPT, ha generado especulaciones sobre su potencial para servir como herramientas de Evaluación Automatizada de la Escritura (AWE) y ofrecer retroalimentación correctiva a escritores en una segunda lengua. Dada la novedad de esta herramienta, la investigación es todavía escasa. Por lo tanto, es imperativo evaluar su idoneidad como herramienta AWE antes de implementarlo en entornos de aprendizaje reales. Para abordar este vacío en la investigación, el presente estudio utiliza métodos cuantitativos y cualitativos para evaluar la calidad, precisión y exactitud de la retroalimentación proporcionada por un GPT personalizado como herramienta AWE en 30 textos en inglés. Los resultados muestran que, aunque la precisión general es alta y la herramienta ofrece retroalimentación sobre forma y contenido, ocasionalmente presenta casos de retroalimentación errónea o errores fabricados. Se discuten las implicaciones educativas de estos hallazgos.
The emergence of generative pretrained transformer (GPT) large language models (LLMs) like ChatGPT has prompted speculation about their potential to serve as reliable Automated writing evaluation (AWE) tools and provide corrective feedback to second language (L2) writers. Given the novelty of this tool, research on this topic is scarce. Therefore, it is imperative to assess its appropriateness as an AWE tool before its implementation in real learning settings. To help fill this research gap, the current study employs both quantitative and qualitative methods to evaluate the quality, precision, and accuracy of the feedback generated by a customized GPT functioning as an AWE tool for 30 compositions in English. The results indicate that while the general accuracy rate is high and the tool can provide feedback on both form and content, there are occasional instances of erroneous feedback or fabricated mistakes. The educational implications of these findings are discussed.
