Acceso usuarios
Danni Yu
Estudios recientes han demostrado el potencial del uso de modelos extensos de lenguaje (LLM, por sus siglas en inglés) en el análisis de la estructura retórica de géneros específicos. Sin embargo, estas investigaciones se han centrado principalmente en contextos lingüísticos en inglés. El presente estudio amplía esta línea de investigación explorando las capacidades de los LLM en el análisis de textos en otras lenguas mediante el análisis de las declaraciones de directores ejecutivos italianos como caso de estudio. Los datos experimentales comprenden30 declaraciones de directores ejecutivos italianos extraídas de informes de responsabilidad social corporativa, que se subdividieron en S1, S2 y S3 para su uso en tres etapas iterativas: a) diseño de prompts; b) pruebas iniciales y perfeccionamiento de prompts; y c) pruebas de seguimiento. Los resultados indican que Claude 3.5 Sonnet superó a GPT-4o en la anotación de movimientos en textos italianos en todas las pruebas. Además, la inclusión de ejemplos adicionales en el prompt puede ayudar a mejorar el rendimiento de los LLM, en especial el de GPT-4o. Sorprendentemente, al integrar la verificación humana en los casos de inconsistencias entre los dos modelos, la precisión de las anotaciones superó el 90 % en todas las pruebas. Los resultados ponen de relieve el potencial prometedor del uso de LLM para automatizar la creación de corpus multilingües anotados con movimientos, que podrían servir como recursos valiosos para la enseñanza de la escritura basada en géneros
Recent studies have demonstrated the potential of using large language models(LLMs) in analyzing the rhetorical structure of specific genres. However, theseinvestigations have primarily focused on English-language contexts. The currentstudy extends this line of research by exploring LLMs’ capabilities in analyzingnon-English texts, specifically examining Italian CEO statements as a case study.The experimental data comprises 30 Italian CEO statements from corporatesocial responsibility (CSR) reports, which were subdivided into S1, S2, and S3 tobe used in three iterative stages: a) prompt design; b) initial tests and promptrefinement; and c) follow-up tests. Results indicate that Claude 3.5 Sonnetoutperformed GPT-4o in annotating moves in Italian texts in all tests. Moreover,including additional examples in the prompt can help improve the performanceof the LLMs, especially GPT-4o. Impressively, when incorporating humanverification for inconsistent cases between the two models, annotation accuracyexceeded 90% in all tests. The results highlight the promising potential for usingLLMs to automate the creation of multilingual corpora annotated with moves,which could serve as valuable resources for genre-based writing instruction
