Acceso usuarios
Magdalena Krawiec
Neuronale maschinelle Übersetzung ermöglicht die kontinuierliche Bereitstellung mehrsprachiger Inhalte. Vor dem Hintergrund aktueller "KI"-Forschung, die die Leistungsfähigkeit und Anpassungsfähigkeit großer Sprachmodelle ("LLMs") bei einer Vielfalt von Aufgaben betont, werden in der folgenden Studie potenzielle Parallelen zwischen der menschlichen und der "LLM"-basierten Bewertung der Übersetzungsqualität untersucht. Hierzu werden Bewertungen von "GPT-4" und "IT"-Fachleuten – also spezialisierten Endnutzern technischer Inhalte – mittels etablierter statistischer Verfahren miteinander verglichen. Die Studie hebt die Rolle dieser Endnutzer in der Evaluierung maschineller Übersetzung hervor und analysiert, inwieweit ihre Urteile mit denen eines "LLM" übereinstimmen. Damit eröffnet sie neue Perspektiven auf gängige Bewertungspraktiken, die bislang vor allem durch automatische Evaluierungsmetriken und Übersetzerurteile geprägt waren. Als Ausgangsmaterial dienen Online-Texte der "Microsoft-Azure"-Dokumentation, die von Fachleuten in spezialisierten soziopragmatischen Kontexten verfasst wurden – ausgewählt aufgrund ihrer Authentizität und Relevanz für Expertendiskurse.
Neural Machine Translation enables the continuous delivery of multilingual content. Against the backdrop of contemporary "AI" research that prioritises the capabilities and adaptability of large language models ("LLMs") across diverse tasks, an attempt is made to determine whether a parallel can be drawn between human and "LLM’s" performance in terms of machine translation quality assessment. The investigation compares evaluations performed by "GPT-4" and "IT" domain professionals, i.e. specialist end users of technical content, using established statistical measures. The paper underscores the role of technical content end users in the evaluation of "MT" performance and examines how their judgments align with those generated by an "LLM", thereby offering a fresh perspective on assessment practices traditionally informed by "AEMs" and conventional translator-based evaluation. "Microsoft Azure" documentation available online was chosen as the source material produced by specialists in specialist socio-pragmatic settings, owing to its authenticity and relevance to expert socio-pragmatic contexts.
