Acceso usuarios
Zhenhai Li, Xindi Hao, Shuyin Zhang
This paper examines the potential of large language models ("LLMs") in the automatic evaluation of "AI"-generated text. The study compares machine translation quality scores generated by the top 20 "LLMs" ranked on "Chatbot Arena" with human evaluation scores to identify the most robust models for achieving human-like judgments. "English-Chinese" sentence pairs from "WMT20" were used as test data, and the same instructions provided to human evaluators were applied as zero-shot prompts. The baseline performance of the "LLMs" was measured using "Pearson’s R" to quantify alignment with human assessments. Role-based prompt engineering was tested in a follow-up experiment, and pairwise comparisons were conducted to evaluate the effectiveness of human intelligence in prompting. The results showed that prompt engineering enhances the ability of "LLMs" to approach human judgment in machine translation evaluation ("MTE") and highlights the potential of human-centered "AI" for advancing the future development of "LLMs" when tailored to translation-related tasks.
Diese Studie untersucht das Potenzial großer Sprachmodelle ("LLMs") für die automatische Bewertung der durch "KI" generierten Texten. Es wurden maschinelle Übersetzungsqualitätswerte, die von den 20 besten "LLMs" aus der "Chatbot Arena" generiert wurden, mit menschlichen Bewertungsergebnissen verglichen, um die Modelle zu identifizieren, die menschlichen Urteilen am nächsten kommen. Als Testdaten dienten Englisch-Chinesisch-Satzpaare aus "WMT20", wobei dieselben Anweisungen wie bei menschlichen Bewertenden als Zero-Shot-Prompts verwendet wurden. Die Ausgangsleistung der "LLMs" wurde mittels "Pearsons" Korrelationskoeffizient bewertet, um die Übereinstimmung mit menschlichen Einschätzungen zu quantifizieren. In einem Folgeexperiment wurde Prompt Engineering mit rollenbasierten Anweisungen getestet, und paarweise Vergleiche wurden durchgeführt, um die Wirksamkeit menschlicher Intelligenz beim Prompt-Design zu evaluieren. Die Ergebnisse zeigen, dass Prompt Engineering die Fähigkeit der "LLMs" verbessert, eine menschenähnliche Bewertung im Bereich der maschinellen Übersetzungsbewertung ("MTE") zu erreichen. Zudem wird das Potenzial einer menschenzentrierten "KI" für die zukünftige Entwicklung von auf Übersetzungsaufgaben zugeschnittenen "LLMs" hervorgehoben.
