Assessment of written performance: Tracing raters’ decision making process

• Katalin Bukta ^[1]
  1. [1] Szeged University (Hungary)
• Localización: Porta Linguarum: revista internacional de didáctica de las lenguas extranjeras, ISSN 1697-7467, Nº. 8, 2007, págs. 21-40
• Idioma: inglés
• DOI: 10.30827/digibug.31618
• Enlaces
  • Texto completo (pdf)
  • Texto completo (pdf)
• Resumen
  • español

    La valoración de la expresión escrita se realiza mayormente con ejercicios directos cuya evaluación necesita evaluadores entrenados. De esta manera, la decisión final refleja la relación entre el ejercicio, el instrumento de medida y el evaluador. El presente estudio permite analizar y conocer el pensamiento de varios evaluadores donde se observa el tipo de decisiones que toman. Cinco profesores hungaros de alemán e inglés evaluaron composiciones en un estudio nacional. Durante la evaluación grabamos lo que ellos pensaban en voz alta, después los datos fueron analizados. Todo el proceso de la evaluación se puede seguir por los datos presentados.

  • English

    Written performance assessment is mostly carried out using direct tasks the marking of which involves trained raters. Thus, the final judgement is a result of interplay between the task, the measurement instrument, and the rater. The present study gives an insight into the way raters arrive at a decision. Five Hungarian teachers of German and English took part in rating compositions in a nationwide survey in Hungary. They were asked to produce think-aloud protocols during the rating process, which were later transcribed and analysed. The presented data show the procedure that raters followed in marking the scripts.

• Referencias bibliográficas
  • Alderson, C. J., Clapham, C., & Wall, D. (1995). Language test construction and evaluation. Cambridge: Cambridge University Press.
  • Alderson, C. J., Nagy, E., & Öveges, E. (eds.). (2000). English language education in Hungary. Part 2. Budapest: The British Council Hungary.
  • Alderson, C. J., & Banerjee, J. (2002). “Language testing and assessment” (Part 2), in Language Teaching, 35: 79-113.
  • Cohen, A. D. (1994). Assessing language ability in the classroom. Boston: Heinle & Heinle. Csapó, B. (ed.). (2002). Az iskolai m qveltség....
  • Cumming, A., Kantor, R. & Powers, D. E. (2002). Decision making while rating ESL/EFL writing tasks: A descriptive framework, in The Modern...
  • Green, A. (1998). Verbal protocol analysis in language testing research: A handbook. Cambridge: Cambridge University Press.
  • Hamp-Lyons, L. (1990). Second language writing: assessment issues. In B. Kroll Second language writing (69-87). Cambridge: Cambridge University...
  • Leung, C. & Lewkowicz, J. (2006). Expanding horizons and unresolved conundrums: language testing and assessment, in TESOL Quarterly, 40:...
  • Nikolov, M. & Józsa, K. (2003). Idegen nyelvi készségek fejlettsége angol és német nyelvb Ql a 6. és 10. évfolyamon a 2002/2003-as tanévben....
  • Weigle, S. C. (2002). Assessing writing. Cambridge: Cambridge University Press.
  • Weir, C. (1993). Understanding and developing language tests. New York: Prentice Hall.