Bases para evaluar la anotación de corpus de emociones espontáneas

• Autores: Zoraida Callejas Carrión, Ramón López-Cózar Delgado
• Localización: Procesamiento del lenguaje natural, ISSN 1135-5948, Nº. 43, 2009, págs. 66-73
• Idioma: español
• Títulos paralelos:
  • On the assessment of the annotation of spontaneous emotional corpora
• Enlaces
  • Texto completo
• Resumen
  • español

    En este artículo proponemos un marco en el que basar la evaluación de las anotaciones de corpus de emociones espontáneas, que emplea diversos coeficientes para medir el acuerdo entre anotadores y la complejidad de la anotación. Además, tiene en cuenta información contextual para interpretar los valores obtenidos. Nuestros resultados experimentales usando un corpus de emociones espontáneas muestran que las interpretaciones tradicionales que encontramos en la literatura no son válidas en el caso de emociones no actuadas, pues el hecho de que la categoría neutra sea predominante por naturaleza conlleva que estas interpretaciones sean poco informativas o incluso contradictorias. Nuestras propuestas proveen de mecanismos sobre los que sustentar una interpretación más fiable de la aceptabilidad de estos corpus.

  • English

    In this paper we propose the use of several statistical coefficients and information sources to create an appropriate basis for the evaluation of the annotations of non-acted emotional corpora. Experimental results over a corpus of spontaneous emotions show that traditional interpretations that can be found in the literature are not valid for this type of corpora in which the neutral category is inherently predominant. Our proposals provide sufficient information to obtain reliable interpretations of acceptability.

• Referencias bibliográficas
  • Artstein, Ron y Massimo Poesio. 2005. kappa3 = alpha (or beta). Informe tecnico, University of Essex.
  • Callejas, Zoraida y Ramon Lopez-Cozar. 2008. Relations between de-facto criteria in the evaluation of a spoken dialogue system. Speech Communication,...
  • Cicchetti, Domenic V. y Alvan R. Feinstein. 1990. High agreement but low Kappa: II. Resolving the paradoxes. Journal of Clinical Epidemiology,...
  • Cohen, Jacob. 1968. Weighted kappa: nominal scale agreement with provision for scaled disagreement or partial credit. Psychological Bulletin,...
  • Douglas-Cowie, Ellen, Nick Campbell, Roddy Cowie, y Peter Roach. 2003. Emotional speech: towards a new generation of databases. Speech Communication, 40:33–60.
  • Feinstein, Alvan R. y Domenic V. Cicchetti. 1990. High agreement but low Kappa: I. The problems of two paradoxes. Journal of Clinical Epidemiology,...
  • Fleiss, Joseph L. 1971. Measuring nominal scale agreement among many raters. Psychological Bulletin, 76(5):378–382.
  • Fleiss, Joseph L. y Jacob Cohen. 1973. The equivalence of weighted kappa and the interclass correlation coefficient as measures of reliability....
  • Johnstone, T. 1996. Emotional speech elicited using computer games. En Proceedings of the 4th International Conference on Spoken Language...
  • Krippendorff, Klaus. 2003. Content Analysis: An Introduction to its Methodology. Sage Publications, Inc.
  • Landis, J. R. y G. G. Koch. 1977. The measurement of observer agreement for categorical data. Biometrics, 33:159–174.
  • Lantz, Charles A. y Elliott Nebenzahl. 1996. Behavior and interpretation of the κ statistic: Resolution of the two paradoxes. Journal of Clinical...
  • Manning, Christopher D. y Hinrich Schutze. 2000. Foundations of statistical natural language processing. The MIT Press.
  • Nesterenko, Irina y Stephane Rauzy. 2007. On the use of probabilistic grammars in speech annotation and segmentation tasks. En Proceedings...
  • Plutchik, Robert. 1980. EMOTION: A psychoevolutionary synthesis. Harper and Row publishers.
  • Russell, J A. 1980. A circumplex model of affect. Journal of Personality and Social Psychology, 39:1161–1178.
  • Shannon, C. E. 1948. A mathematical theory of communication. Bell System Technical Journal, 27:379–423.
  • Steidl, Stefan, Michael Levit, Anton Batliner, Elmar Noth, y Heinrich Niemann. 2005. Of all things the measure is man. automatic classification...
  • Vogt, Thurid y Elisabeth Andre. 2005. Comparing feature sets for acted and spontaneous speech in view of automatic emotion recognition. En...
  • Wilting, Janneke, Emiel Krahmer, y Marc Swerts. 2006. Real vs. acted emotional speech. En Proceedings of Interspeech 2006, paginas 805–808,...