Clasificación automática de textos usando redes de palabras

• Juan Pablo Cárdenas ^[1] ; Gastón Olivares ^[1] ; Rodrigo Alfaro ^[1]
  1. [1] Pontificia Universidad Católica de Valparaíso

     Pontificia Universidad Católica de Valparaíso

     Valparaíso, Chile

     
• Localización: Revista signos: estudios de lingüística, ISSN-e 0718-0934, ISSN 0035-0451, Nº. 86, 2014, págs. 346-364
• Idioma: español
• DOI: 10.4067/s0718-09342014000300001
• Títulos paralelos:
  • Automatic text classification using words networks
• Enlaces
  • Texto completo (pdf)
• Dialnet Métricas: 2 Citas
• Resumen
  • español

    El objetivo de este trabajo es proponer un algoritmo para la clasificación automática de textos, como una alternativa a los tradicionalmente utilizados en esta tarea. El clasificador propuesto considera la dependencia entre las variables predictoras (palabras o términos), algo que los clasificadores de texto comúnmente utilizados no hacen.

    La dependencia entre estas variables queda plasmada en forma de enlaces en grafos de palabras co-ocurrentes, objetos utilizados para entrenar el clasificador y además estimar la categoría de un texto desconocido. Los resultados obtenidos al clasificar automáticamente el sentido positivo, negativo o neutral de más de 1.000 mensajes de Twitter escritos en español, en distintos contextos (temas), muestran que el algoritmo, además de ser una propuesta novedosa para la clasificación automática de textos, tiene un desempeño, al menos, similar al de otros tradicionalmente utilizados en este tipo de problemas, como las Máquinas de Soporte Vectorial o algoritmos de estadística Bayesiana

  • English

    The purpose of this paper is to propose an algorithm for automatic text classification, as an alternative for those traditionally used for this task. The proposed classifier considers dependence between predictor variables (words or terms), an approach ignored by traditional classifiers. The dependence between predictor variables is captured as links of co-ocurrent words networks, objects that are used for training the classifier and also estimate the category of an unknown text. The results obtained from the automatic sentiment classification of more than 1,000 Twitter messages in positive, negative or neutral categories, and considering different context (topics), show that the proposed classifier, besides being a novel proposal, performs well compared to other algorithms traditionally used in automatic text classification such as Support Vector Machines or algorithms based in Bayesian statistic

• Referencias bibliográficas
  • Baeza-Yates, R. & Ribeiro-Neto, B. (1996). Modern information retrieval: The concepts and technolog y behind search. Reading, M.A.: Addison-Wesley.
  • Bryden, J., Funk, S. & Jansen, V. (2013). Word usage mirrors community structure in the online social network Twitter. EPJ Data Science,...
  • Cárdenas, J. P., Losada, J. C., Moreira, A., Torre, I. G. & Benito, R. M. (2011). Topological complexity in natural and formal languages....
  • Caruana, R. & Niculescu-mizil, A. (2006). An empirical comparison of supervised learning algorithms. Ponencia presentada en el International...
  • Choudhary, B. & Bhattacharyya, P. (2003). Text clustering using universal networking language representation. Ponencia presentada en el...
  • Harish, B. S., Guru, D. S. & Manjunath, S. (2010). Representation and classification of text documents: A brief review. IJCA Special Issue...
  • Hotho, A., Maedche, A. & Staab, S. (2001). Ontolog y-based text clustering. Ponencia presentada en el International Joint Conference on...
  • Jin, W. & Srihari, R. K. (2007). Graph-based text representation and knowledge discovery. Ponencia presentada en ACM symposium on Applied...
  • Joachims, T. (2002). Learning to classify text using Support Vector Machines. Dordrecht: Kluwer Academic Publishers.
  • John, G. & Langley, P. (1995). Estimating continuous distributions in bayesian classifiers. Ponencia presentada en el 11th Conference...
  • Keerthi, S., Shevade, S., Bhattacharyya, C. & Murthy, K. (2001). Improvements to Platt’s SMO Algorithm for SVM Classifier Design. Neural...
  • Lan, M., Tan, C. L., Su, J. & Lu, Y. (2009). Supervised and traditional term weighting methods for automatic text categorization. IEEE...
  • Leetaru, K., Wang, S., Cao, G., Padmanabhan, A. & Shook, E. (2013). Mapping the global Twitter heartbeat: The geography of Twitter [en...
  • Lewis, D.D. (1998). Naive (Bayes) at forty: The independence assumption in information retrieval. Ponencia presentada en European Conference...
  • Manley, E. (2012). Urban movements. Flows, behaviour and networks in the City [en línea]. Disponible en: http://urbanmovements.posterous.com/detecting-languagesin-londons-twittersphere
  • Mitchell, T. (1997). Machine learning. Nueva York: WCB/Mcgraw-Hill.
  • Namata, G. M. & Getoor, L. (2009). A pipeline approach to graph identification. Ponencia presentada en el International Workshop on Mining...
  • Platt, J. (1998). Fast training of Support Vector Machines using sequential minimal optimization. Advances in Kernel Methods Support Vector...
  • RAE (2013). Corpus de Referencia del Español Actual (CREA) [en línea]. Disponible en: http://corpus.rae.es/lfrecuencias.html
  • Sebastiani, F. (2002). Machine learning in automated text categorization. ACM Computing Surveys, 34(1), 1-47.
  • Sen, P., Namata, G., Bilgic, M., Getoor, L., Gallagher, B. & Eliassi-Rad, T. (2008). Collective classification in network data. AI Magazine,...
  • Turing, A. (1992). Intelligent machinery. Collected Works of A. M. Turing: Mechanical Intelligence. Amsterdam: Elsevier Science Publishers.
  • Uchida, H., Zhu, M. & Della Senta, T. (1995). UNL: A gift for a millennium. Tokyo: UNU/IAS.
  • Vapnik, V. N. (1989). Statistical learning theory. Nueva York: Wiley-Interscience.
  • Vapnik, V. N. (1995). The nature of statistical learning theory. Berlin: Springer-Verlag.
  • WEKA. (2013). Weka 3: Data Mining Software in Java [en línea]. Disponible en: http:// www.cs.waikato.ac.nz/ml/weka/.
  • Zhang, H. (2004). The optimality of Naive Bayes [en línea]. Disponible en: http://www. citeulike.org/user/JoSeK/article/370404
  • Zhou F., Zhang, F. & Yang, B. (2010). Graph-based text representation model and its realization. Ponencia presentada en el International...
  • Zipf, G. L. (1965). Human behavior and the principle of least effort. Reading, M.A.: AddisonWesley.