Acceso usuarios
Cengiz Acarturk, Melda Coskun, Serap Emil
En la comunicación diaria y en entornos educativos, las flechas y los gestos espontáneos suelen transmitir información espacial similar a los interlocutores. Ellos pueden visualizar información espacial en el espacio 2D o 3D basándose en representaciones conceptuales y espaciales compartidas. El presente estudio investiga la relación entre los gestos espontáneos y las flechas desde la perspectiva de la generación y la comprensión en contextos de enseñanza. Introducimos un corpus de flechas en un texto multimodal escrito y un corpus de gestos generados durante la comunicación a través de material instructivo multimodal. También presentamos una investigación experimental que utilizó un corpus para estudiar el impacto de los gestos en el aprendizaje de la comprensión. La comparación de los corpus revela similitudes y diferencias funcionales entre las flechas y los gestos y su papel complementario en la comunicación multimodal. Los resultados sugieren que las flechas y los gestos pueden compartir un espacio conceptual común durante la comunicación, teniendo un impacto significativo en la comprensión y el aprendizaje.
In daily communication and instructional settings, arrows and spontaneous gestures usually convey similar spatial information to interlocutors. They can visualize spatial information in 2D or 3D space based on shared conceptual and spatial representations. The present study investigates the relationship between spontaneous gestures and arrows from the perspective of generation and comprehension. We introduce a corpus of arrows in written multimodal text and a corpus of gestures generated during communication through multimodal instructional material. We also report an experimental investigation that used corpus material to study the impact of gestures on comprehension learning. A comparison of the corpora reveals functional similarities and differences between arrows and gestures and their complementary role in multimodal communication. The findings suggest that arrows and gestures may share a common conceptual space during communication, having a significant impact on comprehension and learning.
