Empirical Approaches to Multimodality (LOG)

Ukończony kurs: Language and Cognition; elementarna wiedza o funkcjonalnej organizacji mózgu; podstawowa wiedza na temat percepcji zmysłowej; chęć podjęcia badań empirycznych

Podstawowym celem zajęć jest oswojenie uczestników kursu z praktyczną stroną metodologii badań empirycznych nad multimodalnością, w szczególności z

etapami, przebiegiem i interpretacją wyników badania empirycznego z wykorzystaniem sprzętu rejestrującego aktywność podmiotów poznawczych.

Oglądając program telewizyjny: prezentera relacjonującego zdarzenia ilustrowane materiałem wideo, czytając podręcznik wzbogacony ilustracjami i schematami, odczytując bogate w emotikony posty w mediach społecznościowych wzbogacone filmami, uczestnicząc w wykładzie z prezentacją, wchodzimy w interakcje z mediami multimodalnymi. Te i inne przykłady pokazują, że w naszym codziennym życiu multimodalność jest raczej normą niż wyjątkiem. W konsekwencji, o współczesnej kognitywistyce mówi się, że doświadczyła „zwrotu ku multimodalności” (multimodality turn). Choć ludzie zaskakująco sprawnie radzą sobie z nadawaniem sensu sytuacjom multimodalnym, wciąż niewiele wiadomo jak ta zdolność ludzka działa. W trakcie zajęć spróbujemy sobie odpowiedzieć na pytanie o rozmaite kombinacje i interakcje zmysłów w percepcji komunikatów multimodalnych: wzroku, słuchu, dotyku czy propriocepcji (poczucia ciała). Szczególnie kształcące będą w tym kontekście relacje badaczy którzy utracili jeden ze zmysłów (Hull 1997, Wright 1990). Poszukamy odpowiedzi na pytanie o podstawę psychologiczną, neurobiologiczną i fenomenologiczną zdolności do multimodalnej percepcji (Gibson 1979, Gazzaninga i in. 2018, Merleau-Ponty 1962).

Jednak podstawowym celem zajęć jest oswojenie uczestników kursu z (praktyczną stroną) metodologii badań empirycznych nad multimodalnością, w szczególności z etapami, przebiegiem i interpretacją wyników badania empirycznego. W tym celu w toku laboratorium:

• będziemy omawiać i analizować wybrany przykład multimodalnego przekazu (z wykorzystaniem systemu anotacji ELAN);

• podejmiemy próbę empirycznego zbadania percepcji tego przekazu (z wykorzystaniem m.in. urządzeń do eye-trackingu czy reakcji skórno-galwanicznych);

• przeprowadzimy przykładową analizę uzyskanych wyników badań.

Zaliczenie kursu wymagać będzie grupowego przeprowadzenia badania empirycznego spełniającego przećwiczone w trakcie semestru kryteria.

1. Bateman, J., Wildfeuer, J. & Hippala, T, (2017). Multimodality. Berlin/Boston: Walter de Gruyter.

2. Gazzaniga, M., Ivry, R., & Mangun, G. (2018). Cognitive Neuroscience. W.W. Norton & Co.

3. Gibson, J.J. (1979). The Ecological Approach to Visual Perception. Boston: Houghton Mifflin.

4. Hull, J. (1997). On sight and insight: a journey into the world of blindness. Oxford: Oneworld Publications.

5. Kappas, A., Olk, B. (2008). The concept of visual competence as seen from the perspective of the psychological and brain sciences. Visual studies 23(2): 162-173.

6. Mitchell, W. (2005), There are no visual media, Journal of Visual Culture, 4(2), 257–266.

7. Merleau-Ponty, M. (1962). Phenomenology of Perception. London: Routledge&Kegan Paul.

8. Mondada, L. (2016). Challenges of multimodality: Language and body in social interaction. Journal of Sociolinguistics, 20(3), 336-366.

9. Noe, A. (2004). Action in Perception. Cambridge, MA: The MIT Press.

10. Paivio, A (1986). Mental representations: a dual coding approach. Oxford. England: Oxford University Press.

11. Wright, D. (1990). Deafness: a personal account, new edition. London: Faber and Faber.

12. Zlatev, J., Wacewicz, S., Żywiczyński, P., & Van de Weijer, J. (2017). Multimodal-first or pantomime-first? Communicating events through pantomime with and without vocalization. Interaction Studies 18:3, 465–488.