Käännettävät tekstit ovat nykyään tavalla tai toisella multimodaalisia, eli niissä yhdistyy esimerkiksi kuva ja sana eri tavoin. Esimerkiksi elokuvissa ja kuvitetuissa teksteissä kirjoitetun tekstin – verbaalisen moodin – rinnalla on visuaalista ja joissain tapauksissa myös auditiivista sisältöä, joka on vuorovaikutuksessa verbaalisen sisällön kanssa ja vaikuttaa multimodaalisen tekstin lopulliseen tulkintaan. Multimodaalisten tekstien kääntäjän ja käännösten tutkijan on otettava huomioon kaikki tekstissä vaikuttavat moodit ja hänen on myös oltava tietoinen siitä, miten ne kietoutuvat yhteen tuottamaan merkityksiä. Kieltenvälisen kääntämisen lisäksi multimodaalisia merkityksiä tuottavat rakenteet ovat keskeisiä myös saavutettavuusviestinnän alalla. Esimerkiksi kuvailutulkkauksessa on tärkeää, että kuvailutulkki ymmärtää multimodaalisen kokonaisuuden merkityksen, kun visuaalinen sisältö täytyy muuntaa verbaaliseen muotoon.

MULTI-tutkimusryhmä (Multimodality in Translation and Interpreting) tutkii kääntämisen ja tulkkauksen multimodaalisia merkitysrakenteita. Ryhmä tarkastelee sitä, miten multimodaalisuuden eri muodot vaikuttavat toisaalta kääntäjien ja tulkkien työhön, toisaalta työn vastaanottajiin. Ryhmä on kiinnostunut eri kielistä (suomi, englanti, venäjä, saksa, unkari, italia ja espanja) ja multimodaalisen kulttuurienvälisen viestinnän eri osa-alueista: tulkkauksesta, audiovisuaalisesta kääntämisestä sekä sarjakuvien ja erilaisten kuvitettujen tekstien kääntämisestä.

MULTIn tavoitteena on

  • tutkia sitä, miten eri moodien kommunikatiiviset funktiot ovat suhteessa toisiinsa ja millä tavoin käännös verbaalisena moodina toimii osana multimodaalista kokonaisuutta
  • arvioida multimodaalisten tekstien kääntämisen ja sen tutkimuksen nykyistä tilaa ja korostaa tutkimuksen tarvetta käännöstutkimuksen alalla
  • kehittää uudenlaisia tutkimuksellisia lähestymistapoja, joiden avulla voidaan tarkastella multimodaalisten aineistojen monimuotoisuutta
  • visioida uusia tapoja käsittää ja käsitteellistää multimodaalisten tekstien kääntämistä
  • kehittää poikkitieteellisiä tapoja, joiden avulla multimodaalisten tekstien kääntämistä voidaan lähestyä uusista ja laajemmista näkökulmista

 

Jäsenet

Chiara Galletti (TaY)

Melissa Garavini (itsenäinen tutkija)

Maija Hirvonen (HY)

Anne Ketola (TaY)

Sari Kokkola (TaY)

Riitta Oittinen (TaY)

Eliisa Pitkäsalo (TaY)

 

Hankkeet

Eliisa Pitkäsalo & Annikki Liimatainen: Sarjakuvan monikielisyys ja monikulttuurisuus yhteiskunnallisen muutoksen ilmiönä

Anne Ketola: Word–Image Interaction in Technical Translation. Students Translating an Illustrated Text (väitöskirja)

Chiara Galletti: An Author’s Adventures in Translating for Children: Bianca Pitzorno and the Poetics of Translation (väitöskirja)

Sari Kokkola: Embodied Multimodal Film Analysis for Translators: A Phenomenologically Informed Approach (väitöskirja)

Maija Hirvonen: MUTABLE: Multimodal Translation with the Blind. Suomen Akatemia (2017-2019)

 

Julkaisuja (valikoima)

2017. Ketola Anne. Using Translation Research to Model Word Image Interaction. New Voices in Translation Studies 17, 82–104.

2017. Oittinen, Riitta, Anne Ketola & Melissa Garavini. Translating Picturebooks. Revoicing the Verbal, the Visual and the Aural for a Child Audience. New York: Routledge.

2017. Pitkäsalo, Eliisa. Ääniä ja liikettä elokuvan ja sarjakuvan hybrideissä. Ääniä, Röster, Voices, Stimmen. Toim. Nicole Keng, Anita Nuopponen & Daniel Rellstab.  VAKKI Publications N:o 8. Vaasa, 169-180.

2017. Pitkäsalo, Eliisa. Conveying Nonverbal Messages in Translated Comics. In: Sándor Maticsák & László Keresztes (eds.) Folia Uralica Debreceniensia 23. Debrecen: A Debrecen Egyetemi Kiadó. 233–243.

2016. Ketola, Anne. Towards a multimodally oriented theory of translation: A cognitive framework for the translation of illustrated technical texts. Translation Studies, 9 (1), 67–81.

2016. Ketola, Anne. Translating picturebooks: Re-examining interlingual and intersemiotic translation. Proceedings of DRS 2016, 1179–1190.

2016. Pitkäsalo, Eliisa & Nina Isolahti (toim.) Kääntäminen, tulkkaus ja multimodaalisuus. Menetelmiä monimuotoisten viestien tutkimiseen. Tampere Studies in Language, Translation and Literature.

2016. Pitkäsalo, Eliisa. Tulkitse kuva! Eleet ja ilmeet sarjakuvassa. In Hirvonen, Pia, Daniel Rellstab & Nestori Siponkoski (toim.) Teksti ja tekstuaalisuus. Vakki Publications N:o 7. Vaasa: Vakki. 438–449.

2016. Tuominen, Tiina, Maija Hirvonen, Anne Ketola, Eliisa Pitkäsalo ja Nina Isolahti. Katsaus multimodaalisuuteen käännöstieteessä. In Eliisa Pitkäsalo & Nina Isolahti (toim.) Kääntäminen, tulkkaus ja multimodaalisuus. Menetelmiä monimuotoisten viestien tutkimiseen. Tampere Studies in Language, Translation and Literature, Series B3. 11–24.

2015. Kokkola, Sari & Ketola, Anne. Thinking outside the “Methods Box”: New Avenues for Research in Multimodal Translation. Vakki publications N:o 4, 219–228.

2014. Kokkola, Sari. The Role of Sound in Film Translation: Subtitling Embodied Aural Experience in Aki Kaurismäki’s Lights in the Dusk. Traduction, textes, médias, 27 (2), 17–47.

 

Tulevia julkaisuja

Jimenez Hurtado, Catalina, Anne Ketola and Tiina Tuominen (toim). Methods for the Study of Multimodality in Translation. Linguistica Antverpiensia – Themes in Translation Studies (17/2018).

Oittinen, Riitta & Eliisa Pitkäsalo. Creating Characters in Visual Narration: Comics and Picturebooks in the Hands of the Translator. In Search of Meaning and Identity Through Language; Literary, Linguistic, and Translational perspectives. Toim. Hanne Juntunen, Kirsi Sandberg & Kübra Kocabaş. Tampere Studies in Language, Translation and Literature, Series A5.

Ketola, Anne. Picturebook Translation as Transcreation.  In Search of Meaning and Identity Through Language; Literary, Linguistic, and Translational perspectives. Toim. Hanne Juntunen, Kirsi Sandberg & Kübra Kocabaş. Tampere Studies in Language, Translation and Literature, Series A5.

Pitkäsalo, Eliisa. Images without words. Focus group as a method of experiencing comics. Methods for the Study of Multimodality in Translation. Toim. Catalina Jimenez Hurtado, Anne Ketola and Tiina Tuominen. Linguistica Antverpiensia -Themes in Translation Studies (17/2018).

 

Muuta

Introduction to Multimodality – International Online Course for Translation Students (syksy2016)

Syksyllä 2016 MULTI järjesti kansainvälisen kääntämisen online-kurssin, joka käsitteli muun muassa kuvitettujen tekstien (mainokset, lasten kuvakirjat, sarjakuvat ja kuvitetut lääketieteelliset tekstit) kääntämistä, audiovisuaalista kääntämistä televisiossa ja oopperassa sekä saavutettavuuskääntämistä kuten kuvailutulkkausta ja kuuroille tai kuulovammaisille osoitettuja tekstityksiä. Kurssilla vieraili 13 luennoitsijaa kahdeksasta eurooppalaisesta yliopistosta ja 28 opiskelijaa Tampereen ja Helsingin yliopistoista.