Was heißt „multimodal“?

Überlegungen zu einer zentralen Beschreibungskategorie der Visuellen Kommunikationsforschung

Vortrag im Rahmen der Jahrestagung der FG Visuelle Kommunikation der DGPuK
Erfurt, 21.11.2015

http://www.dgpuk.de/fachgruppenad-hoc-gruppen/visuelle-kommunikation/tagungen/

Transcript

1. Was heißt „multimodal“? Überlegungen zu einer zentralen Beschreibungskategorie der Visuellen Kommunikationsforschung Daniel Pfurtscheller (Innsbruck) daniel.pfurtscheller@uibk.ac.at Jahrestagung der FG Visuelle Kommunikation der DGPuK Erfurt, 19.–21.11.2015
2. „Multimodalität“ – mehr als nur Sprache (Jewitt 2013, 15) Text-Bild-Beziehungen non-verbale Ausdrucksmittel Visual Framing Was heißt „multimodal“? Sammelkraft und Anschlussfähigkeit des Begriffs … 1 Daniel.Pfurtscheller@uibk.ac.at
3. ist multimodal. Was heißt „multimodal“? Was kann überhaupt multimodal sein? 2 X Objektebene Rezeptionsverlauf Produktionsprozess Text / Beitrag / Angebot ist multimodal. Metaebene Studie Methode Theorie ist multimodal. Daniel.Pfurtscheller@uibk.ac.at
4. Was heißt „multimodal“? Was heißt das „modal“ in „multimodal“? 3 „multi-modal“ Sinnesmodalitäten Zeichensysteme und Codes Ressourcen und Mittel (1) (2) (3) Daniel.Pfurtscheller@uibk.ac.at
5. Sinnesmodalitäten als „Grundtypen der Empfindung“ 
 (Schmidt/Schaible 2006: 183) Was heißt „multimodal“? (1) Sinnesmodalitäten 4 „multimodal“ heißt multisensorisch Terminus „multimodality“ stammt aus der Wahrnehmungspsychologie
 (Leeuwen 2011: 668) „cross-modal problems“
 (Spence/Deroy 2013) kognitive Integrationsleistungen
 (Schnotz 2003; Müller 2003) distinke ‚Sinneskanäle‘?
6. Was heißt „multimodal“? (2) Zeichensystem und Codes 5 „multimodal“ heißt
 mehrere verschiedene Zeichensysteme Modalität als „Zeichentyp“ 
 (Stöckl 2011: 45) „Die Sprache ist ein System von Zeichen, die Ideen ausdrücken und insofern der Schrift, dem Taubstummenalphabet, symbolischen Riten, Höflichkeitsformen, militärischen Signalen usw. usw. vergleichbar. Nur ist sie das wichtigste dieser Systeme.“ (Saussure 2001 [1916]: 19) Code: „a set of substitution rules“ 
 (Watt/Watt 1997: 414) „festgelegte Bedeutung“
 (Stöckl 2004, 15) Kritische Einschätzung
 z.B. Bühler 1999 [1934]: 74–75 
 z.B. Bucher 2011: 130 Daniel.Pfurtscheller@uibk.ac.at
7. Was heißt „multimodal“? (3) Ressourcen und Mittel 6 „Semiotic resources are the actions, materials and artifacts we use for communicative purposes […] together with the ways in which these resources can be organized. Semiotic resources have a meaning potential, based on their past uses, and a set of affordances based on their possible uses”
 (van Leeuwen 2005: 285) Modalität als Ressourcen mit bestimmten Möglichkeiten und Einschränkungen gruppenspezifisch
 zeitspezifisch
 kulturabhänging „modes“
 (Kress 2013)
8. Was heißt „multimodal“? Daniel.Pfurtscheller@uibk.ac.at Überlegungen zu einer zentralen Beschreibungskategorie der Visuellen Kommunikationsforschung „multi-modal“ Sinnesmodalitäten Zeichensysteme und Codes Ressourcen und Mittel (1) (2) (3) „multi-modal“ … … (1) (…) Welches sind die geeigneten Analyse- und Beschreibungskategorien? Verhältnis von Wahrnehmungsmodi und Ressourcen der Kommunikation?
9. Literatur Bucher, Hans-Jürgen (2012): Multimodalität – ein universelles Merkmal der Medienkommunikation: Zum Verhältnis von Medienangebot und Medienrezeption. In: Bucher, Hans-Jürgen/Schumacher, Peter (Hrsg.): Interaktionale Rezeptionsforschung: Theorie und Methode der Blickaufzeichnung in der Medienforschung. Wiesbaden:Springer VS, S. 51–82 Bucher, Hans-Jürgen (2011): Multimodales Verstehen oder Rezeption als Interaktion: Theoretische und empirische Grundlagen einer systematischen Analyse der Multimodalität. In: Diekmannshenke, Hajo/Klemm, Michael/Stöckl, Hartmut (Hrsg.): Bildlinguistik: Theorien, Methoden, Fallbeispiele. Berlin: Erich Schmidt, S. 123–156 Bühler, Karl (1999): Sprachtheorie: Die Darstellungsfunktion der Sprache. 3. Aufl. Stuttgart: Lucius & Lucius Jewitt, Carey (2013): An introduction to multimodality. In: Jewitt, Carey (Hrsg.): The Routledge Handbook of Multimodal Analysis. London: Routledge, S. 15-30 Kress, Gunther (2013). What is a mode? In: Jewitt, Carey (Hrsg.): The Routledge Handbook of Multimodal Analysis. 2. Aufl. London: Routledge, S. 60–75. Leeuwen, Theo van (2005): Introducing Social Semiotics. London: Routledge Leeuwen, Theo van (2011): Multimodality. In: Simpson, James (Hrsg.): The Routledge Handbook of Applied Linguistics. London: Routledge, S. 668–682 Müller, Horst M. (2003): Neurobiologische Grundlagen der Sprachfähigkeit. In: Rickheit, Gert/Herrmann, Theo/ Deutsch, Werner (Hrsg.): Psycholinguistik. Ein internationales Handbuch. Berlin, New York: de Gruyter, S. 57–80 Saussure, Ferdinand de (2001): Grundfragen der allgemeinen Sprachwissenschaft. 3. Aufl. Berlin, New York: de Gruyter. Schmidt, Robert F./Schaible, Hans-Georg (Hrsg.) (2006): Neuro- und Sinnesphysiologie. 5. Aufl. Heidelberg: Springer. Schnotz, Wolfgang (2003): Informationsintegration mit Sprache und Bild. In: Rickheit, Gert/Herrmann, Theo/ Deutsch, Werner (Hrsg.): Psycholinguistik: Ein internationales Handbuch. Berlin, New York: de Gruyter, S. 577–587. Spence, Charles/Deroy, Ophelia (2013): How automatic are crossmodal correspondences? In: Consciousness and Cognition. 22 (1), S. 245–260 Stöckl, Hartmut (2004): Die Sprache im Bild – Das Bild in der Sprache: Zur Verknüpfung von Sprache und Bild im massenmedialen Text: Konzepte, Theorien, Analysemethoden. Berlin: de Gruyter Stöckl, Hartmut (2011): Sprache-Bild-Texte lesen: Bausteine zur Methodik einer Grundkompetenz. In: Diekmannshenke, Hajo/Klemm, Michael/Stöckl, Hartmut (Hrsg.): Bildlinguistik: Theorien, Methoden, Fallbeispiele. Berlin: Erich Schmidt, S. 45–70 Watt, Gavin T./Watt, William C. (2003): Codes. In: Posner, Roland/Robering, Klaus/Sebeok, Thomas A. (Hrsg.): Semiotik: Ein Handbuch zu den zeichentheoretischen Grundlagen von Natur und Kultur. 3. Teilband. Berlin, New York: de Gruyter, S. 404–414 Icons vom Noun Project: „Juggle“ by Johan H. W. Basberg / „Bucket“ by Alice Mortaro / „Senses“ by heathersabrina / „Encryption“ by Jason D. Rowley / „Shape“ by Pham Thi Dieu Linh