(z.B. Knoblauch & Schnettler 2007; Liebert 2011, Bucher & Niemann 2015) oder der politischen Kommunikation (z.B. Klemm 2011, Demarmels 2007) liegen bis anhin lediglich Einzeluntersuchungen vor.
Nebst der Text- und Medienlinguistik ist es insbesondere auch die (kritische) Diskursanalyse, welche das Konzept der Multimodalität aufgreift. Im Rahmen der multimodalen Diskursanalyse werden die Konstruktion sozialer Realitäten und Wissensbestände mittlerweile konsequent in allen medialen und modalen Erscheinungsformen untersucht (vgl. Klug 2016, Meier 2011).
Nun liegt der Fokus der text-, medienlinguistischen und diskursanalytischen Untersuchungen vornehmlich auf den multimodalen Kommunikaten selbst. Rezeptions- und Produktionsprozesse im engeren Sinne wurden bis anhin erst vereinzelt untersucht. Rezeptionsprozesse aus medienlinguistischer Perspektive nimmt etwa Bucher mit der Methode des Eye-Trackings und des Lauten Denkens in den Blick, um individuelle Rezeptionsprozesse in multimodalen, nichtlinearen Textkonglomeraten in Zeitungen (print, online, e-paper) nachzuzeichnen (vgl. etwa Bucher 2011a, 2011b, Bucher 2007).
Eine andere Perspektive auf Rezeptionsprozesse nehmen psycholinguistische und lernpsychologische Untersuchungen zum Wissenserwerb aus multimodalen Texten ein. Mittels experimenteller Methoden werden die Prozesse des Textverstehens multimodaler Texte untersucht, um daraus etwa didaktische Folgerungen zur optimalen Gestaltung von Unterrichtsmaterial abzuleiten (vgl. bspw. die Übersicht in Kürschner & Schnotz 2007 oder die Untersuchung von Dittmar et al. 2017 zu Biologielehrmitteln). Besonders im Fokus steht dabei die Frage, wie sich der Einsatz unterschiedlicher Modalitäten auf das Textverstehen und den Wissenserwerb auswirken. So konnte einerseits festgestellt werden, dass Text-Bild-Kombinationen den Wissenserwerb unterstützen können (vgl. die Forschungsübersicht in Anglin, Vaez, & Cunningham 2004; Ballstaedt 2017, S. 155–156; Schüler, Arndt & Scheiter 2019), allerdings nur unter gewissen Bedingungen, z.B. wenn die Informationen redundant in Text und Bild präsentiert werden (Anglin, Vaez, & Cunningham 2004, S. 876). Probleme beim Textverstehen treten dann auf, wenn die Informationen auf Text und Bild aufgeteilt erscheinen, was beim Textverstehen eine höhere kognitive Belastung verursacht, da Informationen aus verschiedenen Quellen integriert werden müssen (vgl. zu diesem sogenannten Split-Attention-Effekt Ayres & Sweller 2005).
Seit dem Aufkommen von mobilen Geräten wie Smartphones gerät zunehmend ein weiteres Phänomen in den Blick: der Second- oder Multi-Screen, d.h. die Verteilung eines Kommunikationsangebots auf verschiedene Mediensysteme, sodass die Nutzer parallel zwei oder gar mehrere Monitore oder Geräte benützen (z.B. in dem sie eine Fernsehsendung via Smartphone kommentieren), vgl. dazu den Sammelband von Göttlich, Heinz & Herbers (2017) oder die Studie zur Beeinträchtigung des Textverstehens von Van Cauwenberge, Schaap & van Roy (2014).
Weitaus weniger Berücksichtigung fanden in der Forschung bis anhin Produktionsprozesse im engeren Sinne. Eine Ausnahme bilden die Studien von Klemm, Perrin & Michel (2016) und Gnach & Perrin (2011), die mittels Schreibprozess-Analyse und ethnografischen Interviews zeigen, wie Sprache, Bild und Ton in der Produktion von Fernsehnachrichten und TV-Programmtrailern kombiniert werden und auf welchen Kriterien Journalisten ihre Entscheidungen basieren. Doch gerade für die Weiterentwicklung der Schreibdidaktik zu einer multimodalen Schreibdidaktik wären Studien zu grundlegenden Prozessen multimodaler Textproduktion nötig.
Zu diesem Band
Der vorliegende Band betrachtet das Phänomen der Multimodalität aus theoretischer und praktischer Perspektive und zeigt, wie sich eine konsequente Berücksichtigung von Schreiben als multimodale Kommunikation auf Anforderungen und Praktiken des Schreibens, v.a. im Hochschulkontext, aber auch in der Grundschule und in der professionellen Kommunikation auswirkt.
Ausgehend von der Prämisse, dass Texte heute immer multimodale Kommunikationsereignisse sind, wird dem kommunikativen Zusammenwirken unterschiedlicher semiotischer Systeme in Texten nachgegangen: Wie gestalten sich multimodale Schreib- und Gestaltungsprozesse? Und welche praktischen Implikationen hat die zunehmende Multimodalität von Texten für die Vermittlung wissenschaftlicher und beruflicher Schreibkompetenz?
Diesem Sammelband zugrunde liegen ausgewählte, mit einem Doppelblind-Verfahren begutachtete Beiträge zur Konferenz Schrift – Bild – Ton. Schreiben als multimodales Ereignis, die im Juni 2018 an der Hochschule Luzern – Wirtschaft (HSLU W) vom Forum wissenschaftliches Schreiben und dem Institut für Kommunikation und Marketing der HSLU W durchgeführt wurde.
Die Beiträge zeichnen sich dadurch aus, dass sie mit unterschiedlichen Textkorpora arbeiten und somit Praktiken in unterschiedlichen Handlungsfeldern zu beleuchten vermögen, in denen multimodale Textproduktion eine bedeutsame Rolle spielt, z.B. unterschiedliche multimodale Textsorten aus den Domänen Hochschule, Wirtschaft und Journalismus.
Ziel der Konferenz wie auch dieses Bandes ist es, theoretische und anwendungsorientierte Positionen zum Thema Schreiben und Multimodalität in einen Dialog zu bringen und fruchtbare Impulse für die Zukunft des Schreibens in Studium und Beruf zu setzen.
Übersicht über die Beiträge
Der erste Teil des Sammelbands ist der Multimodalität des Schreibens im Bildungskontext gewidmet.
Arlene Archer beschäftigt sich in ihrem Beitrag mit den sich verändernden Formen des Schreibens in der Hochschulbildung. Den Fokus legt sie dabei auf ein Schlüsselkonzept des akademischen Schreibens: Voice (das sich mit Stimme nur unzureichend ins Deutsche übertragen lässt). Sie untersucht, wie Schreibende durch semiotische Entscheidungen in verschiedenen Modi «authorial engagement» realisieren und wie sie Voice intertextuell konstruieren. Schließlich argumentiert sie für den Nutzen kritischer Metasprachen, um Studierende, Lehrende und Forschende bei der Produktion und Kritik verschiedener Arten von Texten zu unterstützen.
Einer visuellen Seite des multimodalen Schreibens widmen sich Ursina Kellerhals und Vinzenz Rast. Sie fordern, dass an der Hochschule neben Schreiben und Reden auch das Visualisieren gelehrt werden müsse. Visualisieren, so halten sie fest, müsse sich an ein Regelwerk halten und dürfe nicht einfach nur in gefälliger Darstellung bestehen. Als Beispiel für ihre Vorstellung von Vermittlung multimodaler Textkompetenz stellen sie ein Unterrichtsmodul vor mit dem Namen Visual Communication in Corporate Contexts und fokussieren dabei auf didaktische Stolpersteine.
Eine Verbindung der Frage nach der Vermittlung von visueller Kommunikation und der Domäne der wissenschaftlichen Kommunikation findet sich im nächsten Beitrag. Roswitha Dubach, Anita Gertiser und Ruth Wiederkehr stellen darin basierend auf der Analyse von 45 Postern von angehenden Ingenieurinnen und Ingenieuren dar, wie Multimodalität im Hochschulkontext gezielt ausgeschöpft werden kann. Die Untersuchung zeigt, dass sich Studierende beim Gestalten von Postern stark an Mustern orientieren, Corporate-Design-Elemente übernehmen und vor allem Titel, Fließtext, Infoboxen, Fotografien und Skizzen einsetzen. An vier Beispielen zeigen die Autorinnen, welche Mittel Zusammenhang zwischen unterschiedlichen sprachlichen und bildlichen Elementen stiften und welche Wechselbeziehungen dadurch entstehen. Es wird klar, und darin kommen Dubach, Gertiser und Wiederkehr mit Kellerhals und Rast überein, dass Studierende neben Vorlagen auch Anleitung brauchen, damit sie Multimodalität in Postern ausschöpfen können. Daraus ziehen die Autorinnen Konsequenzen für die Lehre.
Dem multimodalen Schreiben in der Vermittlung von Mathematik widmet sich Stefan Jörissen, wenn er die Bedeutung von Wandtafelnotationen in Kombination mit mündlicher Erklärung und Herleitung im Unterrichtskontext untersucht. Jörissen thematisiert das Zusammenspiel typografischer, stimmlicher und körpersprachlicher Gestaltung multimodaler kommunikativer Handlungen im Mathematikunterricht. Dabei unterscheidet er Produkt und Prozess: Während das Produkt (finished mathematics) an der Wandtafel stringent und logisch erscheint, ist der Entstehungsprozess (mathematics in the making) geprägt von Dynamik und Iterationen zum Eliminieren von Unsicherheit. Das Produkt ist charakterisiert durch ein oft nichtlineares Neben- und Miteinander unterschiedlicher Zeichensysteme und Gestaltungselemente wie Farben, Einrahmungen, Variationen in Strichdicke und Schriftgröße. Der Prozess ermöglicht es z.B. mittels Streichungen eine Umformung unmittelbar an der Tafel vorzunehmen oder Variablen durch Auswischen zu ersetzen – im Zusammenspiel von Schrift,