A qué le llamamos discurso en una perspectiva multimodal, Los desafíos de una nueva semiótica

Vista previa del material en texto

ALED 6, Santiago, Chile, septiembre de 2005, p.1 
 
¿A QUÉ LE LLAMAMOS DISCURSO EN UNA PERSPECTIVA 
MULTIMODAL? LOS DESAFÍOS DE UNA NUEVA SEMIÓTICA. 
 
 
WILLIAMSON, Rodney 
Universidad de Ottawa 
rwilliamson_ca@yahoo.com 
 
 
 
“Todos los textos son multimodales” afirman Gunther Kress y Theo van Leeuwen en 
1998, iniciando una línea de reflexión teórica que los llevará a plantear nuevas 
perspectivas sobre texto, lectura y competencia comunicativa, estableciendo los 
fundamentos de una nueva semiótica que pone en tela de juicio la primacía de la 
expresión verbal. El cambio teórico es desde “una teoría que sólo dio cuenta del lenguaje 
hacia una teoría que pueda dar cuenta de la gestualidad, el habla, las imágenes, la 
escritura, objetos tridimensionales, colores, música, entre otros modos de expresión” 
(Kress 2003). Desde 1996 y el renovado interés por la lectura de imágenes y mensajes 
visuales con la publicación de obras como Reading images de Kress & van Leeuwen, ha 
ido creciendo el interés por leer mensajes, ya no en función de códigos discretos para 
cada vía de comunicación (verbal o visual o auditiva) sino de las conexiones e 
intersecciones que se dan entre estas varias vías o modos de comunicación. Esta 
preocupación por la intersección, sobre todo, de elementos verbales y visuales en los 
mensajes ha cundido en cuatro o cinco distintas corrientes de teoría multimodal a través 
del mundo. Entre otras, cabe mencionar las iniciativas de Bunt, Beun, Granström y 
Allwood en el norte de Europa, la colaboración de cuatro universidades italianas en el 
proyecto de Anthony Baldry con el apoyo de Paul Thibault, el constante interés por la 
multimodalidad en Australia (en relación, sobre todo, con la lingüística sistémica 
funcional de Halliday), y las investigaciones multimodales de la conversación en Estados 
Unidos por Charles Goodwin y Sigrid Norris. Pero es a la corriente británica (Kress, van 
Leeuwen, Jewitt) que queremos referirnos ahora, por un importante modelo de estratos 
formulado por Kress & van Leeuwen 2001 que nos servirá de guía en nuestras 
reflexiones presentes (Fig. 1) 
 
 
DISCURSO 
formas de conocimiento socialmente “situadas”(¿quién, qué, 
 dónde, cuándo, cómo?) 
 + evaluaciones, propósitos, interpretaciones, legitimaciones 
 DISEÑO 
 conceptualización de la forma del producto semiótico 
 Se diseña: 1) una configuración de discursos 
 2) una determinada (inter)acción 
 3) una determinada combinación de modos 
 PRODUCCIÓN 
 2
 articulación material del diseño sea como prototipo, sea como 
 producto final 
 DISTRIBUCIÓN 
 ‘recodificación’ técnica del producto para fines de grabación o difusión 
Fig. 1 Estratos analíticos de Kress & van Leeuwen (2001) 
 
 
Un aspecto básico de la semiótica de Kress & van Leeuwen es su insistencia en los 
recursos semióticos ( a diferencia de los códigos) de los que dispone el emisor de un 
mensaje. El primero de estos recursos es el acceso a determinado discurso o serie de 
discursos (entendiendo discursos a la manera de Michel Foucault como saberes 
socialmente construidos: “socially constructed knowledges of some aspect of reality” 
(van Leeuwen 2005:94). Sabiendo el emisor qué discursos quiere utilizar, puede proceder 
luego a integrar sus discursos en un acto comunicativo gracias a un diseño particular, 
apropiado para la situación. El diseño es un concepto complejo que tiene un lado ideativo 
(social y conceptual) y un lado material: 
El diseño se encuentra a medio camino entre el contenido y la expresión. Es el lado 
conceptual de la expresión y el lado expresivo de la concepción. Los diseños son 
(usos de) recursos semióticos, en todos los modos semióticos y combinaciones de 
modos semióticos. Los diseños tienen la finalidad de realizar discursos en el contexto 
de una situación comunicativa determinada. (Kress & van Leeuwen 2001:5).1 
 
 Por un lado, el emisor se forma una idea de lo que quiere comunicar y lo hace gracias a 
los discursos a su disposición; por otro lado, busca en su contexto inmediato los medios 
físicos y técnicos que puede aprovechar como vías de expresión de su mensaje. Un medio 
explotado conscientemente para fines comunicativos se llama modo. El diseño, como una 
configuración particular de discursos y modos, es el objeto central del estudio 
multimodal. Pero el estudio de diseños en sí no basta para apreciar la naturaleza de los 
actos comunicativos, y mucho menos su significación social. El análisis de los procesos 
de producción y de distribución (o difusión) del mensaje nos ayuda a apreciar éste en su 
materialidad y su sentido real. 
 
En otras palabras, la teoría multimodal nos propone un enfoque sobre el discurso en el 
que éste no se ve como un objeto de estudio aislado, sino como parte de un proceso. La 
teoría multimodal nos habla de discursos en plural porque su única existencia real es a 
través de actos de comunicación, en los que cada discurso entra en combinación con 
otros. Foucault nos enseña que el discurso es una construcción social, pero la 
significación social del discurso sólo se puede apreciar enfocando todo el proceso 
comunicativo, desde su concepción hasta las condiciones materiales y técnicas de su 
distribución. La naturaleza histórica y evolutiva de los discursos se aprecia viéndolos 
como parte de un proceso de difusión a partir de un emisor o emisores hacia uno o varios 
 
1 Traducción nuestra del texto original: “Design stands midway between content and expression. It is 
the conceptual side of expression, and the expression side of conception. Designs are (uses of) semiotic 
resources, in all semiotic modes and combinations of semiotic modes. Designs are means to realise 
discourses in the context of a given communication situation.” 
 
 3
públicos, a través de determinadas situaciones comunicativas, es decir, determinados 
sitios y tiempos. Lo anterior parece obvio, y coincide esencialmente con un enfoque que, 
entre otros, Norman Fairclough puso en práctica hace décadas. Pero en términos 
multimodales, tiene consecuencias no tan obvias. 
 
A partir del modelo esbozado, podemos concluir que un discurso tiene una presencia en 
el tiempo y el espacio: 
 
por una parte, gracias al conjunto de modos disponibles para su expresión. 
por otra, gracias a los otros discursos con los que entra en contacto y se combina. 
 
El primer factor es sobre todo una cuestión de técnica, de los recursos técnicos a la 
disposición del emisor. Por ejemplo, diferentes períodos de la historia cultural han sido 
marcados por un carácter relativamente multimodal (una serie de modos con funciones 
diferenciadas contribuyen a la construcción de un todo) o monomodal (predomina un 
modo relegando otros a un nivel secundario o imperceptible, o asimilando sus funciones) 
y esto siempre refleja o tiene como consecuencia el uso de determinados recursos 
técnicos de producción o distribución. 
 
La monomodalidad delata una tendencia hacia la especialización, la ejecución de un 
género por profesionales. Un ejemplo es el paso de la Edad Media tardía (notablemente 
multimodal) hacia el Renacimiento (monomodal). Podemos ilustrar el hecho a través de 
un género artístico pictórico, la Anunciación. El arte eclesiástico o monástico emplea 
elementos tanto pictóricos como verbales, con fines didácticos. En el cuadro de Simone 
Martini (1333; Fig.2), vemos una cadena de palabras que sale de la boca del ángel 
Gabriel y que se dirige hacia el oído de María. Los iconos del ramo y del florero con 
lirios se incluyen por sus valores simbólicos asociados con Gabriel y María, 
respectivamente. La misma cadena de habla que sale de la boca del ángel se ve un siglo 
más tarde en el cuadro de Fra Angélico (1432; Fig 3). Pero ya fuera del ambiente 
monástico en el que vive Fra Angélico, todo va cambiando. Las escuelas de arte, 
arquitectura y escultura del Renacimiento van dando lugar auna práctica artística más 
profesional. El pintor de carrera debe ahora poder expresarlo todo por modos pictóricos 
(formas, cromatismo). Representación natural y valor icónico se funden en una sola 
categoría; los elementos verbales desaparecen. El resultado del proceso se aprecia en el 
cuadro de Francesco Salviati (1534; Fig.4). 
 
 4
 
Fig. 2 Anunciación, Simone Martini, 1333 Fig. 3 Anunciación, Fra Angelico, 
1432 
 
 
Fig. 4 Anunciación, Francesco Salviati, 1534 Fig. 5 Libro de horas, Flandes, 
siglo XV 
 
La evolución del libro representa un caso paralelo. Todos hemos admirado en museos los 
libros de horas de los siglos 14 y 15, suntuosamente ilustrados siguiendo la tradición de 
los manuscritos iluminados de la Edad Media (Fig.5). Los primeros libros impresos por 
Gutenberg, Caxton y otros se destacan por sus finos grabados e ilustraciones (Fig.6). 
 
 5
 
Fig. 6. Ilustraciones de la primera edición de Los cuentos de Canterbury de Chaucer 
(Caxton) 
 
Pero la re-organización de la página en términos de una coherencia puramente verbal 
comienza a aflorar desde el siglo 16 (Fig. 7). 
 
Fig.7 Dos portadas de ediciones del siglo XVI, de Gabrieli y Galileo 
 
Y el proceso llega a su apogeo en los siglos 18-19 (Fig.8). 
 
 6
 
Fig. 8 Portadas de ediciones de Newton (1730) y de Jane Austen (1811) 
 
Aquí triunfa el poder de la palabra escrita. El grado de integración de otros modos de 
comunicación al arte verbal, el predominio y el poder de la escritura, se puede ilustrar con 
el siguiente fragmento de un poema de Dante Gabriel Rossetti, típico exponente del arte 
victoriano en Inglaterra (Fig.9). 
 
 
Fig..9 Fragmento del poema “The blessed damozel” de Dante Gabriel Rossetti (1870) 
 
 
 7
En el marco de la escritura poética se inserta el lenguaje hablado en forma de una 
conversación, de una manera que hoy día sería muy poco habitual. Poco importa que se 
trate de una conversación más imaginada que real, entre la damisela y los ángeles. Los 
tonos de la voz, las posturas del cuerpo, las expresiones de la cara, se representan a través 
del yo poético, quien actúa como observador, audiencia real de la escena. De esta manera, 
una serie de modos de expresión pertenecientes a la situación comunicativa material se 
subsumen en la expresión escrita: el yo “ve” la sonrisa de la damisela (modo visual) y 
“oye” su llanto (modo sonoro). 
 
Ahora las cosas han cambiado. ¿El lector del siglo 21 compraría un libro de cocina o una 
novela de Corín Tellado con una presentación al estilo de las portadas de la Figura 10? 
 
 
Fig. 10 Siglo XIX: portadas de un libro de cocina y de una novela de amor (romance) 
 
 
Probablemente no, porque el proceso inverso, el paso de la monomodalidad a la 
multimodalidad, se ha producido (según Kress & van Leeuwen 2001) en el paso del siglo 
19 hacia el 20. Y así como la invención de la imprenta resaltó la importancia de la letra 
impresa, las nuevas técnicas electrónicas, con las que los contenidos y formatos visuales 
se pueden manejar y difundir con enorme facilidad, ahora vuelven a dar prominencia a la 
imagen. Vuelven a aparecer los iconos, esta vez no con significado filosófico o sagrado, 
sino comercial: se trata de logotipos, textos-imágenes de marcas registradas, etc. 
Comentaremos luego más ejemplos de tendencias contemporáneas en el manejo de 
modos visuales. 
 
 8
Habíamos apuntado antes que el discurso revela su carácter histórico, no sólo a través de 
la serie de modos que en determinado momento sirven para expresarlo, sino también a 
través de su combinación con otros discursos. El ejemplo del poema de Rossetti nos pone 
en escena un discurso amoroso y otro religioso que, individualmente y como tales, se 
encuentran en cualquier sociedad en cualquier época. Pero su particular combinación, 
junto con el discurso poético descriptivo (arte verbal escrito) y el habla de la protagonista, 
los sitúa en el siglo 19 en Inglaterra, y en la tradición de la balada romántica. 
 
Más familiar, quizá, nos resulta hoy día la combinación discursiva del anuncio del 
champú Pantene (Fig. 11). La intersección del discurso científico con el comercial es una 
técnica establecida para vendernos productos apelando a la autoridad de “expertos”. Los 
“expertos” en este caso son tanto los estilistas del pelo y los “artistas” de la cosmética, 
como científicos del laboratorio Pantene y médicos. El discurso científico que está en 
juego en el texto citado es el discurso médico. El tono de consejo reconfortante del 
médico paternal se funde con las exhortaciones del discurso comercial y los “tips” de los 
expertos en estética corporal. 
 
Pasemos, finalmente, a casos discursivos más problemáticos, generados tanto por la 
enorme rapidez con la que géneros discursivos y diseños se transforman en el contexto 
contemporáneo, como por la flexibilidad de los medios empleados. Cuando la 
combinación de discursos se realiza en el contexto de una fusión de géneros discursivos, 
se produce un caso de verdadera hibridación discursiva, que puede dar lugar a un 
mensaje bifurcado, diferente para cada tipo distinto de audiencia contemplado. El 
emplear el mismo texto para comunicar mensajes diferentes a distintos públicos es una 
práctica establecida en muchos escenarios comunicativos en el mundo moderno (en 
escenarios políticos, por ejemplo). Pero hay casos que se pueden calificar de siniestros. El 
siguiente ejemplo es un video promocional del ejército estadounidense (por razones 
prácticas no nos es posible reproducir el video digital aquí). Combina escenas realistas 
(como si fueran de noticiero) con otras de realidad virtual propias de los videojuegos, y el 
mensaje propagandístico militar se combina con un género que acostumbramos ver en el 
cine, los avances de estrenos de películas, como si se estuviera promocionando en este 
caso una película de acción, y no el ejército. De hecho, éste es un anuncio no del ejército 
en sí, sino del videojuego que han confeccionado para “informar” al joven de catorce o 
quince años, potencial recluta futuro, sobre la vida militar. Este tipo de hibridaciones en 
nuestros medios contemporáneos, que señalamos como un problema para el análisis 
crítico del discurso, se caracteriza por propagar mensajes dobles, combinaciones 
discursivas disparejas, que parecen coherentes debido a un hábil manejo de recursos 
multimodales. 
 9
 
 
 
We're all aware the sun's rays can be harm ful, but they 
are also a boundless source of physical & psychological 
benefits. With a good sun protect ion cream and a lit t le 
bit of com m on sense we can all shine like a goddess this 
sum m er. 
 
Click on the experts below to see what they have to say 
about taking care of your beaut iful self this summ er! 
 
 
 
Fig. 11 Página web de Pantene 
 
 
 10
Vivimos en un mundo de constantes transformaciones de discursos visuales, en gran parte 
porque las nuevas tecnologías electrónicas e informáticas nos ofrecen un potencial nunca 
antes visto para el manejo de los modos visuales. De la misma manera que en los medios 
se ven casos de fusiones discursivas particularmente modernas, también se producen 
casos de fusión de distintos modos de expresión. En los mensajes publicitarios, por 
ejemplo, las letras del lenguaje escrito se explotan en su plena potencialidad visual. De 
esta manera, una letra o morfema se puede convertir en icono, objeto visual, objeto 
tridimensional con cara delantera y trasera, en una especie de ventana para visualizar 
otros objetos y referentes, un espacio cromático, etcétera, como en un ejemplo de la 
marca X (Fig. 12). 
 
Fig. 12 Anuncio de la marca X Fig. 13 Anuncio de la marca 
OXOXO 
 
En la Figura 13, ¿OXOXO es una palabra o un conjunto de iconos (incluyendo el icono 
del corazón)? Se trata de un recurso lingüístico o de un objeto visual? Sólo un cuidadoso 
análisis multimodal nos puede ayudar a comprender casosde modos fusionados o 
superpuestos. La superposición de modos, formas, estructuras en el espacio virtual, 
creando efectos de aparente instantaneidad o simultaneidad en el tiempo, es un rasgo de 
los nuevos contextos de comunicación electrónica en el mundo moderno. 
 
Los medios contemporáneos también transforman las estructuras discursivas. Un caso es 
la narración, que acostumbramos concebir en términos verbales, pero que tiene un 
evidente potencial multimodal. En un ejemplo interesante del sitio web de la revista 
Vogue (Fig. 14) que me fue proporcionado por mi alumna doctoral Karla Zúñiga, vemos 
como la estructura narrativa se propone como una especie de plantilla que el usuario 
puede llenar de manera individual, empleando la técnica de “collage” electrónico tan 
frecuente en Internet, enhilando en este caso, no palabras ni frases sino imágenes a 
primera vista disparejas, pero potencialmente combinables por su carga de tiempo y 
espacio. El sitio de la revista Vogue invita a sus lectoras a conocer la “historia completa” 
(“the whole story”), pero haciendo clic en este vínculo sólo se llega a una serie de 
pantallas llamadas “style notes” (apuntes de estilo) con diferentes imágenes y textos 
 11
breves. La intención es que cada lectora o usuaria formule su propia historia de estilo, a 
través de una temática, temporalidad y topografía vagamente trazadas (en forma de 
“apuntes”). La historia completa sólo la conocerán las lectoras de Vogue a través de las 
construcciones que ellas mismas hacen. 
 
Fig. 14 Página web de la revista Vogue 
 
Conclusiones 
Para resumir lo que podemos aprender de este veloz recorrido de ejemplos: 
1) la teoría multimodal plantea el discurso como una realidad cambiante, evolutiva, 
histórica, que sólo se puede captar a través de un diseño y un contexto 
comunicativo. En esto, los ejemplos de la historia pasada son útiles para 
comprender la historia de actos comunicativos “actuales” o recientes. 
2) los detalles materiales y técnicos de la producción y distribución de discursos 
cobran una nueva y especial importancia. 
3) para comprender la naturaleza de los discursos, hay que examinar las audiencias 
que los reciben. El papel creativo del receptor es cada vez más importante en el 
sofisticado manejo de múltiples modos en la comunicación contemporánea. 
4) los aportes de la teoría multimodal son esenciales para un análisis verdaderamente 
crítico del discurso. 
 
 
 
 
 12
Referencias 
Bunt, Harry & Robbert-Jan Beun (eds.) 2001. Cooperative multimodal communication. 
Berlin: Springer 
Granström, Björn, David House & Inger Karlsson (eds.), 2002. Multimodality in 
language and speech systems. Dordrecht: Kluwer 
Iedema, Rick, 2001, “Analyzing film and television” en T. van Leeuwen & C. Jewitt 
(eds.) Handbook of visual analysis. Londres: Sage. 
Jewitt, Carey & Gunther Kress, 2003. Multimodal literacy. N.York: Peter Lang. 
Kress, Gunther, 2003. Literacy in the new media age. Londres: Routledge. 
Kress, Gunther & Theo van Leeuwen, 1996. Reading images. Londres: Routledge. 
Kress, Gunther & Theo van Leeuwen, 1998. Front pages: (The critical) analysis of 
newspaper layout. En: Allan Bell & Peter Garrett (eds.), Approaches to media discourse. 
Oxford: Blackwell. 
Kress, Gunther & Theo van Leeuwen, 2001. Multimodal discourse. The modes and media 
of contemporary communication. Londres: Arnold. 
van Leeuwen, Theo 2005. Introducing social semiotics. Londres: Routledge. 
Thibault, Paul, 2000, “The multimodal transcription of a television advertisement” en: 
Anthony Baldry (ed.) Multimodality and multimediality in the distance learning age. 
Campobasso: Palladino Editore.