Mecatronica_del_Gesto

Vista previa del material en texto

1 
 
Mecatrónica del Gesto 
 
 
Dr. Dr. Lino García Morales, Dra. Martina Eckert 
 
“El gesto tiene la suerte de poseer la abstracción de la poesía y el ritmo de la música” 
El gesto y su lenguaje en la pintura abstracta, María Mira-Perceval Graells 
 
La mecatrónica es una disciplina heterotópica, en la intersección de áreas como la mecánica, electrónica e 
informática, cuyo objetivo es proporcionar mejores productos, procesos y sistemas; un concepto recientemente 
desarrollado que enfatiza la necesidad de integración y de una interacción intensiva entre diferentes áreas de la 
ingeniería. Sin embargo, más allá de su causa final, en la confluencia con el arte, la mecatrónica proporciona valiosas 
herramientas para la comprensión (análisis) y simulación (síntesis) del movimiento, del gesto; especialmente de los 
mensajes del cuerpo. El gesto es un vehículo de expresión, consciente e inconsciente, meditado e improvisado, 
liberado de las exigencias de la representación. La mecatrónica proporciona un vehículo multimedia: autor (gesto-
trazo), de control (gesto-marioneta, gesto-compositor), de inmersión (gesto-avatar), una extensión del hombre hacia 
la subjetividad, la creatividad, la ficción. 
 
1. Mecatrónica 1.1. Captura del Gesto 2. Conexiones 3. Ejercicio 4. Conclusiones 
 
 
1. Mecatrónica 
 
La mecanotrónica
1
 resulta autosuficiente para su enseñanza. Sin embargo la introducción de 
herramientas libres, simples y potentes como Arduino, Processing, Pure Data, etc., 
(connaturales a la mecanotrónica), en el mundo del arte, permite replantear la interrogante de si 
¿serían útiles para enseñar arte? No ya arte tecnológico
2
 sino simplemente: arte. Téngase en 
cuenta la importancia del gesto, como vehículo expresivo: en el dibujo, la pintura, la escultura, 
etc., y su intrincada relación con el movimiento. Cuestionada de otra manera: ¿podría la 
mecanotrónica ayudar al estudiante en la comprensión de elementos propios del arte? ¿podría 
aportar una visión atípica, eficaz, lúdica, superior? ¿podría ser el propio cuerpo humano no 
objeto pasivo–medio de expresión, sino sujeto activo–medio de comprensión? 
El paradigma de la complejidad, superado el enfoque mecanicista de la realidad, proporciona 
una visión holística relacionada directamente con una actitud transdisciplinar. El arte, liberado 
de las exigencias de la representación, se dilata a otras disciplinas, las absorbe, las redibuja, en 
un proceso irreversible de auto-transformación. Este contexto resulta un terreno fértil para la 
investigación y conexión de procesos aparentemente dispares en aras de la excelencia 
pedagógica. 
Según W. Bolton: “Un sistema mecatrónico es más que solo una unión entre los sistemas 
eléctricos y mecánicos, y más que sólo un sistema de control; es una integración completa de 
todos ellos”
3
 (Bolton, 2001, p. 1). La mecatrónica es transdisciplinar, adopta un enfoque 
concurrente y participativo entre las ingenierías mecánica, eléctrica, electrónica y de control, 
aprovecha la porosidad de sus límites, fusiona e integra. Una de las aplicaciones más comunes 
                                                        
1
 La existencia de ésta palabra se atribuye a Tetsura Mori, un ingeniero Senior que trabajaba para Yaskawa Electric Corp., 
en 1969. Mori la empleó para referirse a la combinación de sistemas eléctricos y mecánicos. También se conoce por 
mecanotrónica. 
2
 Las prácticas artísticas relacionadas con la tecnología se producen en la intersección, ya sea parcial o total, de los 
ingredientes de la era de la información: computación, comunicación, contenidos e, indirectamente, con las disciplinas 
ingenieriles relacionadas: robótica, electrónica, informática, redes, programación, vida e inteligencia artificial, mecánica, 
multimedia, etc. Esta particularidad le otorgan precisamente las características más importantes de la mecanotrónica: la 
progresividad y la reactividad. La primera está relacionada con la acción procesual y activa de las obras (auténticos 
sistemas de ingeniería) y la segunda con su capacidad de interacción. 
3
 Traducción de los autores. 
2 
 
de la mecatrónica es la robótica y, consecuentemente, la visión e inteligencia artificial, los 
sensores y actuadores, los sistemas de control, etc. 
1.1. Captura del Gesto 
 
La captura del movimiento (conocida en inglés como motion capture, motion tracking o mocap) 
describe el proceso de grabación de movimiento, de la cualidad expresiva del gesto, y lo 
traslada a un modelo digital. En el contexto de la animación, se refiere a la técnica de almacenar 
las acciones de actores, y usar esa información para animar modelos digitales de personajes ya 
sea en 2D ó 3D. Se basa tradicionalmente en las técnicas de fotogrametría
4
, medidas sobre fotos, 
sin embargo, es el propio concepto de fotografía el que ha revolucionado. La fotografía permite 
obtener imágenes duraderas, atrapar el movimiento, debidas a la acción de la luz; sin embargo la 
extensión de la radiación luminosa por debajo y por encima del espectro visible (luz infrarroja, 
IR y ultravioleta, UV; respectivamente) permiten “ver” más allá de lo que el ojo ve. 
Kinect es una tecnología que supone “una revolución en la tecnología similar a las que dio 
forma a la mayoría de avances fundamentales del siglo XX. Al igual que el estreno del 
ordenador personal o Internet, la publicación de la Kinect fue otro momento en que la fruta, de 
miles de millones de dólares y décadas de investigación que anteriormente sólo había estado 
disponible para los militares y la comunidad intelectual, cayó en manos de la gente común” 
(Borenstein, 2012, p. v). 
Kinect es, básicamente, una cámara de profundidad (depth camera) de bajo coste que no sólo 
convierte en imagen la luz que devuelven los objetos sino que registra la distancia de los 
objetos. Por cada píxel
5
, Kinect devuelve información de color y profundidad. 
 
Figura 1. Kinect sin la carcasa. De izquierda a derecha: proyector IR, cámara RGB, cámara IR. Además incorpora 
un arreglo lineal de micrófonos, control motorizado de la inclinación de los sensores y conexión USB. 
Kinect es un producto de Microsoft para su consola de juegos Xbox 360 desarrollado por 
PrimeSense. Sin embargo su masificación se debió a una recompensa de 2.000 dólares que 
ofreció Adafruit (empresa distribuidora de kits para proyectos de código abierto de hardware, 
                                                        
4
 La fotogrametría es una técnica que determina las propiedades geométricas de los objetos y las situaciones espaciales a 
partir de imágenes fotográficas. 
5
 El píxel es la mínima unidad de información de la imagen digital. Es resultado de un doble proceso de cuantificación 
espacial y del color; determinado por la resolución de la imagen 2D y del color, respectivamente. La codificación de la 
información del color más habitual es la RGB que corresponde a la suma aditiva de los tres colores primarios: rojo, verde 
y azul. La inclusión de la coordenada profundidad permite generar imágenes 3D. 
3 
 
muchos de ellos basado en el microcontrolador Arduino
6
), a la primera persona que produjera 
controladores de código abierto, mediante procesos de ingeniería inversa, que permitieran a 
cualquiera acceder a los datos del Kinect. 
 
 
Figura 2. Ejemplos de información generada por Kinect a partir de imagen de profundidad. Arriba. Modelo 3D. 
Abajo. Esqueleto con puntos de control (joint) indicados y etiquetados en rojo y huesos (bones) trazados en negro. 
 
                                                        
6
 Arduino. http://www.arduino.cc/es/. Consultado el 28 de junio , 2012. Arduino es una plataforma de hardware libre, 
basada en una placa con un microcontrolador y un entorno de desarrollo, diseñada para facilitar el uso de la electrónica en 
proyectos multidisciplinares. 
4 
 
Esta iniciativa puso en marcha el proyecto Open Kinect, un esfuerzode colaboración de 
código abierto, para construir recursos gratuitos de explotación y desarrollo del Kinect que, 
paradójicamente, terminaron por consolidar el producto de Microsoft mediante una política de 
liberalización de las herramientas de desarrollo para PC de PrimeSense y de realimentación de 
la creatividad de la comunidad. Posteriormente PrimeSense incluyó software más sofisticado 
para procesar la imagen bruta (raw) de profundidad, detectar usuarios y localizar la posición de 
las articulaciones (skeleton), en tres dimensiones, en un sistema que denominó OpenNI, por 
"Interacción Natural" (Natural Interaction). Afortunadamente, hay una cosa que tanto OpenNI y 
Open Kinect tienen en común: una biblioteca para Processing. Dan Shiffman y Max Rheiner, 
desarrollaron bibliotecas para Processing
7
: Open Kinect y OpenNI (SimpleOpenNI), 
respectivamente
8
, que permiten acceder a prácticamente la totalidad de las funcionalidad del 
Kinect. La conexión Kinect–Processing produce un beneficio recíproco que resulta un salto 
cualitativo para la captura gestual. La extraordinaria capacidad interactiva del Kinect en 
conjunción con la potencia de Processing (soportada en la amplia y potente biblioteca de 
contribuciones) y la interacción con Arduino, permiten construir complejos sistemas 
mecatrónicos de manera relativamente sencilla y barata. 
La parte inferior de la Figura 2 muestra una captura de la posición de las quince uniones o 
puntos de control del esqueleto, que, en el tiempo, forman trayectorias. De arriba hacia abajo: 
lHand, rHand, lElbow, rElbow, lShoulder, rShoulder (parejas izquierda–derecha de mano, codo 
y hombro), head, neck y torso, lHip, rHip, lKnee, rKnee, lFoot y rFoot (parejas izquierda–
derecha de cadera, rodilla y pie). 
 
1.2. Animata 
 
La mecatrónica proporciona un vehículo de control gesto–marioneta. Una práctica artística del 
arte contemporáneo en la intersección con la tecnología es la animación digital. 
“La animación es un proceso utilizado para dar la sensación de movimiento a imágenes o dibujos. 
Existen numerosas técnicas para realizar animación que van más allá de los familiares dibujos 
animados. Los cuadros se pueden generar dibujando, pintando, o fotografiando los minúsculos 
cambios hechos repetidamente a un modelo de la realidad o a un modelo tridimensional virtual; 
también es posible animar objetos de la realidad y actores”
9
. 
La rotoscopía, por ejemplo, se basa en dibujar directamente sobre la referencia, que pueden 
ser los cuadros de la filmación de una persona real. La captura de movimiento (motion capture) 
infográfica puede considerarse su análoga. Pero en la animación digital, donde el objeto no es 
una imagen sino un modelo (2D ó 3D) de esa imagen, la rotoscopía pasa por controlar el 
movimiento del modelo (referencia) con la información obtenida del modelo real (persona). 
Animata
10
 es un programa de código abierto en tiempo real, diseñado para crear animaciones 
interactivas, proyecciones de fondo para conciertos, teatro y danza, etc. Animata se basa en una 
técnica, conocida en inglés como cutout animation, que utiliza figuras recortadas digitales (ya 
sea de dibujos, impresiones, fotografías, etc.). Los cuerpos de los personajes se construyen con 
los recortes de sus partes. Los personajes cobran vida a través del movimiento y reemplazo de 
                                                        
7
 Processing. http://www.processing.org/. Consultado el 16 de Junio, 2012. Processing es un lenguaje de programación y 
entorno de desarrollo integrado de código abierto basado en Java (lenguaje de programación orientado a objetos 
multiplataforma), de fácil utilización, y que sirve como medio para la enseñanza y producción de proyectos multimedia e 
interactivos de diseño digital. Fue iniciado por Ben Fry y Casey Reas a partir de reflexiones en el Aesthetics and 
Computation Group del MIT Media Lab dirigido por John Maeda. Processing es desarrollado por artistas y diseñadores 
como una herramienta alternativa al software propietario. Puede ser utilizado tanto para aplicaciones locales así como 
aplicaciones para la web (applets). Se distribuye bajo la licencia GNU GPL. 
8
 Véase: http://www.shiffman.net/p5/kinect/ y http://code.google.com/p/simple-openni/, Consultado el 28 de Junio, 2012. 
9
 Animación. http://es.wikipedia.org/wiki/Animación. Consultado el 28 de Junio, 2012. 
10
 Animata. http://animata.kibu.hu/. Consultado el 28 de Junio, 2012. 
5 
 
las partes, que configuran las diversas poses. La peculiaridad de este sencillo entorno es que 
permite la interactividad y el control del movimiento de las marionetas desde otros programas 
en tiempo real a través de un protocolo de comunicación heredado de la música: OSC (Open 
Sound Control). 
“La particularidad de este software es que la animación –el movimiento de las marionetas, los 
cambios de fondo– se genera en tiempo real, lo que hace posible la interacción continua. Esta 
capacidad también permite conectar sensores físicos, cámaras u otras variables ambientales a la 
animación de personajes, creando una caricatura que puede reaccionar a su entorno. Por ejemplo, 
es muy simple crear una banda virtual de títeres que reaccione en directo a una entrada de audio, o 
una escena de personajes dibujados controlados por el movimiento de bailarines” (Véase: 
http://animata.kibu.hu/). 
Animata constituye un recurso muy útil, no sólo para el aprendizaje de determinadas técnicas 
de animación, o de la dinámica del movimiento, sino también para la introducción de prácticas 
procesuales. 
 
 
Figura 3. Ejemplos de títeres marionetas. Arriba izquierda. Imagen fragmentada inicial. Arriba derecha. Modelo 
Animata. Abajo izquierda. Captura de la animación. Abajo derecha. Ejemplo de animación de marioneta mediante el 
cuerpo humano. Obsérvese la correspondencia entre seis puntos de control o uniones del esqueleto de la marioneta y 
del Kinect (Figura 2 abajo), respectivamente. 
Existen otros entornos de animación más potentes y de libre distribución como Blender
11
. 
Blender ofrece un amplio espectro de modelado, texturizado, iluminación, animación y post-
procesado de vídeo en un solo paquete. A través de su arquitectura abierta, Blender proporciona 
interoperabilidad entre plataformas, extensibilidad, un tamaño increíblemente pequeño, y un 
                                                        
11
 Blender. http://www.blender.org/. Consultado el 28 de Junio, 2012. 
lHand 
lElbow 
lShoulder 
rShoulder 
rElbow 
rHand 
6 
 
flujo de trabajo totalmente integrado. Blender es una de las más populares aplicaciones de 
código abierto de gráficos 3D, no sólo por su calidad y potencia sino también por su naturaleza 
abierta. Blender incorpora un intérprete de Python
12
 totalmente funcional que permite a 
cualquier usuario añadir funcionalidades mediante un simple script. A través de un enchufable 
(plugin), escrito en Python, Blender se puede convertir en un cliente de mensajes OSC y 
conectar de esta manera la animación con un controlador externo; como puede ser Kinect–
Processing. 
 
 
Figura 4. Ejemplo de títere en Blender. 
 
2. Conexiones 
 
La arquitectura cliente–servidor es un modelo de aplicación distribuida en el que las tareas se 
reparten entre los servidores (proveedores de recursos o servicios) y los clientes (demandantes). 
Un cliente realiza peticiones al servidor. El servidor procesa y responde tales peticiones. Esta 
idea también se puede aplicar a programas que “corren” sobre una único ordenador, aunque es 
más ventajosa en un sistema operativo multiusuario distribuido a través de una red de 
ordenadores. El protocolo OSC que conecta el tándem Kinect–Processing con Animata o 
Blender comunica múltiples aplicaciones entre sí, ya sea en un mismo ordenador o en distintos 
ordenadores. Lo que permite incluso controlar una animación desde diversos Kinects, en 
diferentes localizacionesgeográficas. 
OSC es un formato de contenido para mensajes entre ordenadores, sintetizadores de sonido y 
otros dispositivos multimedia que están optimizados para trabajar en red con sus ventajas y 
conveniencias: interoperabilidad, precisión, flexibilidad y una mejor organización y 
documentación. OSC surgió como alternativa al estándar MIDI (Musical Instrument Digital 
Interface) de 1983, con mejores prestaciones, mayor resolución y un espacio de parámetros 
                                                        
12
 Python es un lenguaje de programación interpretado, interactivo, y orientado a objetos. Incorpora módulos, excepciones, 
y tipos de datos dinámicos de muy alto nivel y clases. Está expresamente diseñado como una extensión de aplicaciones 
que necesiten una interfaz programable; razón por la que Blender lo utiliza. Python combina un gran poder con una 
sintaxis muy sencilla. 
7 
 
musicales más amplio. Los mensajes OSC “viajan” a través de Internet y en subredes 
domésticas y de estudios mediante: UDP/IP, Ethernet, etc. Los mensajes OSC entre 
controladores gestuales se transmiten normalmente en conexiones USB punto a punto 
encapsulados en el protocolo serie SLIP (Serial Line Internet Protocol). OSC hereda de su 
antecesor, MIDI, su facilidad de evolución y mejora en relación al tipo de datos, influido por 
protocolos abiertos como XML, JSON y WDDX; lo que permite generalizar su alcance y 
trascender su utilizad específica en la música. 
Tanto Animata como Blender tienen la capacidad de reaccionar a mensajes OSC, lo que 
permite controlar el movimiento de las marionetas con mensajes musicales, por ejemplo, y 
sincronizarlo, a su vez, con cualquier otra aplicación que procese estos mensajes. Esta capacidad 
de interconexión “universal” permite expandir el uso del Kinect a muchas otras prácticas 
artísticas intermediales, o incluso transmediales, y por lo tanto enriquecer las actividades 
educativas y generar metodologías pedagógicas avanzadas. Si se tiene en cuenta la conexión 
natural Arduino–Processing, Arduino podría servir como una pasarela de mensajes entre 
diferentes entornos de trabajo; por ejemplo, el protocolo de control de iluminación DMX 
(Digital MultipleX), etc. 
 
3. Conclusiones 
 
Vivimos en la era de la información y a las puertas de la inteligencia ambiental o computación 
ubicua, donde la mecatrónica promete su integración en el entorno personal. Lo dispositivos 
inteligentes no se percibirán como objetos diferenciados sino como sistemas integrados en 
escenarios y espacios habitables con los que el ser humano interactuará de manera natural y 
realizará cualquier tarea diaria de manera completamente trasparente con respecto a sus 
ordenadores. A las puertas de esta hiperrealidad no sólo es necesario formar a los alumnos para 
que puedan desenvolverse congénitamente en ella sino que es casi imprescindible el uso de estas 
tecnologías como medio de aprendizaje. Parafraseando a McLuhan: el medio es la didáctica. 
 
Bibliografía 
 
Bolton, W. (2001). Mecatrónica. Sistemas de Control Electrónico en Ingeniería Mecánica y 
Eléctrica. Barcelona: Marcombo. 
Borenstein, G. (2012). Making Things See. 3D vision with Kinect, Processing, Arduino, and 
MakerBot. Make: Book. O’Reilly.