Descarga la aplicación para disfrutar aún más
Vista previa del material en texto
INSTITUTO POLITÉCNICO NACIONAL Centro de Innovación y Desarrollo Tecnológico en Cómputo VISUALIZACIÓN DE EMOCIONES BASADO EN EL MODELO DE PLUTCHIK TESIS QUE PARA OBTENER EL GRADO DE MAESTRÍA EN TECNOLOGÍA DE CÓMPUTO PRESENTA: Ing. Adrián Pedro González Martínez DIRECTORES M. en C. Jesús Antonio Álvarez Cedillo M. en C. Israel Rivera Zárate MÉXICO, D.F. DICIEMBRE DE 2014 Visualización de Emociones Basado en el Modelo de Plutchik 2 Visualización de Emociones Basado en el Modelo de Plutchik 3 Visualización de Emociones Basado en el Modelo de Plutchik 4 RESUMEN Hoy en día existen muchas formas de interacción del ser humano con el mundo digital que han cambiado la manera en como convivimos o trabajamos con esta tecnología en diferentes áreas como es el entretenimiento, aprendizaje, relaciones sociales entre otras. Aunado a esto el crecimiento de las áreas de interfaces gráficas, animación, inteligencia artificial y la psicología, han dado como resultado un mayor interés para la creación de personajes virtuales mayormente creíbles con características humanas más complejas tanto visuales como psicológicas, que puedan ser capaces de interactuar con una persona de forma autónoma. Existen pocos sistemas que logran entender parte del comportamiento humano y las emociones debido al gran número de factores que se deben considerar. Por ejemplo sabemos que las emociones van acompañadas de cambios físicos y psicológicos para los cuales debemos medirlos y detectarlos mediante diferentes dispositivos. El trabajo propuesto presenta dos novedades en primer lugar la utilización de diferentes técnicas de modelado y animación en Blender y en segundo lugar las diferentes emociones a diferencia de los trabajos basados en las seis emociones de Ekman, se trabajan emociones combinadas y ocho básicas. Los resultados obtenidos se evaluaran en base a la interpretación y el análisis del modelado facial mediante las emociones propuestas de Plutchik. Visualización de Emociones Basado en el Modelo de Plutchik 5 ABSTRACT Today there are many forms of human interaction with the digital world that have changed the way in which lived or worked with this technology in different areas such as entertainment, education, social relationships, among others. Along with this growth areas GUIs, animation, artificial intelligence and psychology, have resulted in increased interest mostly for creating believable virtual characters with both visual and more complex human traits and psychological, that may be able to interact with a person autonomously. There are few systems that achieve understanding of human behavior and emotions due to the large number of factors to consider. For example we know that the emotions are accompanied by physical and psychological changes for which we measure and detect them using different devices. The proposed paper presents two new first use of different techniques for modeling and animation in Blender and secondly the different emotions unlike works based on the six emotions of Ekman combined eight basic emotions work. The results of the interpretation and analysis of facial modeling is evaluated based proposals by Plutchik emotions. Visualización de Emociones Basado en el Modelo de Plutchik 6 AGRADECIMIENTOS A DIOS. Por su infinita sabiduría, la cual la da a todos abundantemente y sin reproche. El cual me dio la oportunidad, de haber estudiado esta maestría. Un especial agradecimiento es a mis padres quienes siempre me han apoyado y han creído en mí en todo momento, los tengo presentes y en verdad sin ellos no sería la persona que ahora soy, todo el esfuerzo y motivación ellos me lo han otorgado. Muchas gracias Papa y Mama por sus sabios y sinceros consejos. A mi linda novia Ceci sin su apoyo y comprensión no hubiera logrado terminar la maestría Te Amo. A mis hermanos Gabriel y Claudia los cuales estando lejos me apoyaron y me dieron ánimos para que yo no desmayara. Los quiero mucho. A mis amigos, los cuales me apoyaron para que culminara este trabajo y a los cuales les dedico este esfuerzo, gracias por su paciencia. Posteriormente trabajaremos juntos para lograr muchos resultados. Al IPN, siempre fue un sueño estudiar en esta gran institución y cuando se presentó la oportunidad de formar parte de sus estudiantes, alcancé ese sueño. Al Centro de Innovación y Desarrollo Tecnológico en Cómputo (CIDETEC), por darme la oportunidad de haber estudiado, por darme la oportunidad de avanzar en mi vida profesional, por sus profesores, sus instalaciones, sus equipos y por todo. Al M en C. Jesús Antonio Álvarez Cedillo, porque aprendí muchas cosas referentes a Blender y programación paralela y sobre todo el ayudarme a incursionar al maravilloso mundo del software libre, gracias. A todo mi comité tutorial. A mis profesores, por que dedicar parte de su tiempo y por sus muchas enseñanzas y apoyo para terminar esta maestría, muchas gracias. Al Centro de Innovación y Desarrollo Tecnológico en Cómputo (CIDETEC), por su apoyo, comprensión y facilidades otorgadas para realizar mis estudios de maestría. Al Consejo Nacional de Ciencia y Tecnología (CONACYT) por su apoyo otorgado a lo largo de mis estudios en la maestría. Visualización de Emociones Basado en el Modelo de Plutchik 7 Al Instituto Politécnico Nacional, por toda la educación y formación que he recibido tanto en sus instalaciones como fuera de ellas. A la COFAA por la beca otorgada para el estudio y conclusión de mi maestría. Visualización de Emociones Basado en el Modelo de Plutchik 8 INDICE GENERAL INDICE GENERAL .................................................................................................................................. 8 INDICE DE FIGURAS ........................................................................................................................... 11 INDICE DE TABLAS ............................................................................................................................. 13 Capítulo 1 - Introducción ............................................................................................................... 14 1.1 Antecedentes .................................................................................................................... 14 1.1.1 Historia de las Emociones ......................................................................................... 14 1.1.2 Historia del Modelado 3D ......................................................................................... 16 1.1.3 Historia de la animación ............................................................................................ 17 1.2 Planteamiento del Problema ............................................................................................ 24 1.3 Objetivo General ............................................................................................................... 25 1.3.1 Objetivos Particulares ............................................................................................... 25 1.4 Justificación ....................................................................................................................... 25 1.5 Estado del Arte .................................................................................................................. 26 1.6 Contenido de la Tesis ........................................................................................................ 29 Capítulo 2 - Emociones ..................................................................................................................30 2.1 Clasificación de las Emociones ............................................................................................ 30 2.3 Correlación acción-emoción .............................................................................................. 31 2.4 Descripción de AUS y FACS, su relación con emociones ................................................... 32 2.5 Descripción de unidades de acción (AUs) ......................................................................... 38 Capítulo 3 - Modelado y Animación .............................................................................................. 41 3.1 Modelado y Animación de Caras ........................................................................................... 41 3.2 Composición y animación facial ............................................................................................ 41 3.2.1 Tipos de Modelado Facial .............................................................................................. 42 Visualización de Emociones Basado en el Modelo de Plutchik 9 3.2.2 Modelos Poligonales ...................................................................................................... 42 3.2.3 Modelo Paramétrico ..................................................................................................... 43 3.2.4 Modelo con Subdivisiones. ............................................................................................ 44 3.3 Métodos de animación facial ............................................................................................... 45 3.3.1 Animación por cuadros .................................................................................................. 45 3.3.2 Animación parametrizada ............................................................................................ 46 3.3.3 Animación basada en pseudo-músculos ...................................................................... 46 3.3.4 Animación basada en músculos.................................................................................... 46 3.4 Avance de una malla poligonal y texturizado del rostro ...................................................... 47 3.4.1 Texturizado ................................................................................................................... 49 3.5 Generación y delimitación de unidades que interpretan una emoción ............................... 51 3.5.1 Emociones primarias ..................................................................................................... 51 3.5.2 Emociones Combinadas ................................................................................................. 52 3.5.3 Configuración de emociones ......................................................................................... 53 3.6 Utilidad Del Avatar 3D ........................................................................................................ 60 3.7 Renderización .................................................................................................................... 61 3.8 Interpolación, Nurbs Y Splines .......................................................................................... 63 Capítulo 4 - Diseño y Desarrollo del Sistema ................................................................................ 66 4.1 Software Modelado 3D ......................................................................................................... 66 4.2 Principales Aplicaciones Modelado 3D ................................................................................. 66 4.3 Blender................................................................................................................................. 70 4.4 Modelado Avatar en Blender ............................................................................................... 71 4.5 Texturizado ........................................................................................................................... 75 4.6 Key Shapes de las Emociones ............................................................................................... 77 4.7 Game Engine ......................................................................................................................... 78 4.8 Generación de datos e Interfaz ............................................................................................ 83 4.9 Estimación Del Costo Del Software Basado En Casos De Uso .............................................. 85 Capítulo 5 - Resultados ..................................................................................................................... 93 Visualización de Emociones Basado en el Modelo de Plutchik 10 5.1 Pruebas ................................................................................................................................. 93 Capítulo 6 - Conclusiones .............................................................................................................. 100 6.1 Conclusión General ............................................................................................................. 100 6.2 Trabajos a Futuro ................................................................................................................ 101 Referencias ...................................................................................................................................... 103 Anexo .............................................................................................................................................. 106 Visualización de Emociones Basado en el Modelo de Plutchik 11 INDICE DE FIGURAS Figura 1.Ejemplo de las emociones básicas. .................................................................................... 15 Figura 2.Muestras de dos AUs.......................................................................................................... 16 Figura 3. Software desarrollado por Barón llamado Mind Reading: The Interactive Guide to Emotions. ...................................................................................................................................... 27 Figura 4. Interfaz de ChatLang.......................................................................................................... 28 Figura 5. Interfaz de SitePal ............................................................................................................. 28 Figura 6. Clasificación y combinación de las emociones ................................................................. 30 Figura 7. Modelo circumplejo de las emociones ............................................................................. 31 Figura 8. Principales músculos que intervienen en la generación de una expresión..................... 32 Figura 9. Simples unidades de acción (AUs) en el sistema de codificación de acción facial (FACS) ....................................................................................................................................................... 33 Figura 10.1ra Parte Tabla de AUs ..................................................................................................... 34 Figura 11. 2da Parte Tabla de AUs ................................................................................................... 35 Figura 12.3ra Parte Tabla de AUs ..................................................................................................... 36 Figura 13.4a Parte Tabla de AUs ...................................................................................................... 37 Figura 14.5a Parte Tabla deAUs ...................................................................................................... 37 Figura 15.6a Parte Tabla de AUs ...................................................................................................... 38 Figura 16. AUs divididas en dos sectores del rostro: en la parte superior e inferior ..................... 39 Figura 17. Ejemplo de AUs aplicadas a una expresión .................................................................... 40 Figura 18. Ramas de la Animación Facial ......................................................................................... 42 Figura 19. Modelo Poligonal ............................................................................................................ 43 Figura 20. Modelo Paramétrico utilizando NURBS .......................................................................... 44 Figura 21. Subdivisión de polígonos. ............................................................................................... 44 Figura 22. Modelo lineal de Waters. ................................................................................................ 47 Figura 23. Planos de referencia ........................................................................................................ 47 Figura 24. Polígonos trazados en los ojos para simular los músculos. ........................................... 48 Figura 25. Polígonos trazados en la boca para simular los músculos. ............................................ 48 Figura 26. Malla de polígonos y cabeza renderizada. ..................................................................... 48 Figura 27. Ejemplo de modelo facial. ............................................................................................... 49 Figura 28. Planos a partir de las subdivisiones del rostro. .............................................................. 49 Figura 29. Mapa plano del rostro para texturizar. .......................................................................... 50 Figura 30. Ejemplo de mapa pintado a mano alzada. ..................................................................... 50 Figura 31. Ejemplo de mapa foto realista. ....................................................................................... 50 Figura 32. Tabla de emociones. ........................................................................................................ 51 Figura 33. Arriba: intensidades bajas de ira, asco, miedo, alegría, tristeza y sorpresa. Abajo: intensidades altas de ira, asco, miedo, alegría, tristeza y sorpresa. .......................................... 52 Figura 35. Obtención de una emoción generada por la intensidad. ............................................... 53 Figura 36. Emociones primarias que dan como resultado una combinada.................................... 53 Figura 37. Variaciones de ira/enojo. ................................................................................................ 54 Figura 38. Tabla de la 1ra y 2da expresión de la ira. ....................................................................... 54 Figura 39. Tabla de la 3ra y 5ta expresión de la ira. ........................................................................ 55 Figura 40. Tabla de la 4ta y 6ta expresión de la ira. ........................................................................ 55 Figura 41. Variaciones de Rechazo. .................................................................................................. 56 Figura 42. Distintas expresiones de rechazo. .................................................................................. 56 Figura 43. AUs de alegría. ................................................................................................................. 56 Visualización de Emociones Basado en el Modelo de Plutchik 12 Figura 44. Expresiones de alegría. .................................................................................................... 57 Figura 45. AUs de tristeza. ................................................................................................................ 57 Figura 46. Variación 1 de tristeza. .................................................................................................... 57 Figura 47. Variación 2 de tristeza. .................................................................................................... 58 Figura 48. Variación 3 de tristeza. .................................................................................................... 58 Figura 49. AUs de sorpresa. .............................................................................................................. 58 Figura 50. Expresiones de la sorpresa. ............................................................................................. 59 Figura 51. Modelos de miedo. .......................................................................................................... 59 Figura 52. Expresiones de miedo. .................................................................................................... 60 Figura 53. Modelado en 3DS MAX .................................................................................................. 67 Figura 54. Modelado en Blender ...................................................................................................... 67 Figura 55. Modelado en Cinema 4D ................................................................................................. 68 Figura 56. Interfaz K-3D .................................................................................................................... 69 Figura 57. Interfaz Lightwave 3D ..................................................................................................... 69 Figura 58. Modelado en Maya ........................................................................................................ 70 Figura 59. Imagen 2D del rostro ...................................................................................................... 71 Figura 60. Inserción de imagen 2D de fondo. ................................................................................. 72 Figura 61. Uso de Escalamiento y deformación de un objeto para generar la nariz. .................... 73 Figura 62. Detallando las áreas ojo, boca y nariz. ........................................................................... 74 Figura 63. Escalamiento y unión de las caras de los polígonos ...................................................... 74 Figura 64. Modelo 3D ...................................................................................................................... 75 Figura 65. Generación de áreas de textura...................................................................................... 76 Figura 66. Uso de la paleta de colores ............................................................................................. 76 Figura 67. Rostro con textura ........................................................................................................... 77 Figura 68. Key Shape Emoción de Alegría ........................................................................................ 78 Figura 69. Logic Editor ...................................................................................................................... 79 Figura 70. Diseño del Script .............................................................................................................. 80 Figura 71. Fragmento de código Inicio ............................................................................................. 81 Figura 72. Fragmento de código Lectura valores de las emociones .............................................. 81 Figura 73. Fragmento de código Diferencia entre emoción básica y combinada. ........................ 82 Figura 74. Fragmento de código Activación del actuador ..............................................................82 Figura 75. Caso de Uso Aplicación.................................................................................................... 83 Figura 76. Interfaz de la aplicación .................................................................................................. 83 Figura 77. Fragmento de código: Generación Aleatoria.................................................................. 84 Figura 78. Fragmento de código: Generación Emoción Especifica ................................................. 84 Figura 79. Fragmento de código: Llamada al Avatar ....................................................................... 85 Figura 80. Interfaz del Prototipo ...................................................................................................... 93 Figura 81. Alegría ............................................................................................................................. 94 Figura 82. Tristeza ............................................................................................................................ 94 Figura 83. Rechazo ........................................................................................................................... 95 Figura 84. Sorpresa .......................................................................................................................... 95 Figura 85. Ira .................................................................................................................................... 96 Figura 86. Miedo .............................................................................................................................. 96 Figura 87. Anticipación .................................................................................................................... 96 Figura 88. Confianza ........................................................................................................................ 97 Visualización de Emociones Basado en el Modelo de Plutchik 13 INDICE DE TABLAS TABLA 1 HISTORIA DE LA ANIMACIÓN. ....................................................................................................................... 19 TABLA 2. CONTINUACIÓN HISTORIA DE LA ANIMACIÓN. ................................................................................................ 20 TABLA 3. CONTINUACIÓN HISTORIA DE LA ANIMACIÓN. ................................................................................................ 21 TABLA 4. CONTINUACIÓN HISTORIA DE LA ANIMACIÓN. ................................................................................................ 22 TABLA 5. CONTINUACIÓN HISTORIA DE LA ANIMACIÓN. ................................................................................................ 23 TABLA 6. CONTINUACIÓN HISTORIA DE LA ANIMACIÓN. ................................................................................................ 24 TABLA 7. AUS PRIMARIAS Y AUXILIARES QUE MODELAN UNA EXPRESIÓN. ......................................................................... 40 TABLA 8. ANÁLISIS DE VENTAJAS Y DESVENTAJAS DEL MODELO POLIGONAL ...................................................................... 43 TABLA 9. ANÁLISIS DE VENTAJAS Y DESVENTAJAS DEL MODELO PARAMÉTRICO UTILIZANDO NURBS ...................................... 44 TABLA 10. ANÁLISIS DE VENTAJAS Y DESVENTAJAS DEL MODELO DE SUBDIVISIONES............................................................ 45 TABLA 11 . FACTORES DE PESO DE LOS ACTORES. ......................................................................................................... 85 TABLA 12. DETERMINACIÓN DEL FACTOR DE PESO EN LOS CASOS DE USO SIN AJUSTAR (UUCW). .......................................... 86 TABLA 13. FACTORES DE COMPLEJIDAD TÉCNICA ......................................................................................................... 87 TABLA 14. FACTORES DE AMBIENTE .......................................................................................................................... 89 TABLA 15. DISTRIBUCIÓN GENÉRICA DEL ESFUERZO ...................................................................................................... 91 TABLA 16. DISTRIBUCIÓN REAL DEL ESFUERZO. ............................................................................................................ 91 Visualización de Emociones Basado en el Modelo de Plutchik 14 Capítulo 1 - Introducción Desde el principio de la visión por computadora uno de los primeros retos a resolver por las investigaciones ha sido la interacción con la interfaz entre hombre y la máquina. La expresión y pose de la cara proporcionan una gran cantidad de información sobre el lenguaje no verbal humano. Las personas tienen la capacidad innata para detectar la orientación de una cabeza, y en cierta forma capturar el significado no verbal contenido en la expresión y movimientos. En el proceso de comunicación el lenguaje corporal y las expresiones faciales tienen un rol importante para la transmisión de información, en la interacción humano-computadora. Conforme ha ido creciendo el uso de aparatos electrónicos como la computadora, el móvil o tabletas, ya que además de facilitar tareas de la vida laboral también cumplen funciones de entretenimiento o aprendizaje. Este crecimiento no solo es debido a que se han vuelto más accesibles a los usuarios sino también han mejorado continuamente y su uso resulta más fácil y atractivo. Sin embargo, sigue existiendo la necesidad de una comunicación más personal y natural, basada en la comunicación real entre los humanos. Es entonces que aparece un área de investigación que centra su trabajo en Interfaces de usuario, incluyendo los asistentes virtuales. Los asistentes virtuales mejor conocidos como avatares, son personajes virtuales y la evolución de las interfaces gráficas ha llevado a la tarea de crear avatares más humanos y creíbles, tanto visual y psicológicamente. Es por esto que conceptos como personalidad, estado de ánimo, emociones, estado afectivo, estado motivador, entre otros, que hasta ahora pertenecían al campo de la psicología se han vuelto cada vez más comunes cuando se habla de avatares . 1.1 Antecedentes 1.1.1 Historia de las Emociones Durante muchos años, los rostros humanos han sido de gran interés para pintores, escultores, escritores y científicos, sobretodo en este último, ya como se puede encontrar en la obra [1] de Darwin publicada en 1872. Este interés, hace referencia a el significado psicológico en nuestras vidas, posiblemente desde las primeras horas del nacimiento de los seres humanos [2]. Las teorías neodarwinianas de la emoción nos conducen a asimilar el origen filogenético de cada expresión facial, así como también a la investigación de Visualización de Emociones Basado en el Modelo de Plutchik 15 sobre el aprendizaje social, el cual muestra reglas que influyen cambiando los signos faciales por símbolos faciales de comunicación afectiva. En si la sola expresión facial de una emoción implica una organización muscular facial en tiempo real por demás complejo. Es esta configuración o patrón muscular la que sin embargo permite a una emoción facial ser distinguida de las demás de una forma visual [3]. La mayoría de los teóricos de la emoción mencionan por los menos seis patrones faciales asociados cado uno a emociones básicas (alegría, sorpresa, enojo, miedo, tristeza e ira, como se observa en la Figura 1) que han sido identificadas en diversos estudios transculturales [3] en este trabajo se usará el modelo de Plutchik de 8 emociones básicas. Figura 1.Ejemplo de las emociones básicas. La habilidad de poder combinar dichas emociones básicas en emociones más complejas [5], así como la intensidad en que se presenta [4], dificultael determinar exactamente cuales características de una expresión facial emocional se refiere a un patrón conductual heredado o a uno aprendido. Posteriormente se desarrollaron el sistema de codificación de acción facial (FACS, “Facial Action Coding System”) un método de medición y clasificación de cualquier expresión que el rostro humano pueda generar. Cada movimiento facial observable recibe el nombre de unidad de acción (AU,“Action Units” ) así la composición de la expresión de una emoción puede ser dividida en una o varias unidades de acción para las distintas representaciones de una o varias emociones [8]. En la Figura 2 se puede observar un ejemplo de dos unidades de acción en un rostro. Visualización de Emociones Basado en el Modelo de Plutchik 16 Figura 2.Muestras de dos AUs. Una emoción está representada por diferentes combinaciones de posiciones de los elementos del rostro como lo son: la boca, los ojos, las cejas y rasgos que suelen presentarse en la nariz y barbilla. Para poder modelar las expresiones en un avatar se hará en base al sistema de FACS y AUs desarrolladas por Ekman y Friesen. El sistema de codificación de acción facial (FACS) es el método que se utiliza para medir y describir el comportamiento facial que desarrollaron Ekman y Friesen en 1970 quienes querían determinar cómo la o las contracciones de los músculos faciales cambian la apariencia de la cara. Las FACS consisten en la identificación de los músculos que producen las apariencias faciales y sus unidades de medida son las Unidades de Acción y no los músculos [8]. Las Unidades de Acción son todos los posibles movimientos faciales detectados visualmente, las FACS permiten codificar las unidades de acción en varias categorías de movimientos y posiciones de ojos y cabeza [9]. 1.1.2 Historia del Modelado 3D En computación, un modelo en 3D es un "mundo conceptual en tres dimensiones". Un modelo 3D puede "verse" de dos formas distintas. Desde un punto de vista técnico, es un grupo de fórmulas matemáticas que describen un "mundo" en tres dimensiones. Desde un punto de vista visual, valga la redundancia, un modelo en 3D es un representación Visualización de Emociones Basado en el Modelo de Plutchik 17 esquemática visible a través de un conjunto de objetos, elementos y propiedades que, una vez procesados (renderización), se convertirán en una imagen en 3D o una animación 3D. Por lo general, el modelo visual suele ser el modelo 3D que las diseñadores manejan, dejando las fórmulas a procesos computacionales. Esto es así, porque lo que el modelo en 3D visual representa se acerca más a la imagen en 3D final que se mostrará al renderizarse. Existen aplicaciones de modelado en 3D, que permiten una fácil creación y modificación de objetos en tres dimensiones. Estas herramientas suelen tener objetos básicos poligonales (esferas, triángulos, cuadrados, etc.) para ir armando el modelo. Además suelen contar con herramientas para la generación de efectos de iluminación, texturizado, animación, transparencias, etc. Algunas aplicaciones de modelado son 3D Studio Max, Alias, Blender, Cheetah3D, Cinema 4D, Generative Components, Houdini, LightWave, Maya, MilkShape 3D, modo Rhinoceros 3D, Softimage|XSI, trueSpace, ZBrush, etc. El modelo en 3D describe un conjunto de características que, en conjunto, resultarán en una imagen en 3D. Este conjunto de características suele estar formado por objetos poligonales, tonalidades, texturas, sombras, reflejos, transparencias, translucidez, refraxiones, iluminación (directa, indirecta y global), profundidad de campo, desenfoques por movimiento, ambiente, punto de vista, etc. 1.1.3 Historia de la animación Los primeros gráficos, imágenes o dibujos creados por computadora a mediados de los 60 fueron producto de los trazadores de gráficos. Estos instrumentos dibujaban el diseño realizado con la computadora en hojas de papel con trazos lineales de un solo color. Esto fue así hasta que un miembro del Laboratorio Lincoln del Massachussets Institute of Technology (MIT) tuvo la brillante idea de conectar la computadora a un tubo de rayos catódicos (CTR) abriendo el campo a las posibilidades reales de la Animación por computadora. Así fue como Iván Sutherland creó su programa “Sketchpad”, el primer programa de gráficos por computadora interactivo considerado el padre de los gráficos por computadora. Sin embargo, incluso cuando estos dibujos eran aún de un solo color, líneas bidimensionales creadoras de imágenes relativamente sencillas parecidas a las de los primeros radares, no pasó mucho tiempo hasta que la capacidad de este nuevo medio atrajera la atención de los científicos que querían representar visualmente todo tipo de escenas e imágenes. En la actividad del año 1970 se desarrolló en los Estados Unidos y Canadá. Alimentada en gran medida por la competitividad de las grandes cadenas de televisión norteamericanas, la animación por computadora y sus resultados se convirtieron en un medio excelente al Visualización de Emociones Basado en el Modelo de Plutchik 18 servicio de las cadenas para presentar sus logotipos en las promociones en directo y sus anuncios de promoción. Cuando a principios de 1980 volvió a renacer el interés de la animación por computadora, se utilizaron otros sistemas Links 1, diseñado por Koichi Omura, de la Universidad de Osaka, Este sistema funciona de un modo distinto al resto: se trata de un sistema de “procesamiento paralelo” que conecta un gran número de computadoras pequeñas y baratas y distribuye la carga de trabajo entre ellas para que cada uno pueda progresar simultáneamente en una pequeña porción de la imagen. Algunos otros programas que se utilizaron fueron Picaso, de John Vince, Digital Pictures, de Gran Bretaña, CAL video graphics y los franceses de INA y Sogitec ayudaron a los artistas a concentrarse en el diseño y el movimiento de los objetos y a integrar sus imágenes generados por computadora con otros medios. Los eventos destacados en la historia de la animación se denotan en una tabla a continuación: Visualización de Emociones Basado en el Modelo de Plutchik 19 Tabla 1 Historia de la Animación. HISTORIA AÑO PERSONAJE DESARROLLO 1640 A. Kircher Desde 1640, año de la invención de la linterna mágica, hasta el anterior año citado, se empleó habitualmente este aparato de proyección, cuya sencilla construcción facilitó su difusión. Esta máquina fue útil en el terreno propiamente científico, ya que permitía el examen público y simultáneo de diferentes imágenes microscópicas. 1824 P. Mark Roget Esta "imperfección" (persistencia de la visión) permite retener las imágenes en el momento de percibirlas, y que el ojo las vaya hilando para crear la ilusión de movimiento. El proyector de cine pasa los fotogramas con tal rapidez, que no se puede detectar el cambio de uno a otro. Si se observa la secuencia fotográfica de una película, se encontraría que se compone de un fotograma, una pequeña línea negra y otro fotograma. Entre estas imágenes sólo se registra una pequeña modificación, porque una cámara de cine toma 24 fotos por segundo. 1832. William Lincoln “Zootropo” Consiste en un cilindro movible de metal con ranuras verticales. A través de ellas se miraban los dibujos que estaban montados dentro del cilindro. Los dibujos eran de un mismo cuerpo u objeto y estaban elaborados en posiciones consecutivas, al hacer girar el cilindro con suficiente rapidez se daba la sensación de estar en movimiento. Si bien para la invención del cine el zootropo como otros inventos fueron importantes, estos aparatos son la basepara crear la animación de caricaturas que se conoce ahora. Visualización de Emociones Basado en el Modelo de Plutchik 20 Tabla 2. Continuación Historia de la Animación. AÑO PERSONAJE DESARROLLO 1864 E. Reynaud “Praxinoscopio” y” “Kinetografo Mediante la superposición en la retina de diferentes imágenes colocadas en el tambor del praxinoscopio, y que se ven reflejadas a través de la ventana de la caja, se aprecian diferentes figuras en movimiento sobre distintos paisajes. Este efecto se consigue el girar rápidamente el tambor y observar a través de la ventana mencionada. 1889 George Pasman “Fabricación de Película Fotográfica Comercial 1895 1906 Louis y Auguste Lumiere J.Stuart Blackton “Cinematógrafo” Técnica que permite registrar y reproducir fotográficamente el movimiento. Las cámaras cinematográficas toman 24 imágenes por segundo, frecuencia suficiente para asegurar una definición de la imagen y una continuidad de movimiento perfectas. “Humorous Phase of Funny Faces.” 1914 Winsor McCay El inventor del Dibujo Animado Creó un estilo de Animación que para su época sobrepasa la genialidad. Además fue el primero en crear un corto de Animación periodística (el hundimiento del Lusitania), en la que debió colorear y redibujar los fondos en cada fotograma, consistente en 25 mil dibujos hechos a mano. Visualización de Emociones Basado en el Modelo de Plutchik 21 Tabla 3. Continuación Historia de la Animación. HISTORIA AÑO PERSONAJE DESARROLLO 1927 Warner Brothers “El cantante de Jazz” El musical estadounidense forma parte imprescindible de la historia del cine. Basta recordar que fue la primer película. 1928 Steamboat Willie “Walter Disney” y por Ub Iwerks, figura en la historia de la animación como el primer corto de dibujos que tuvo sonido sincronizado. Aquí debutó el ratón Mickey, y desde este momento tanto su nombre como el de su productor se hicieron sinónimos de cartoon. 1940 Ferdinand Braun En una industria cuyo desarrollo es tan rápido, resulta sorprendente que la tecnología detrás de los monitores y televisores. El tubo de rayos catódicos, o CRT, fue desarrollado por un científico Alemán, en 1897 pero no se utilizó hasta la creación de los primeros televisores a fines de la década de 1940. Sistema Sketchpad Establece bases de los sistemas gráficos interactivos, utiliza teclado y lápiz óptico para dibujar, situar y seleccionar. Informática gráfica aplicada al CAD. Introducción de las computadoras en los procesos industriales (General Motors). Desarrollo de máquinas de control numérico (NC). 1960 Ivan Sutherland Fetter y Bernhart Primera película “por Computadora” Visualización de Emociones Basado en el Modelo de Plutchik 22 Tabla 4. Continuación Historia de la Animación. HISTORIA AÑO PERSONAJE DESARROLLO Primeros Algoritmos de eliminación de caras ocultas. 1972 General Electric General Electric, bajo comisión de la armada norteamericana, desarrolla el primer simulador computarizado de vuelo. Los simuladores de vuelo serán un importante renglón de desarrollo para la Realidad Virtual. 1972 Juan Whitney, sr. y Charles Csuri Universidad de Utah Uno de los experimentos más tempranos con la animación de personajes originada en computadora era Sr. Computer Image ABC creado en el año 1962 por Lee Harrison III con el sistema de Scanimate en Computer Image Corporation. • Sombreados Gouraud y Pong. • Z-Buffer. •Métodos de Antiallasing. •Animación Facial. • Mapeo de Texturas, etcétera. 1977 George Lucas ILM crean efectos especiales de Star Wars. 1982 James Clark Fundó Silicón Graphics. 1989 Pixar Primera Versión de Renderman. Univ, Cornell Radiosidad. Univ. Berkley Modelado Splines. Visualización de Emociones Basado en el Modelo de Plutchik 23 Tabla 5. Continuación Historia de la Animación. HISTORIA AÑO PERSONAJE DESARROLLO 1985 Pixar “Lujo Jr. ”, “Red Dreams ”, “Tin toy ”. 1991 ILM “Terminador 2” Morphing. 1992 Batman Return Animación de Bandadas. 1993 Jurasic Park. IK y Render Hiperrrealista. 1995 Pixar Toy Story. 1997 Pixar Presenta Geri’s Game. Superficies Subdivisión (Univ.Washington). 1997 “Dragon Herat”, “Titanic”, “Mars Attacks”. 1997 NAMCO “Soulblade”, Animación de Personajes. 1998 Texas instruments Primer proyecto de cine digital. 1998 Disney “A Bug’s Life”. Dreamworks “ANTZ”, “El Príncipe de Egipto”. 1999 Primeras películas en formato de cine digital. “La Amenaza Fantasma”, “Tarzan”. Visualización de Emociones Basado en el Modelo de Plutchik 24 Tabla 6. Continuación Historia de la Animación. HISTORIA AÑO PERSONAJE DESARROLLO 1999 Pixar Toy Story 2 2000 Sony PlayStation II. “2 Millones Polígonos por frame”. 2001 Pixar Monstruos. S.A. (Monsters Inc.). 2003 Pixar Buscando a Nemo (Finding Nemo). 2004 Pixar (The Incredibles). 2005 Pixar Cars. 2006 Pixar Ratatouille. 1.2 Planteamiento del Problema La expresión facial forma una parte muy importante en la transmisión de las emociones, muchos de los pacientes con trastornos del espectro autista se caracterizan por los problemas para ser empáticos. Esto incluye dificultades en el reconocimiento de las emociones en sí mismos y en otros, lo que dificulta el funcionamiento social. Se requiere adquirir los conceptos y los conocimientos que son necesarios para posteriormente colocarlos al modelo 3D del avatar que nos permitirá interpretar las emociones, además de que también se requerirá poseer los conocimientos de la plataforma Blender para poder realizar el programa de este proyecto por ello en el Capítulo 3 se analizaran plataformas similares para comparar las funcionalidades y tomar como base las características del software que convengan para el desarrollo de la interfaz del sistema y formalizar un prototipo. Visualización de Emociones Basado en el Modelo de Plutchik 25 1.3 Objetivo General El objetivo de esta tesis es “crear un modelo 3D basado en llaves de formas gráficas que muestre el resultado de una emoción”. 1.3.1 Objetivos Particulares Comprender técnicas de poses gráficas. Comprender efectos de una emoción en un ser humano. Generar un modelo gráfico tridimensional a partir de su información de entrada. Correlación de las características físicas y gráficas de una emoción. Validar resultados con base al modelo propuesto por Robert Plutchik. 1.4 Justificación El hecho de estar frente a otras persona durante el proceso de comunicación también hace uso información de la cara, por ello la comunicación no verbal representa un porcentaje muy alto según los estudios sobre actitudes y sentimientos realizados por el psicólogo Albert Mehrabian, en su investigación presenta los siguientes porcentajes que representan la información transmitida durante el lapso de la comunicación: el lenguaje verbal (de palabras) representa el 7%, la información vocal ( la resonancia, tono, entonación, etc. ) representa el 38% y el lenguaje corporal (gestos, posturas, movimientos faciales, etc.) representan el 55% [6]. Es por esto que en esta tesis se enfoca en el estudio deuno de los aspectos que envuelven la mayor información comunicada en la transmisión de información: el lenguaje corporal; que involucra las expresiones y movimientos faciales. El rostro humano a través de los movimientos de los músculos puede generar expresiones de emociones o simples movimientos, estos pueden comunicarnos y brindar información sobre el estado de ánimo en que se encuentra la persona, incluso se puede reconocer si una persona está mintiendo por medio de las micro expresiones faciales que se llevan a cabo en milésimas de segundo de forma involuntaria, las cuales delatan información que no van acorde con lo que la persona está diciendo [7]. Las siguientes aplicaciones son un ejemplo de cómo se puede aprovechar el conocimiento del estado emocional de los usuarios para tomar decisiones sobre qué acciones debe seguir un sistema. A) Un tutorial interactivo [11] en el que se podría adaptar la carga emocional de la respuesta del sistema buscando motivar y captar el interés dependiendo del estado emocional del alumno. Visualización de Emociones Basado en el Modelo de Plutchik 26 B) Un sistema telefónico de atención automática a clientes que provee asistencia médica a usuarios que llaman pidiendo ayuda [12]. Dichos usuarios podrían presentar diferentes emociones como tensión, miedo, dolor o pánico dependiendo de la enfermedad o de la emergencia que están experimentando. El manejo de una llamada será diferente dependiendo de la clasificación del estado emocional del usuario, dando prioridad a las llamadas más urgentes; dirigiéndolas a la persona indicada. C) Otra aplicación es un Sistema de Respuesta Interactiva por Voz (IVR) que atiende pacientes con problemas psicológicos [13] El sistema detecta si hay algún grado de depresión basándose principalmente en características articulatorias de la calidad de voz del paciente. El sistema alerta a un experto humano cuando detecta en el paciente un grado de depresión alarmante. D) Las aplicaciones del reconocimiento automático de carga emocional en la voz no se limitan únicamente a la IHC. En la interacción humano – computadora, puede usarse para monitorear conversaciones entre agentes y clientes en centros de telefonía (call center) y detectar estados emocionales no deseados [17]. Por ejemplo, un cliente enojado o frustrado o un agente con actitud altanera. De esta manera un inspector de calidad puede tomar decisiones sobre la administración y mejora del personal y de los servicios. 1.5 Estado del Arte Cohen Barón en el 2004 en Londres, trabajó en proyectos enfocados a la solución de individuos con problemas de autismo generando un ambiente virtual el cual debido a su condición pueden repetir las lecciones una y otra vez. Barón se dio cuenta que la interpretación de emociones normalmente utiliza dibujos o fotografías para entrenamiento para determinar que emoción es cual, en lugar de los estímulos más realistas. Esto podría haber hecho generalización más difícil que si se utilizaran estímulos válidos más realistas. Además, los programas reconocimiento de la emoción se centró en la enseñanza de las emociones básicas y en expresiones de la cara. Enfoques recientes para enseñar emoción reconocimiento a las personas con autismo trastornos del espectro utilizan soluciones multimedia interactivas. Lectura de la mente [4] ayuda a los niños y adultos a aprender acerca de las emociones y sus expresiones, sobre todo en los rostros humanos. Proporciona una guía interactiva y una biblioteca de videos de personas reales que expresan emociones, junto con concursos y juegos a comprobar el progreso del individuo (Figura 3). Visualización de Emociones Basado en el Modelo de Plutchik 27 Figura 3. Software desarrollado por Barón llamado Mind Reading: The Interactive Guide to Emotions. En [5] trabajo desarrollado por Dr. Sánchez en el año 2004 en Cholula, Puebla denominado ChatLang se enfocó en la realización de una interfaz síncrona que permitiera mejorar la representación del estado afectivo de los usuarios que hacen uso de la misma. Entre sus logros se encuentra la interacción entre dos usuarios, en la cual, por medio del intercambio de mensajes, se puede observar el estado afectivo transmitido por cada uno de ellos. Se cuenta con un panel que incluye un rango de posibles estados afectivos dentro de un plano. Al igual, se consideran los colores y tamaño de la letra, así como se propone una gama de emoticons para la representación de los mismos. Además, se propuso un prototipo de la interfaz (Figura 4) y un panel de estados afectivos , el cual fue probado con un cierto grupo de usuarios. Visualización de Emociones Basado en el Modelo de Plutchik 28 Figura 4. Interfaz de ChatLang SitePal es un software comercial su costo mensual es de 9.95 dólares, este software fue creado por el grupo Oddcast en el 2007 haciendo uso de los avatares está destinado a establecerse en páginas web como personal artificial o simulado y se dedican a repetir frases pre establecidas. Este programa facilita un demo en donde se puede modificar la expresión facial según el estado de ánimo que se le quiera otorgar al avatar [10]. Para tener acceso a sus servicios es necesario pagar una renta. En la Figura 5 se muestra la interfaz del programa sitepal. Figura 5. Interfaz de SitePal En [34] Gwo-Dong Chen de Taiwan en el 2009 generó una interfaz interactiva como se muestra en la Figura 6 con características faciales para las expresiones, gestos y emociones humanas la cual tiene un alto potencial para promover a los estudiantes a aprender. La interacción se logra a través de que los lectores sus emociones mientras leen y expresando sus emociones por un simple click y el avatar actuará motivando acorde a la Visualización de Emociones Basado en el Modelo de Plutchik 29 información. Este trabajo es experimental ya que revisa el reconocimiento de la emoción, la empatía del software y el efecto obtenido por la persuasión y atención. Figura 6. Interfaz de SitePal 1.6 Contenido de la Tesis Capítulo 1.- Breve Introducción a la historia de la emoción y de la animación así como los conceptos de la emoción, el objetivo general y especificas además del problema a resolver y la justificación. Capítulo 2.- Clasificación de las emociones, relación de las AUs y FACS para el desarrollo de una expresión, emociones vistas en términos de AUs. Capítulo 3.- Conceptos principales del modelado y animación así como las diferentes técnicas empleadas. Y las diferentes emociones desde el punto de vista de las AUs. Capítulo 4.- Desarrollo del sistema especificado en las diferentes fases desde la selección del software de para modelado 3D, Modelado del Avatar, Generación de las Keys Shapes de las emociones y el Game Engine además de la interfaz de Visual 2010 realizada. Capítulo 5.- Prueba del prototipo generación de las diferentes emociones básicas y combinadas. Capítulo 6.- Conclusiones y diferentes mejoras o aplicaciones para trabajos posteriores. Visualización de Emociones Basado en el Modelo de Plutchik 30 Capítulo 2 - Emociones Una emoción es definida por la real academia de la lengua española como: “la alteración de ánimo intensa y pasajera, agradable o penosa que va acompañada de cierta conmoción somática” *14+. 2.1 Clasificación de las Emociones Robert Plutchik presenta las emociones en un modelo estructural de emociones con forma de cono, en donde presenta las emociones como una analogía de una rueda de colores en donde agrupa las emociones según su similitud dejando a la emoción opositora a 180 grados. En su modelo tridimensional a través de la vertical representa la intensidad de las 8 emociones primarias definidas por la teoría de organizaciónde las cuatro partes opositarías. Otras emociones son la mezcla de dos emociones primarias [15]. En la Figura 6 se muestra el modelo tridimensional y visto desplegado con las emociones, sus intensidades y combinaciones. Figura 6. Clasificación y combinación de las emociones Por otro lado varios investigadores como Larsen y Deiner, Watson y Tellegen entre otros han ido refinando el modelo tridimensional de las emociones que comenzaron a desarrollar Russell y Mehrabian en 1977 hasta quedar en el modelo circumplejo de las http://1.bp.blogspot.com/-BTRJqNCC9VE/TaSuR2fs2NI/AAAAAAAAACY/_CJQI52IkLg/s1600/psicogralII_cap5b.jpg Visualización de Emociones Basado en el Modelo de Plutchik 31 emociones que se muestra en la figura 10 en donde ahora el modelo es bidimensional y las dimensiones ahora son reconocidas como: la dimensión de la activación o excitación en donde su rango varia de una activación baja a una activación alta y la dimensión de complacencia o evaluación en donde evaluación va desde lo agradable o positivo hasta lo desagradable o negativo [16]. Figura 7. Modelo circumplejo de las emociones 2.3 Correlación acción-emoción Para diseñar una aplicación que pueda recrear una emoción mediante la implementación de un avatar se debe tener información psicológica y fisiológica acerca de los cambios faciales y su unión con una emoción [8]. En este trabajo se harán uso de los vértices simulando un poco más la fisionomía de los músculos para poder representarlos de forma correcta. Para ello en este proyecto como ya se ha señalado se utiliza el sistema de FACS y unidades de acción (AUs por sus siglas en inglés) desarrolladas por Ekman y Friesen en 1978 [9] para el modelo del avatar. Visualización de Emociones Basado en el Modelo de Plutchik 32 2.4 Descripción de AUS y FACS, su relación con emociones En esta tesis se pretende modelar un avatar tridimensional en base a AUs y FACS para que tenga un respaldo teórico que sea aceptado para el modelado de la expresión de una emoción. Como las AUs son todos los movimientos visibles del rostro es importante revisar la anatomía humana para entender como los movimientos de los músculos influyen en la creación de una expresión. Pues en una animación solo los músculos principales se modelan para dar movimiento a las expresiones debido a que en la realidad el movimiento de un musculo interviene con otros y esto se torna difícil de modelar. Por ello en la Figura 11 se presenta el esquema de un rostro con la etiqueta de los músculos que intervienen en la generación de una expresión, así como la funcionalidad de cada uno de estos. Tanto la imagen como la descripción fueron obtenidas de la referencia [20]. Figura 8. Principales músculos que intervienen en la generación de una expresión Frontal interior (Frontalis inner): la parte media del músculo frontal eleva la parte interior de las cejas. Frontal exterior (Frontalis outer): la parte lateral del músculo frontal eleva la parte exterior de las cejas. Visualización de Emociones Basado en el Modelo de Plutchik 33 Frontal (Frontalis major): eleva las cejas de forma que el arco formado es más prominente. Corrugador lateral (Lateral Corrugator): tira de la parte interna de las cejas. Corrugador de la ceja o superciliar (Corrugator Supercilli): junta las cejas. Cigomático mayor (Zygomatic Major): desplaza la comisura de los labios superior lateralmente. Depresor del ángulo de la boca (Angular Depressor): tira de la comisura de la boca inferior lateralmente. Elevador del ángulo de la boca (Labii Nasi): eleva la comisura y el labio superior, empujando la parte interior de la mejilla hacia el ojo. Elevador del labio superior y del ala de la nariz (Inner Labii Nasi): Se eleva y profundiza el surco naso labial. Las FACS ( por sus siglas en inglés de “Facial Action Coding System”) es un sistema para taxonomizar movimientos faciales visualmente apreciables en el rostro como: los movimiento de la cabeza, movimientos oculares y otros que corresponden a la región del rostro. Los códigos principales están basados en 44 movimientos básicos y son visualmente distinguibles en el área del rostro. Estos movimientos sirven para la creación de cualquier emoción [21]. Las FACS definen las unidades de acción (AU por sus siglas en inglés “Action Units”) que corresponde al o los movimientos o acciones fundamentales de los músculos y los descriptores de acción (AD por sus siglas en inglés “Action Descriptor”) son él o los músculos que intervienen para el modelado de una AU [18]. En la Figura 9 se puede ver algunos de estos movimientos de AUs en FACS. Figura 9. Simples unidades de acción (AUs) en el sistema de codificación de acción facial (FACS) Las FACS definen un nivel de intensidad para cada unidad de acción (AU). Esta escala, tiene un rango de intensidad que varía de la ‘A’ a la ‘E’ en donde ‘A’ representa a un ligero rastro, ‘B’ es una leve evidencia, ‘C’ ya es trazo marcado, ‘D’ ya es una emoción intensa o severa considerada también como un nivel extremo, ‘E’ es la intensidad extrema con la que se puede representar cada AU, también es importante mencionar que la escala de intensidades no tiene intervalos iguales, esto quiere decir que algunos intervalos como ‘D’ y ‘E’ podrían cubrir una gama más amplia de cambios en la apariencia que las demás. [22]. Visualización de Emociones Basado en el Modelo de Plutchik 34 De esta forma cuando se habla de AUs no es necesario aprender la descripción del movimiento sino sólo su número, como ejemplo tomando en cuenta la Figura 9 se puede decir que quiere la AU43 y por ende se trata de la acción de cerrar los ojos, de esta misma forma es posible agregar la intensidad escribiendo por ejemplo AU 43E que significa que será la acción de cerrar los ojos con la intensidad máxima posible lo que podría describirse gráficamente como apretar los ojos. Aunque en realidad las FACS especifican la apariencia de cada intensidad de cada unidad de acción (AU) [22]. Por último cabe mencionar que las FACS pueden ser unilaterales o bilaterales, lo que significa que cada unidad de acción (AU) puede ser ejecutada en el lado derecho o izquierdo del rostro o en ambos [22] [23]. Para tener en mente una imagen más clara de lo que se habla cuando se menciona AU1, AU2, etc. En las figuras 10-16 se presentan completas la lista de los movimientos de las AUs en donde muestra: el número de la unidad de acción (AU), su descripción, él o los músculos que involucran y la representación gráfica de algunos movimientos de unidades de acción (AUs). Figura 10.1ra Parte Tabla de AUs Visualización de Emociones Basado en el Modelo de Plutchik 35 Figura 11. 2da Parte Tabla de AUs Visualización de Emociones Basado en el Modelo de Plutchik 36 Figura 12.3ra Parte Tabla de AUs Visualización de Emociones Basado en el Modelo de Plutchik 37 Figura 13.4a Parte Tabla de AUs Figura 14.5a Parte Tabla de AUs Visualización de Emociones Basado en el Modelo de Plutchik 38 Figura 15.6a Parte Tabla de AUs 2.5 Descripción de unidades de acción (AUs) Las unidades de acción (AU) están divididas en dos zonas: la superior e inferior como se muestra en la figura 16. Estas a su vez pueden ser divididas en varias subcategorías Visualización de Emociones Basado en el Modelo de Plutchik 39 dependiendo de los movimientos que los músculos involucrados en AUs superiores, AUs inferiores con acción oblicua, AUs inferiores con acciones de arriba/abajo, AUs inferiores con acciones horizontales y AUs inferiores con acción orbital están agrupadas [9]. Figura 16. AUs divididas en dos sectores del rostro: en la parte superior e inferior Los FAPs son medidos usando las unidades paramétricasde animación facial (“Facial Animation Parameter Units” o FAPUs por siglas en inglés), las FAPUs son definidas con respecto a las distancias entre el rasgo facial clave y su estado natural, es la diferencia de cada punto del rostro nuevo contra el punto en el estado neutral. Existen más de 7000 combinaciones de los movimientos faciales conseguidas através de la mezcla de AUs [25]. Durante el proceso de modelado se encuentran las AUs denominadas primarias, pues son el rasgo característico de la expresión y las AUs auxiliares que son rasgos que pueden acompañar o no a la expresión buscada, estos se Visualización de Emociones Basado en el Modelo de Plutchik 40 encargan de resaltar la AU primaria, para el trabajo se harán uso de ambas. En la tabla 7 se puede apreciar como ejemplo las AUs primaria y auxiliares que pueden modelar una expresión [24], un ejemplo del uso de las AUs para denotar una expresión se puede ver en la figura 17. Tabla 7. AUs primarias y auxiliares que modelan una expresión. Expresión AU Primaria AU Auxiliar Felicidad 6,12 25,26,46 Tristeza 1,15,17 4,7,25,26 Asco o Rechazo 9,10 17,25,26 Sorpresa 5,26,27,1+2 Enojo 2,4,7,23,24 17,25,26,16 Miedo 20,1+5,5+7 4,5,7,25,26 Anticipación 1+2,5,24 Confianza 4,18,23 Figura 17. Ejemplo de AUs aplicadas a una expresión Visualización de Emociones Basado en el Modelo de Plutchik 41 Capítulo 3 - Modelado y Animación Lograr que personajes virtuales (avatares) expresen diferentes emociones, que posean personalidades definidas, o que reaccionen de acuerdo al estado de ánimo en el que se encuentran, se ha vuelto una tarea en la que muchos investigadores han invertido sus esfuerzos. Con este fin, el crear un modelo y animación realista del personaje (cara y/o cuerpo), es la clave para transmitir correctamente la emoción del personaje. Este capítulo se dará la explicación de varios conceptos claves en la realización de nuestro trabajo. Primero, en el área de cómputo gráfico, se enfocará en la explicación de diferentes técnicas para la modelización y animación de caras. Luego, en el área de programación del motor de animación para colocar las emociones. 3.1 Modelado y Animación de Caras Un rostro humano se caracteriza por tener elementos que deben ser representados en un modelo virtual para lograr el realismo. Estos son: • Cabello • Ojos • Orejas • Labios • Dientes 3.2 Composición y animación facial En este capítulo se recopilan y analizan las técnicas para desarrollar el modelado y animación facial, estos métodos pueden ser divididos en dos clases [26]: Manipulación Geométrica. Esta categoría involucra los temas de parametrización, interpolación y modelado a partir del movimiento de los músculos. Manipulación de Imágenes. Este caso implica la manipulación de texturas. Diagrama que muestra los métodos de modelado y animación facial que más adelante serán explicados a lo largo del capítulo [26]. Visualización de Emociones Basado en el Modelo de Plutchik 42 Figura 18. Ramas de la Animación Facial 3.2.1 Tipos de Modelado Facial Las siguientes técnicas son las más comunes y utilizadas para los modelos faciales. 3.2.2 Modelos Poligonales Para los modelos geométricos es necesario implementar superficies utilizando comúnmente las mallas poligonales. Un punto de suma importancia es que al momento de emplear áreas poligonales se establezcan los polígonos con una malla fácil de modelar en varias poses. Para efectos de facilidad, cada sección del rostro debe poseer un grupo de polígonos estructurados cuya manipulación únicamente se ejerza en dichas áreas. La superficie poligonal debe manejarse cuidadosamente para que el resultado que se obtenga sea lo más parecido posible a la realidad [29]. La parte del rostro que toma más detalle es la boca; ésta requiere ser particularmente flexible, porque debido al movimiento que esta sección realiza, se producen diversas deformaciones en el resto de la cara. El número de polígonos determina el nivel de detalle de la superficie. Se pueden localizar diversos trabajos que han requerido de miles Visualización de Emociones Basado en el Modelo de Plutchik 43 de polígonos para proporcionarles gran detalle en las secciones más expresivas como son la frente, ojos y boca y así obtener los pliegues correctos para expresar emociones. Figura 19. Modelo Poligonal A continuación se muestra una tabla de análisis de ventajas y desventajas de este modelo. Tabla 8. Análisis de ventajas y desventajas del Modelo Poligonal 3.2.3 Modelo Paramétrico Este modelo se fundamenta a partir de una función que representa cierta área, debido a que esto requiere de mucho trabajo se hace uso de la concatenación, donde se instauran “parche paramétricos” que son superficies cuadráticas que se adquieren en la interpolación y éstos son unidos por los extremos, lo cual se conoce como propiedad de continuidad. Obteniendo que a mayor derivada del patch mayor sea la suavidad [31]. Al utilizar B-Splines racionales no uniformes o NURBS se complementan las curvas en maya que al combinarse forman superficies [26]. Ventajas Desventajas Lograr realismo y flexibilidad al área facial Influencia del número de polígonos utilizados para el nivel de detalle. Uso de algoritmos que solucionan problemas como superficies ocultas y sombreado de superficies visibles. Cálculos muy costosos debido al alto contenido de polígonos. Visualización de Emociones Basado en el Modelo de Plutchik 44 Figura 20. Modelo Paramétrico utilizando NURBS A continuación se muestra una tabla de análisis de ventajas y desventajas de este modelo. Tabla 9. Análisis de ventajas y desventajas del Modelo Paramétrico utilizando NURBS Ventajas Desventajas Los NURBS describen las curvas de forma más exacta que los polígonos, debido a que utilizan métodos analíticos. Suelen ocupar demasiada memoria de la computadora, debido a que realizan bastantes cálculos. Se renderizan a una buena velocidad. Es mejor para trabajar con secciones pequeñas como los labios y no para otras arrugas. 3.2.4 Modelo con Subdivisiones. Este método combina el modelado por polígonos y el modelado paramétrico. Se basa en dividir superficies poligonales, logrando así más suavidad en el modelo y curvas más precisas teniendo una malla de baja resolución para después refinarla [29] [31]. Figura 21. Subdivisión de polígonos. Visualización de Emociones Basado en el Modelo de Plutchik 45 Tabla 10. Análisis de ventajas y desventajas del Modelo de Subdivisiones Ventajas Desventajas Al interpolar los cuadros intermedios se obtiene un gran ahorro de memoria. La información acerca de las expresiones es muy limitada. Óptimo control de la animación ya que el usuario decide las expresiones contenidas en los cuadros clave. Compromete a un mayor trabajo del animador debido a su alto nivel de control. 3.3 Métodos de animación facial Existen cuatro métodos diferentes de animación facial que a continuación se enlistan. 3.3.1 Animación por cuadros En este tema los cuadros intermedios permiten transiciones más suaves entre cuadros clave. Llamando cuadros clave a todas aquellas expresiones que se quieren mostrar. Por lo cual en esta técnica se requiere de una interpolación para originar los cuadros intermedios. Esta animación puede ser de dos formas siguientes [29]. Geométrica. Altera las posiciones de los vértices de los polígonos de la malla del rostro. La interpolación de los vértices de las caras base determina la ubicación de cada vértice en la cara intermedia. Paramétrica. Esta técnica determina los parámetros utilizados para la cara intermediamediante la interpolación de los parámetros de las caras bases. Se definen a continuación tres formas de interpolación. Lineal. La transición se basa en la siguiente fórmula la cual tiene un valor constante p1=cuadro p2=cuadro2 t=coeficiente temporal que varía en un intervalo sugerido. 𝑝! = 𝑝! 1,0 − 𝑡 + 𝑝!𝑡, 0 ≤ 𝑡 ≤ 1 Cuadrática. Se rige por la siguiente fórmula de transición, que muestra una aceleración al término de la transición. Cubica. En este método se trata de adaptar la curva de animación haciendo uso de la información de deformación de los cuadros clave, manteniendo las transiciones suaves. Visualización de Emociones Basado en el Modelo de Plutchik 46 3.3.2 Animación parametrizada Aquí se toma en cuenta la parametrización universal la cual tiene como objetivo dotar un conjunto de instrucciones que permita moldear los objetos para crear los movimientos de forma finita. Por lo tanto esta animación utiliza parámetros en donde cada uno corresponde a una parte del rostro, para poder deformar cada sección de forma separada [29]. 3.3.3 Animación basada en pseudo-músculos Estas técnicas deforman la malla facial a través de simulación de las contracciones de los verdaderos músculos, haciendo caso omiso de la anatomía facial subyacente. Se implementa utilizando diversos métodos geométricos como: abstract muscle action (AMA), Free Form Deformations y Rational Free Form Deformation (RFFD) [29]. 3.3.4 Animación basada en músculos La expresión modelo muscular a gran escala implica que cada sección de la cabeza humana que intervenga directa o indirectamente en algún movimiento será simulada [26]. Los métodos apoyados en músculos utilizan modelos de resortes basados en anatomía o modelos multicapas de la piel y músculos para distorsionar la malla facial. Estos modelos propagan las fuerzas del músculo en una malla de resortes elásticos. La malla extiende la estructura de resortes a tres capas moldeando el comportamiento facial de forma más realista. Esto exige un ajuste exhaustivo para modelar un rostro específico. Uno de los pioneros en el desarrollo de modelos de animación por músculos fue Waters, quien definió tres tipos de músculos: lineal, esfínter y planar. Músculo lineal o paralelo. Son implementados como vectores que se contraen y se relajan. Músculo esfínter o circularis. Concierne áreas de forma elipsoidal y los desplazamientos de cierto punto son evaluados usando la ecuación para elipsoides paramétricas. Músculo planar o planos. Consiste de algunas fibras casi paralelas agrupadas de forma plana. Regularmente este tipo de músculo es hallado en la frente [26]. Visualización de Emociones Basado en el Modelo de Plutchik 47 Figura 22. Modelo lineal de Waters. 3.4 Avance de una malla poligonal y texturizado del rostro Cuando se realiza diseño 3D para modelar un rostro es muy importante tener en cuenta los músculos y huesos que lo forman, es por ello que se requieren planos de referencia como se muestra en la imagen siguiente, donde de lado izquierdo se muestran las líneas dibujadas sobre la cara de la persona y de lado derecho las líneas son creadas por el software utilizado, ambos métodos son efectivos para simular la topología de los músculos para gesticular correctamente los movimientos naturales [32]. Figura 23. Planos de referencia Las regiones de los ojos, oídos y boca deben ser cubiertas siguiendo la forma de los músculos con los polígonos. Al terminar se obtendrá una malla de polígonos que cubran toda la cabeza y el render generado de la misma [32]. Visualización de Emociones Basado en el Modelo de Plutchik 48 Figura 24. Polígonos trazados en los ojos para simular los músculos. Figura 25. Polígonos trazados en la boca para simular los músculos. Figura 26. Malla de polígonos y cabeza renderizada. Visualización de Emociones Basado en el Modelo de Plutchik 49 Figura 27. Ejemplo de modelo facial. 3.4.1 Texturizado Un rostro humano es caracterizado por tener elementos que deben ser escenificados en un modelo virtual para lograr realismo. Por lo cual se requieren de mapas planos de secciones de los objetos del modelo para texturizar [32]. Generalizando se puede decir que para establecerlos se utilizan y editan coordenadas UV (Unloaded Vehicle), las cuales se subdividen en otros grupos. Figura 28. Planos a partir de las subdivisiones del rostro. Después de haber ajustado y relajado los vértices el plano debe guardarse en formato BMP para poder maniobrarlo en Photoshop, en donde se adecuara la textura del rostro. Visualización de Emociones Basado en el Modelo de Plutchik 50 Figura 29. Mapa plano del rostro para texturizar. Si es pintada a mano la textura se debe seguir el mapa plano como base, y esta quedará de manera similar a la siguiente figura, pero si es foto realista se utilizarán tres fotos (una de frente y dos de perfil) que se incorporarán para encajar con el mapa plano del modelo que más adelante lo cubrirá quedando así. Figura 30. Ejemplo de mapa pintado a mano alzada. Figura 31. Ejemplo de mapa foto realista. Ya que se tiene listo se guarda como archivo BMP y se regresa al editor 3D, para que así se genere el render. Estas son expectativas generales ya que el texturizado puede variar según la técnica que se utilice. Visualización de Emociones Basado en el Modelo de Plutchik 51 3.5 Generación y delimitación de unidades que interpretan una emoción Al delimitar la gama de formas con las que se puede representar una misma emoción y sus diferentes AUs . Para poder observar las afectaciones de las AUs se ha fraccionado el área del rostro en cinco áreas (boca, ojos, cejas, barbilla y surcos de la nariz) [8]. En general se puede considerar que las expresiones faciales son medidas del estado emocional de las personas. Esto depende de las emociones que se hayan experimentado en continuos instantes de tiempo. Debido a que una persona experimenta una emoción y esta es representada en su rostro, se concluye su estado emocional. Es por eso que es necesario saber cómo generar visualmente una determinada emoción en un rostro virtual. Considerando dos tipos de emociones, las primarias o básicas y las combinaciones. Las emociones básicas definidas por Plutchik, son: alegría, tristeza, ira, rechazo, miedo, anticipación, confianza y sorpresa [15]. Las emociones combinadas son todas aquellas emociones que pueden representarse como una mezcla entre dos emociones básicas. Para estas se tomó como base el modelo OCC, y se han considerado 22 de las 24 emociones que representa. Figura 32. Tabla de emociones. 3.5.1 Emociones primarias Teniendo como base la cara neutra, se asignaron manualmente valores a los FAPs asociados a cada emoción. Cada FAP está definido en un rango de números naturales ([−1000, 1000]) que indica los valores mínimos y máximos que puede llegar a desplazarse el FAP. Las siguientes imágenes son modelos en los que se basa para la creación de seis expresiones: alegría, tristeza, miedo, asco, ira, anticipación, confianza y sorpresa. Visualización de Emociones Basado en el Modelo de Plutchik 52 Figura 33. Arriba: intensidades bajas de ira, asco, miedo, alegría, tristeza y sorpresa. Abajo: intensidades altas de ira, asco, miedo, alegría, tristeza y sorpresa. 3.5.2 Emociones Combinadas A pesar de que los seres humanos cuentan con ocho emociones universales o primarias, el rostro humano es experto en reflejar muchas más expresiones emocionales. Pero modelarlas no es sencillo ya que las diferencias entre ellas son muy sutiles. Para crear estas emociones “combinadas o intermedias”, se implementó un algoritmo que utiliza el modelo propuesto por Whissell y está
Compartir