Reconstrucción Virtual 3D del Cuerpo Humano

Cuando en la ciencia ficción se comunican los héroes, ellos no utilizan teléfonos fijos o móviles. La persona que llama simplemente aparece en forma virtual en el centro de la sala; a tamaño real y en tres dimensiones. Para los investigadores del Instituto Fraunhofer, está visión ya se encuentra a nuestro alcance: en las ferias IFA en Berlín (Sala 11.1, Estand 2) y en la IBC en Amsterdam (Sala 8, Estand 8.B80) ellos demostraron una novedosa tecnología denominada “3D Human Body Reconstruction (Reconstrucción 3D del Cuerpo Humano)”.

Científicos en el Instituto Fraunhofer para las Telecomunicaciones, Instituto Heinrich Hertz, HHI en Berlín han desarrollado un método mediante el cual la imagen realista de una persona puede ser transmitida a un mundo virtual; y justo como en las películas de ciencia ficción, la imagen surgirá en tamaño real y en tres dimensiones. La imagen puede ser visualizada desde diferentes direcciones y el observador podrá incluso caminar alrededor de ella – justo como en las películas. Hasta ahora, esto no era posible; incluso la realidad virtual (VR) aún tiene sus límites. Las personas pueden ser representadas por modelos tridimensionales artificiales (denominados avatares) que pueden ser mostrados cuando el observador se coloca lentes de datos RV. Sin embargo, estas figuras artificiales no cuentan con una apariencia natural o movimientos naturales. Otra opción es reproducir un video de una imagen de la persona vista de frente en los lentes de datos RV. Sin embargo, el espectador no puede caminar alrededor de la imagen. Como resultado, toda la escena tiene una apariencia artificial en la medida que nos desplazamos a través del mundo virtual. La persona siempre muestra su vista frontal bidimensional hacia el espectador.

20 Cámaras Estereoscópicas

En contraste, los investigadores del Instituto HHI han perfeccionado la impresión tridimensional. Para lograrlo, ellos han desarrollado un sistema de cámaras que filman a la persona. El núcleo de este sistema es una cámara estereoscópica: Justo como las personas lo hacen con ambos ojos, la cámara graba a la persona con dos lentes. Esta visión estereoscópica da como resultado que las distancias sean bien estimadas, debido a que ambos ojos miran hacia un objeto desde un ángulo ligeramente diferente. El resultado es una impresión tridimensional. Grabar a una persona a detalle desde todas las direcciones requiere más de una cámara. “Estamos utilizando actualmente más de 20 cámaras estereoscópicas para mapear a un ser humano“, comentó Oliver Schreer, Director del Grupo de Investigación “Medios Inmersivos y Comunicación” en el Instituto HHI. Cada cámara sólo captura una parte de la persona. El reto es fusionar las imágenes de las cámaras individuales entre sí de modo que una fotografía global realista sea producida.

El sistema incluye más que sólo una tecnología de cámaras. Los investigadores han desarrollado algoritmos que pueden rápidamente extraer la información sobre la profundidad de las imágenes estereoscópicas de las cámaras. Esto es necesario con la finalidad de calcular la forma 3D de una persona capturada. La computadora calcula un modelo virtual del ser humano, el cual entonces es transferido a una escena virtual. Las cámaras perciben la forma de la superficie con muchos detalles. En esta forma incluso las pequeñas arrugas, ej. en la ropa de la persona, pueden ser mostradas. El modelo cuenta con una apariencia natural y realista.

“Al desarrollar estos algoritmos, cuidado especial ha sido tomado para asegurar que funcionan eficientemente y rápido, para que los movimientos de la persona que dialoga puedan ser rápidamente convertidos en un modelo dinámico,” comentó Schreer, ya que esta es la única forma que los movimientos contarán con una apariencia natural. Las imágenes de un sólo par de cámaras pueden ser procesadas en tiempo real.

Mostrando cada Movimiento

La fusión de la información 3D de las diversas imágenes de las cámaras toma algunos segundos. La ilusión ya ha sido perfeccionada. El sistema transmite el modelo dinámico tridimensional de una persona rápidamente a la realidad virtual. Una persona puede moverse libremente en un área de captura dedicada. La imagen virtual retrata cada ademán y movimiento de forma realista. “Nuestro objetivo es que en el futuro una copia de una imagen realista de un ser humano pueda directamente interactuar con el mundo virtual – por ejemplo, para permitirle tomar objetos virtuales,” comentó Schreer.

En el futuro, el nuevo sistema de cámaras está planeado para utilizarse para otras disciplinas de aplicación también. Por ejemplo, los investigadores trabajan en una aplicación de videoconferencia virtual. Este podría de la misma forma ser utilizado para aplicaciones de información y entretenimiento. En vez de una experiencia de observación pasiva y frontal, un espectador en la televisión podría estar directamente involucrado en una escena de una película por medio de lentes de RV. El espectador podría no sólo ver una imagen tridimensional de la escena en la televisión, pero podría virtualmente caminar alrededor de esta, y, por ejemplo, formar parte de una aventura de su héroe favorito de ciencia ficción.

Una Alternativa al Motion Tracking

“Podemos también imaginar instalar el sistema de cámaras en diferentes locaciones en pequeños estudios,” comentó Chreer. “Productores de filmes podrían utilizarlo para transferir el movimiento de los actores en las escenas muy fácilmente más que nunca antes.” Esto ha sido muy costoso hasta ahora. En general, los movimientos de los actores son grabados utilizando el método del seguimiento del movimiento. Como parte de este proceso, la cara y el cuerpo del actor son marcados con pequeños puntos. La computadora mantiene un seguimiento del movimiento de los puntos y los transfieren a la computadora con la imagen artificial generada del actor – por ejemplo, una estrella de acción saltando de un rascacielos a otro. Sin embargo, con los puntos marcados de forma individual, los métodos de seguimiento del movimiento pueden sólo detectar los movimientos y, especialmente, las finas expresiones faciales de forma muy precisa o con un esfuerzo tecnológico muy alto. Esto significa mucho post procesamiento para el artista gráfico de cómputo hasta que la escena luzca más realista. “Con nuestro sistema de cámaras, sin embargo, nuestro objetivo es descomponer y representar a una persona y sus movimientos en el futuro con mucho más detalle,” comentó Chreer.

Los investigadores están actualmente mejorando sus sistemas de cámaras y el software de análisis que las acompañan. El Instituto Heinrich-Hertz-Institut HHI no ha decidido si van a hacer ambas cosas disponibles como un servicio o licenciarlas para empresas de producción, esto aún no se conoce.

Para mayores informes, por favor visitar: www.hhi.fraunhofer.de

Photos: © Fraunhofer HHI
Information and photos courtesy of:

Fraunhofer Institute for Telecommunications, Heinrich-Hertz-Institut HHI
Innovaciones para la sociedad digital del futuro son el enfoque hacia el trabajo de investigación y desarrollo en el Instituto Heinrich Hertz Institute HHI. En esta área, el Instituto Fraunhofer HHI es líder mundial en el desarrollo de redes y sistemas de comunicación ópticas y móviles, sistemas de sensores de fibra óptica, así como también, del procesamiento y codificación de señales de video.

Junto con sus socios internacionales de investigación y de la industria, el Instituto Fraunhofer HHI trabaja en todo el espectro de la infraestructura digital – desde la investigación fundamental hacia el desarrollo de prototipos y soluciones. El instituto desarrolla estándares para la información, las tecnologías de comunicación y crea nuevas aplicaciones como un socio de la industria www.hhi.fraunhofer.de.