La Universidad de Nueva York está lanzando un proyecto para estimular el desarrollo de vídeos inmersivos en 3D para la educación en danza (y quizás en otras áreas). Impulsado por una subvención de cuatro años de 1,2 millones de dólares de la Fundación Nacional de Ciencias, el proyecto intentará hacer que la tecnología Point-Cloud Video (PCV) sea viable para la transmisión por secuencias.
Una nube de puntos es un conjunto de puntos de datos en un espacio 3D que representa la superficie de un sujeto o entorno. La Universidad de Nueva York dice que Point-Cloud Video, que une fotogramas de nubes de puntos en una escena en movimiento, ha estado en desarrollo durante la última década. Sin embargo, suele consumir demasiados datos para fines prácticos y requiere un ancho de banda mucho más allá de las capacidades de los dispositivos conectados actuales.
Los investigadores planean abordar esos obstáculos «reduciendo el consumo de ancho de banda y la latencia de entrega, y aumentando la eficiencia del consumo de energía para que los PCV puedan transmitirse mucho más fácilmente», según una publicación del blog de Ingeniería de la NYU publicada el lunes. El líder del proyecto, Yong Liu, profesor de ingeniería eléctrica e informática de la Universidad de Nueva York, cree que los avances modernos lo hacen posible. «Con los recientes avances en las tecnologías habilitadoras clave, ahora estamos a punto de completar el rompecabezas de teletransportar hologramas de humanos, criaturas y objetos del mundo real a través de Internet global», escribió Liu el lunes.
OpenAI, el fabricante de ChatGPT, lanzó el año pasado un modelo que puede crear nubes de puntos 3D a partir de indicaciones de texto. Engadget se comunicó con el líder del proyecto para aclarar si esta u otras herramientas de IA generativa son parte del proceso, y actualizaremos este artículo si recibimos respuesta.
El equipo probará la tecnología con la Escuela de Artes Tisch de la Universidad de Nueva York y el Centro de Danza del Grupo de Danza Mark Morris. Bailarines de ambas organizaciones actuarán en un escenario de captura volumétrico. El equipo transmitirá sus movimientos en vivo y bajo demanda, ofreciendo contenido educativo para los aspirantes a bailarines que buscan aprender de artistas de alto nivel y permitiendo a los ingenieros probar y modificar su tecnología PCV.
Los investigadores imaginan que el trabajo abrirá puertas a contenido de transmisión de realidad mixta y realidad virtual más avanzado. «El éxito de la investigación propuesta contribuirá a una amplia implementación de sistemas de transmisión PCV robustos y de alta calidad que faciliten una experiencia inmersiva de realidad aumentada, virtual y mixta y creen nuevas oportunidades en muchos dominios, incluidos la educación, los negocios, la atención médica y el entretenimiento», dijo Liu. .
«Point-Cloud Video tiene un enorme potencial para transformar una variedad de industrias, y estoy entusiasmada de que el equipo de investigación de NYU Tandon haya priorizado la educación en danza para cosechar esos beneficios de manera temprana», dijo Jelena Kovačević, decana de NYU Tandon.