Nvidia ha lanzado un video festivo que presenta un lindo avatar con cabeza de muñeco del CEO Jensen Huang cantando Jingle Bells. La tradicional canción navideña ha sido animada al estilo de un crooner de los años 50 con un chasquido de dedos fresco de la chaqueta de cuero drapeada ‘Toy Jensen’. Este divertido video muestra tecnologías geniales y difunde un poco de alegría navideña.
El lanzamiento del video no es solo una forma de decir felices fiestas a los fanáticos de Nvidia, también demuestra (se abre en una pestaña nueva) las habilidades de la plataforma Nvidia Omniverse Avatar Cloud Engine, o ACE. La actuación tardó «solo unas horas» en renderizarse y demuestra expresiones faciales y movimientos corporales realistas junto con la tecnología de conversión de voz que asignó el tono de Jensen a la actuación de un cantante profesional; esta no es una grabación real de la voz de Jensen cantando.
Desglosando los elementos del video, el equipo de desarrollo de Nvidia usó un modelo desarrollado recientemente para mapear el tono de voz de Jensen Huang en la muestra de canto de Jingle Bells de un vocalista profesional. Las notas musicales del canto profesional se aplicaron a la voz digital de Toy Jensen para que el avatar cantara con las notas y el ritmo correctos. Cabe destacar que el arreglo musical de esta actuación no fue generado por IA, sino que fue elaborado por Jochem van der Saag, un compositor y productor que ha trabajado con Michael Bublé y David Foster.
A continuación, Omniverse Audio2Face (se abre en una pestaña nueva) y Audio2Gesture (se abre en una pestaña nueva) Se aprovecharon las tecnologías para generar expresiones faciales y gestos realistas que coincidieran con la interpretación musical animada del avatar de Toy Jensen. Para un rendimiento más completo al estilo del programa de talentos X-Factor, creemos que Nvidia tendrá que desarrollar una nueva tecnología Audio2Walk-down-steps.
Poniendo el video anterior en cierta perspectiva, Jensen Huang llegó a los titulares en noviembre cuando estaba de visita en Taipei y bombardeó en video a un dúo de cantantes. Durante un evento de carnaval de Esports de Taiwán, logró meterse entre Lah Yileh Lee y Xinting Lee durante una presentación de «Always Remember Us This Way» de Lady Gaga. La actuación se volvió viral, pero Huang insiste en que es demasiado tímido para grabar una interpretación en persona de Jingle Bells, por lo que encargó a sus ingenieros que prepararan la actuación de Toy Jensen, con la parte superior incrustada.
Nvidia dice que la plataforma Omniverse ACE estará disponible pronto para los socios de acceso anticipado. No dice si el lanzamiento incluirá un Toy Jensen para jugar.