Nvidia acaba de anunciar ACE for Games, una versión de Omniverse Avatar Cloud Engine, para animar y dar voz a los NPC del juego en tiempo real.
El CEO Jensen Huang explicó que ACE for Games integra texto a voz, comprensión del lenguaje natural, o en palabras de Huang, «básicamente un modelo de lenguaje grande», y animador facial automático. Todo bajo el paraguas de ACE.
Esencialmente, un NPC creado por AI escuchará la entrada de un jugador, por ejemplo, haciéndole una pregunta al NPC, y luego generará una respuesta en el personaje, dirá ese diálogo en voz alta y animará la cara del NPC mientras lo dice.
Huang también mostró la tecnología en una demostración en tiempo real creada en Unreal Engine 5 con la empresa de inteligencia artificial Convai. Está ambientado en un ambiente cyberpunk, porque por supuesto que lo es (lo siento, Katie), y muestra a un jugador entrar a una tienda de ramen y hablar con el dueño. El propietario no tiene un diálogo con guión, pero responde a las preguntas del jugador en tiempo real y lo envía a una misión improvisada.
Puedes ver la demostración por ti mismo aquí.
Es bastante impresionante y, sin duda, un vistazo a cómo los juegos pueden utilizar esta tecnología en el futuro. Como dijo Huang, «la IA será una parte muy importante del futuro de los videojuegos».
Por supuesto, él diría eso. Nvidia es la empresa que más se beneficiará del aumento repentino de la demanda de IA con las ventas de sus aceleradores de IA. Y ya hemos visto algunas integraciones básicas de ChatGPT en los juegos, como cuando Chris lo agregó a su Skyrim compañero y no pudo resolver un rompecabezas simple. Pero esta nueva plataforma ACE parece mucho más pulida y en tiempo real.
Lo que no sabemos es lo que se necesitó para ejecutar la demostración de ACE for Games, solo que también ejecutó ray tracing y DLSS. Podría requerir más que su GPU GeForce promedio para ejecutarse en este momento, o requerir un componente basado en la nube. Huang fue un poco ligero en los detalles, pero estoy seguro de que escucharemos más sobre esta herramienta, ya que algunos juegos en realidad hacen movimientos para usarla.
“Las redes neuronales que habilitan NVIDIA ACE para juegos están optimizadas para diferentes capacidades, con diversas compensaciones de tamaño, rendimiento y calidad. El servicio de fundición de ACE para juegos ayudará a los desarrolladores a ajustar modelos para sus juegos y luego implementarlos a través de NVIDIA DGX Cloud. PC GeForce RTX o en las instalaciones para la inferencia en tiempo real», dice Nvidia.
«Los modelos están optimizados para la latencia, un requisito fundamental para las interacciones inmersivas y receptivas en los juegos».
La latencia va a ser grande aquí. Odiaría estar sujeto al equivalente NPC de una pausa incómoda mientras se carga en su respuesta desde la nube.
Hasta el momento, Nvidia ha confirmado dos juegos que usan el componente de tecnología de animación facial de ACE for Games, llamado Audio2Face. Eso es STALKER 2: Heart of Chernobyl y Fallen Leaf, pero con suerte obtendremos algunos ejemplos de toda la plataforma combinada. Me encantaría ver la tecnología en acción fuera de una demostración.