En el Consumer Electronics Show (CES) del lunes, Nvidia mostró los últimos avances en sus NPC generativos impulsados por IA, mostrando conversaciones automatizadas entre un jugador y personajes generados por computadora que podrían cambiar la forma en que se crean los juegos. La tecnología Avatar Cloud Engine (ACE) de Nvidia combina reconocimiento de voz a texto y respuestas de texto a voz con animación facial generativa de IA y personajes automatizados para generar interacciones de personajes creadas por computadora.
El discurso especial de Nvidia en CES 2024 contó con la participación de Seth Schneider, gerente senior de productos de ACE, haciendo una demostración de las tecnologías que funcionan en conjunto. Según Schneider, la demostración interpreta el discurso de un jugador y lo transforma en texto. Luego, ese texto se envía a un modelo de lenguaje grande basado en la nube para generar una respuesta de un NPC. El texto de respuesta se introduce en Omniverse Audio2Face, que sincroniza los labios con el audio hablado generado, que luego se representa en el juego.
La demostración es una actualización de una versión anterior de la tecnología mostrada en Computex de 2023, que presentaba a un personaje hablando con el dueño de una tienda de ramen futurista, Jin. La nueva demostración de Nvidia amplía eso al hacer que Jin y otro NPC, Nova, tengan conversaciones generadas por IA que pueden ser únicas en cada partida.
La demostración de CES 2024 también muestra nueva tecnología de otra empresa llamada Convai, que permite a los NPC impulsados por IA hacer más que solo conversar. Esos NPC también pueden interactuar con objetos en su entorno. En la demostración más reciente, se muestra a Jin sacando una botella de alcohol cuando Schneider le pide «sacar las cosas buenas». Según un recurso compartido por Convai, los NPC de IA conscientes del medio ambiente podrían interactuar con una serie de objetos, incluidos cuencos, botellas, luces y otros accesorios de la escena.
Imagen: Convai/Nvidia
Nvidia dice que varios desarrolladores de juegos ya están utilizando sus servicios de producción ACE, que incluyen la IA generativa de animación facial Audio2Face y el reconocimiento automático de voz Riva. Schneider nombrado «mejor desarrollador de avatares digitales» como Impacto de Genshin El editor Mihoyo, NetEase Games, Tencent y Ubisoft son algunas de las empresas que fabrican NPC con tecnología de inteligencia artificial para sus productos.
Aún no está claro qué juegos incorporarán este tipo de NPC generados por IA, pero Nvidia y Convai se jactan de que la tecnología se integrará «perfectamente» con motores de juegos como Unreal Engine y Unity. Tampoco está claro si el resultado del mundo real será bueno o, como la conversación de Jin y Nova, inquietantemente asombroso. Ambos personajes suenan robóticos y extraños en sus respectivas entregas, a pesar de la salida inteligente de conversaciones casi convincentes.
Es casi seguro que una cosa saldrá de la nueva demostración de Nvidia: una mayor sospecha de que las malas interacciones con los NPC que experimentaremos en juegos futuros están diseñadas por IA en lugar de un ser humano real.