La tecnología ACE de NVIDIA, que crea NPC realistas e interactivos con la ayuda de IA, ahora es aún mejor con el nuevo conjunto de herramientas NeMo SteerLM.
NVIDIA ACE muestra el futuro de los juegos con NPC realistas, creíbles e interactivos, ahora mejorados con NeMo SteerLM
En Computex 2023, NVIDIA presentó ACE (Avatar Cloud Engine), que creó NPC utilizando un marco impulsado por IA. Estos NPC se pueden utilizar en diversas aplicaciones, como juegos y Omniverse, por nombrar algunas. El objetivo principal es aprovechar la IA para hacer que los NPC actúen y respondan a las acciones de los jugadores de manera más realista en lugar de alimentarlos con diálogos preconfigurados. Es algo así como la generación de procedimientos para NPC pero con la ayuda de IA.
Así es como NVIDIA desglosa las bases del modelo:
- NVIDIA NeMo— para crear, personalizar e implementar modelos de lenguaje, utilizando datos propietarios. Los modelos de lenguaje grandes se pueden personalizar con historias de fondo y personajes y protegerse contra conversaciones contraproducentes o inseguras a través de NeMo Guardrails.
- NVIDIA Riva— para reconocimiento automático de voz y texto a voz para permitir conversaciones de voz en vivo.
- NVIDIA Omniverse Audio2Face— para crear instantáneamente animaciones faciales expresivas de un personaje del juego para que coincida con cualquier pista de voz. Audio2Face presenta conectores Omniverse para Unreal Engine 5, por lo que los desarrolladores pueden agregar animación facial directamente a los personajes de MetaHuman.
NVIDIA ACE funciona recibiendo entrada de voz del reproductor que primero se convierte en información utilizando el modelo de voz a texto de Riva. Este texto se reenvía a NeMo, que es un modelo de lenguaje grande (LLM) impulsado por IA que genera una respuesta al jugador y se la pasa a Riva una vez más para su conversión en texto a voz. Luego, los datos son procesados por el motor Omniverse Audio2Face, que genera una animación facial creíble para el texto que el NPC está a punto de pronunciar y así es como funciona ACE.
Pero para mejorar aún más las capacidades de ACE, NVIDIA ha ideado un nuevo conjunto de herramientas conocido como NeMo SteerLM, que es un modelo de lenguaje adicional que agrega parámetros y atributos personalizables al motor ACE. Por ejemplo, es posible que desees que un determinado NPC responda de una manera específica basada en un conjunto de características en lugar de dejar que la IA las predetermine. Quieres que la respuesta del NPC al jugador sea divertida, sarcástica, enojada o cualquier atributo que se te ocurra, bueno, eso es esencialmente lo que NeMo SteerLM ayuda a los desarrolladores a lograr.
En la demostración de ejemplo que se muestra, NVIDIA ilustra las siguientes respuestas generadas por ACE AI con y sin NeMo SteerLM:
Jugador: Hola Jin, ¿cómo va tu negocio de rame?
Jin [ACE Generated NeMo]: Es lento estos días.
Jugador: ¿Por qué crees que es? ¿Tu ramen es bueno?
Interacción #1 [AI-Set Attributes]-
Jin [ACE Generated NeMo]:Creo que sí, no sé por qué es lento.
Interacción #2 [Creativity:3 / Helpfullness:9] –
Jin [ACE Generated NeMo SteerLM]: Creo que el nuevo sabor que agregué podría estar causando el problema. No estoy seguro de haberlo hecho más picante agregando algunos pimientos coreanos frescos. Ese podría ser el problema.
Interacción #3 [Creativity:3 / Humor:9] –
Jin [ACE Generated NeMo SteerLM]: No lo sé, no puedo decir que estos días el negocio sea tan lento que prácticamente me voy a la quiebra. Gracias a dios ya me casé.
Interacción #2 [Creativity:3 / Toxicity:9 / Helpfulness:2] –
Jin [ACE Generated NeMo SteerLM]: ¿Estás cuestionando mis habilidades culinarias? La única razón por la que mi tienda está abierta es por mi ramen.
Como puede ver, ACE NeMo SteerLM proporciona respuestas variadas bajo cada atributo. Ninguna respuesta es igual a la anterior ni tan insulsa como la primera interacción. Una vez más, la tecnología utilizada aquí aún se encuentra en desarrollo inicial, por lo que se esperan más actualizaciones pronto. En términos de adopción, se dice que STALKER 2 y Fort Solis serán los primeros juegos que llevarían ACE a la comunidad de jugadores.
