Hay muchas maneras de tener un chat de texto con un modelo de lenguaje grande, desde ChatGPT hasta Google Bard o MLC LLM, un chatbot local que puede ejecutarse en su teléfono. La próxima frontera para la IA es llevar el poder de los LLM a los NPC (personajes que no son jugadores) en juegos donde, en lugar de tener un conjunto de interacciones enlatadas, puedes tener una conversación abierta.
Durante su discurso de apertura de Computex 2023, el CEO de Nvidia, Jensen Huang, presentó ACE for Games, un servicio de fundición de modelos de IA, diseñado para dar vida a los personajes del juego mediante conversaciones en lenguaje natural, expresión de audio a rostro y texto a voz / voz a -capacidades de texto. Huang mostró una demostración del juego en la que un NPC llamado Jin, que dirige una tienda de fideos ramen, interactuó con un jugador humano que hacía preguntas con voz y obtenía respuestas reales que coincidían con la historia de fondo del NPC.
En la demostración, el jugador (llamado Kai), entra en la tienda de ramen de Jin, le pregunta cómo le va (en voz) y tiene una conversación sobre el hecho de que el área tiene una alta tasa de criminalidad. Kai pregunta si puede ayudar y Jin responde que «si quieres hacer algo al respecto, he oído rumores de que el poderoso señor del crimen Kumon Aoki está causando todo tipo de caos en la ciudad. Él puede ser la raíz de esta violencia». .» Kai pregunta dónde encontrar a Aoki y Jin le dice, lo que hace que el usuario comience su búsqueda.
«La IA no solo contribuirá al enrojecimiento y la síntesis del entorno, sino que también animará a los personajes», dijo Huang. «La IA será una parte muy importante del futuro de los videojuegos».
Nvidia ACE for Games ofrecerá acceso de alta velocidad a tres componentes diferentes que ya existen. El primero, Nvidia NeMo, es un marco de IA para entrenar e implementar LLM e incluye NeMo Guardrails, que está diseñado para evitar conversaciones de IA inapropiadas/»inseguras». Presumiblemente, esto impediría que los NPC respondieran a las indicaciones inapropiadas y fuera de tema de los usuarios. Guardrails también tiene seguridad que debería evitar que los usuarios o los posibles inyectores rápidos «desbloqueen» los bots y hagan que hagan cosas malas.
Nvidia Riva es la solución de voz a texto/texto a voz de la empresa. En el flujo de trabajo de ACE para juegos, un jugador hará una pregunta a través de su micrófono y Riva la convertirá en texto que se envía al LLM. Luego, el LLM generará una respuesta de texto que Riva convertirá en voz que el usuario escuchará. Por supuesto, esperaríamos que los juegos también mostraran las respuestas en texto. Puede probar las capacidades de voz a texto y de texto a voz de Nvidia Riva usted mismo en el sitio de la empresa.
Nvidia Omniverse Audio2Face proporciona el último paso en el flujo de trabajo de ACE para juegos, ya que permite que los personajes tengan expresiones faciales que coincidan con lo que están diciendo. La compañía actualmente ofrece este producto en versión beta y puedes probarlo aquí.
La demostración, que se llama Kairos, fue diseñada por Convai, una startup de IA en juegos que forma parte del programa Inception de Nvidia que conecta a empresas emergentes con capital de riesgo. En el sitio de la compañía, ofrece un conjunto de herramientas que permite a los desarrolladores de juegos crear NPC realistas con historias de fondo complejas.
La compañía tiene un excelente video explicativo sobre cómo funcionan sus herramientas y lo que pueden hacer. En el video, puedes ver a los jugadores hablando con los NPC y pidiéndoles que hagan cosas que involucren objetos reales y otros personajes en el juego.
Por ejemplo, en el video, un jugador le pide a un NPC que le entregue un arma que está sobre una mesa y el NPC obedece. En otra parte del video, el jugador le pide a un NPC soldado que dispare a un objetivo que se encuentra en un lugar en particular. También vemos cómo las herramientas de Convai hacen todo esto posible.
Tener ese contexto agregado para que el NPC esté al tanto de lo que sucede en el juego es muy importante. Recientemente, probamos un complemento de Minecraft AI que le permite hablar con los NPC en ese juego, pero los NPC no tienen conocimiento de la situación en absoluto. Pudimos continuar una conversación con una oveja después de haberla matado (y no sabía que estaba muerta), por ejemplo.