Un nuevo modelo de lenguaje generador de texto, que combina el propio modelo PaLM de Google y una técnica conocida como aprendizaje reforzado con retroalimentación humana para crear un fuente abierta herramienta que, en teoría, puede hacer todo lo que ChatGPT de OpenAI puede hacer.
Para la mayoría, sin embargo, esto seguirá siendo una teoría. A diferencia de ChatGPT, el desarrollador de IA Philip Wang Palma de la mano + RLHF (se abre en una pestaña nueva) no viene entrenado en ningún dato de texto requerido para que el modelo aprenda. Los usuarios deben compilar sus propios corpus de datos y usar su propio hardware para entrenar el modelo y procesar las solicitudes.
Los modelos de generación de texto que responden a entradas humanas, como ChatGPT y PaLM + RLHF, son la última moda en inteligencia artificial. En pocas palabras, predicen las palabras apropiadas después de aprender patrones semánticos de un conjunto de datos existente, que podría consistir en cualquier cosa, desde libros electrónicos hasta guerras de llamas en Internet.
Creando inteligencia artificial accesible
A pesar de que PaLM + RLHF llega preentrenado, la técnica de aprendizaje por refuerzo con retroalimentación humana está diseñada para producir una experiencia de usuario más intuitiva.
Como lo explica TechCrunch (se abre en una pestaña nueva), RLHF entrena un modelo de lenguaje mediante la producción de una amplia gama de respuestas a un aviso humano, que luego son clasificadas por voluntarios humanos. Esas clasificaciones luego se utilizan para entrenar un «modelo de recompensa», que ordena las respuestas por orden de preferencia.
Este no es un proceso barato, lo que evitará que todos los entusiastas de la IA, excepto los más ricos, entrenen el modelo. PaLM tiene 540 mil millones de componentes del modelo de lenguaje (o parámetros) que deben ser entrenados en datos, y un 2020 estudiar (se abre en una pestaña nueva) reveló que entrenar solo un modelo de 1600 millones de parámetros costaría entre $80 000 y $1,6 millones.
En este momento, parece que confiamos en un benefactor adinerado para involucrarse, entrenar y lanzar el modelo al público. Tales dependencias no han terminado bien. antes de (se abre en una pestaña nueva)pero existen esfuerzos de otras empresas que buscan replicar las capacidades de ChatGPT y lanzarlas como software gratuito.
Los grupos de investigación CarperAI y EleutherAI se asociaron con las nuevas empresas Scale AI y Hugging Face para lanzar el primer modelo de lenguaje entrenado con comentarios humanos que está listo para funcionar de inmediato.
Y, aunque todavía no está listo, LAION, la empresa que suministró el conjunto de datos de entrenamiento para el modelo de «aprendizaje automático, texto a imagen». Difusión estable (se abre en una pestaña nueva)han creado un proyecto similar en GitHub (se abre en una pestaña nueva) que quiere reemplazar a OpenAI al permitirle usar API, compilar su propia investigación y permitir la personalización del usuario, todo mientras está optimizado para hardware de consumo.