No hace falta mucho para que GenAI diga falsedades y falsedades.
La semana pasada proporcionó un ejemplo: los chatbots de Microsoft y Google declararon al ganador del Super Bowl incluso antes de que comenzara el juego. Sin embargo, los verdaderos problemas comienzan cuando las alucinaciones de GenAI se vuelven dañinas: respaldan la tortura, refuerzan los estereotipos étnicos y raciales y escriben de manera persuasiva sobre teorías de conspiración.
Un número cada vez mayor de proveedores, desde empresas tradicionales como Nvidia y Salesforce hasta nuevas empresas como CalypsoAI, ofrecen productos que, según afirman, pueden mitigar el contenido tóxico y no deseado de GenAI. Pero son cajas negras; A falta de probar cada uno de ellos de forma independiente, es imposible saber cómo se comparan estos productos para combatir las alucinaciones y si realmente cumplen con lo que dicen.
Shreya Rajpal vio esto como un problema importante y fundó una empresa, Guardrails AI, para intentar resolverlo.
«La mayoría de las organizaciones… están luchando con el mismo conjunto de problemas relacionados con la implementación responsable de aplicaciones de IA y luchando por descubrir cuál es la mejor y más eficiente solución», dijo Rajpal a TechCrunch en una entrevista por correo electrónico. «A menudo terminan reinventando la rueda en términos de gestionar el conjunto de riesgos que son importantes para ellos».
En opinión de Rajpal, las encuestas sugieren que la complejidad (y, por extensión, el riesgo) es una de las principales barreras que se interponen en el camino para que las organizaciones adopten GenAI.
Una encuesta reciente de Cnvrg.io, filial de Intel, encontró que el cumplimiento y la privacidad, la confiabilidad, el alto costo de implementación y la falta de habilidades técnicas eran preocupaciones compartidas por alrededor de una cuarta parte de las empresas que implementaban aplicaciones GenAI. En una encuesta separada de Riskonnect, un proveedor de software de gestión de riesgos, más de la mitad de los ejecutivos dijeron que les preocupaba que los empleados tomaran decisiones basadas en información inexacta de las herramientas GenAI.
Rajpal, que anteriormente trabajó en la startup de conducción autónoma Drive.ai y, después de la adquisición de Drive.ai por parte de Apple, en el grupo de proyectos especiales de Apple, cofundó Guardrails con Diego Oppenheimer, Safeer Mohiuddin y Zayd Simjee. Oppenheimer anteriormente dirigió Algorithmia, una plataforma de operaciones de aprendizaje automático, mientras que Mohiuddin y Simjee ocuparon puestos líderes de tecnología e ingeniería en AWS.
En cierto modo, lo que ofrece Guardrails no es tan diferente de lo que ya hay en el mercado. La plataforma de la startup actúa como un envoltorio alrededor de los modelos GenAI, específicamente los modelos de generación de texto de código abierto y propietarios (por ejemplo, GPT-4 de OpenAI), para hacer que esos modelos sean ostensiblemente más dignos de confianza, confiables y seguros.
Créditos de imagen: Barandillas AI
Pero lo que diferencia a Guardrails es su modelo de negocio de código abierto (el código base de la plataforma está disponible en GitHub, de uso gratuito) y su enfoque de colaboración abierta.
A través de un mercado llamado Guardrails Hub, Guardrails permite a los desarrolladores enviar componentes modulares llamados «validadores» que analizan los modelos GenAI en busca de ciertas métricas de comportamiento, cumplimiento y rendimiento. Otros desarrolladores y clientes de Guardrails pueden implementar, reutilizar y reutilizar los validadores, lo que sirve como base para soluciones personalizadas de moderación de modelos GenAI.
“Con el Hub, nuestro objetivo es crear un foro abierto para compartir conocimientos y encontrar la manera más efectiva de [further] Adopción de IA, pero también construir un conjunto de barreras de seguridad reutilizables que cualquier organización pueda adoptar”, dijo Rajpal.
Los validadores en Guardrails Hub van desde simples comprobaciones basadas en reglas hasta algoritmos para detectar y mitigar problemas en los modelos. Actualmente hay alrededor de 50, que van desde detectores de alucinaciones y violaciones de políticas hasta filtros para información privada y códigos inseguros.
«La mayoría de las empresas realizarán controles amplios y uniformes para detectar malas palabras, información de identificación personal, etc.», dijo Rajpal. “Sin embargo, no existe una definición única y universal de lo que constituye un uso aceptable para una organización y un equipo específicos. Hay riesgos específicos de la organización que deben ser rastreados; por ejemplo, las políticas de comunicaciones entre organizaciones son diferentes. Con Hub, permitimos que las personas usen las soluciones que brindamos listas para usar o las usen para obtener una solución de punto de partida sólida que pueden personalizar aún más según sus necesidades particulares”.
Un centro para barandillas modelo es una idea intrigante. Pero el escéptico que hay en mí se pregunta si los desarrolladores se molestarán en contribuir a una plataforma (y, además, una plataforma incipiente) sin la promesa de algún tipo de compensación.
Rajpal es de la opinión optimista de que lo harán, aunque sólo sea por el reconocimiento y por ayudar desinteresadamente a la industria a construir una GenAI “más segura”.
«El Hub permite a los desarrolladores ver los tipos de riesgos que enfrentan otras empresas y las barreras que están implementando para resolver y mitigar esos riesgos», agregó. «Los validadores son una implementación de código abierto de esas barreras de seguridad que las organizaciones pueden aplicar a sus casos de uso».
Guardrails AI, que aún no cobra por ningún servicio o software, recaudó recientemente $ 7,5 millones en una ronda inicial liderada por Zetta Venture Partners con la participación de Factory, Pear VC, Bloomberg Beta, GitHub Fund y ángulos que incluyen al renombrado experto en IA Ian Goodfellow. Rajpal dice que las ganancias se destinarán a ampliar el equipo de seis personas de Guardrails y a proyectos adicionales de código abierto.
«Hablamos con muchas personas (empresas, pequeñas empresas emergentes y desarrolladores individuales) que no pueden enviar aplicaciones GenAI debido a la falta de seguridad y la mitigación de riesgos necesaria», continuó. “Este es un problema novedoso que no ha existido a esta escala, debido a la llegada de ChatGPT y los modelos básicos en todas partes. Queremos ser nosotros quienes solucionemos este problema”.