Hay muchas cosas que pueden salir mal con GenAI, especialmente GenAI de terceros. Inventa cosas. Es parcial y tóxico. Y puede infringir las normas de derechos de autor. Según una encuesta reciente del MIT Sloan Management Review y Boston Consulting Group, las herramientas de inteligencia artificial de terceros son responsables de más del 55 % de las fallas relacionadas con la inteligencia artificial en las organizaciones.
Por lo tanto, no es sorprendente que algunas empresas se muestren cautelosas a la hora de adoptar esta tecnología por el momento.
Pero, ¿y si GenAI viniera con garantía?
Esa es la idea de negocio que se le ocurrió a Karthik Ramakrishnan, empresario e ingeniero eléctrico, hace varios años mientras trabajaba en Deloitte como gerente senior. Cofundó dos empresas que priorizaban la IA, Gallop Labs y Blu Trumpet, y finalmente se dio cuenta de que la confianza (y la capacidad de cuantificar el riesgo) estaba frenando la adopción de la IA.
«En este momento, casi todas las empresas están buscando formas de implementar la IA para aumentar la eficiencia y mantenerse al día con el mercado», dijo Ramakrishnan a TechCrunch en una entrevista por correo electrónico. «Para hacer esto, muchos están recurriendo a proveedores externos e implementando sus modelos de IA sin una comprensión completa de la calidad de los productos… La IA avanza a un ritmo tan rápido que los riesgos y daños siempre están evolucionando».
Entonces Ramakrishnan se asoció con Dan Adamson, un experto en algoritmos de búsqueda y dos veces fundador de una startup, para iniciar Armilla AI, que ofrece garantías sobre modelos de IA a clientes corporativos.
Quizás se pregunte cómo puede Armilla hacer esto, dado que la mayoría de los modelos son cajas negras o están protegidos por licencias, suscripciones y API. Tenía la misma pregunta. La respuesta de Ramakrishnan fue la evaluación comparativa y un enfoque cuidadoso para la adquisición de clientes.
Armilla toma un modelo, ya sea de código abierto o propietario, y realiza evaluaciones para “verificar su calidad”, basándose en el panorama regulatorio global de la IA. La empresa realiza pruebas de aspectos como alucinaciones, prejuicios y equidad racial y de género, solidez general y seguridad en una variedad de aplicaciones teóricas y casos de uso, aprovechando su tecnología de evaluación interna.
Créditos de imagen: armilla
Si el modelo pasa la revisión, Armilla lo respalda con su garantía, que reembolsa al comprador del modelo cualquier tarifa que haya pagado por usarlo.
«Lo que realmente ofrecemos a las empresas es confianza en la tecnología que adquieren de proveedores externos de IA», afirmó Ramakrishnan. “Las empresas pueden acudir a nosotros y pedirnos que realicemos evaluaciones de los proveedores que desean utilizar. Al igual que las pruebas de penetración que harían para las nuevas tecnologías, nosotros realizamos pruebas de penetración para la IA”.
Por cierto, le pregunté a Ramakrishnan si había algún modelo de Armilla. no lo haría prueba por razones éticas, digamos un algoritmo de reconocimiento facial de un proveedor conocido por hacer negocios con actores cuestionables. Él dijo:
“No sólo sería contrario a nuestra ética, sino también a nuestro modelo de negocio, que se basa en la confianza, producir evaluaciones e informes que proporcionen una confianza falsa en modelos de IA que son problemáticos para un cliente y la sociedad. Desde un punto de vista legal, no vamos a contratar clientes para modelos que están prohibidos por la UE, que han sido prohibidos, como es el caso de algunos sistemas de reconocimiento facial y de categorización biométrica, por ejemplo, sino aplicaciones que entran en el categoría de ‘mayor riesgo’ según lo define la Ley de IA de la UE, sí”.
Ahora bien, el concepto de garantías y cobertura de póliza para la IA no es nuevo, un hecho que, francamente, sorprendió a este autor. En 2018, Munich Re presentó un producto de seguros, aiSure, diseñado para proteger contra pérdidas de modelos de IA potencialmente poco confiables ejecutando los modelos a través de puntos de referencia similares a los de Armilla. Además de las garantías, un número cada vez mayor de proveedores, incluidos OpenAI, Microsoft y AWS, ofrecen protecciones relacionadas con violaciones de derechos de autor que puedan surgir del despliegue de sus herramientas de IA.
Pero Ramakrishnan afirma que el enfoque de Armilla es único.
«Nuestra evaluación abarca una amplia gama de áreas, incluidos KPI, procesos, desempeño, calidad de los datos y criterios cualitativos y cuantitativos, y lo hacemos a una fracción del costo y el tiempo», agregó. “Evaluamos los modelos de IA en función de los requisitos establecidos en la legislación, como la Ley de IA de la UE o la ley de sesgo en la contratación de IA en la Ciudad de Nueva York (Ley Local 144 de la Ciudad de Nueva York) y otras regulaciones estatales, como la regulación de pruebas cuantitativas de IA propuesta por Colorado o la circular de seguros de Nueva York sobre el uso de IA en la suscripción o fijación de precios. También estamos listos para realizar las evaluaciones requeridas por otras regulaciones emergentes a medida que entren en juego, como la Ley de Datos e Inteligencia Artificial de Canadá”.
Armilla, que lanzó la cobertura a finales de 2023, respaldada por los operadores Swiss Re, Greenlight Re y Chaucer, afirma tener aproximadamente 10 clientes, incluida una empresa de atención médica que aplica GenAI para procesar registros médicos. Ramakrishnan me dice que la base de clientes de Armilla ha crecido dos veces mes tras mes desde el cuarto trimestre de 2023.
«Atendemos a dos audiencias principales: empresas y proveedores externos de IA», dijo Ramakrishnan. “Las empresas utilizan nuestra garantía para establecer protección para los proveedores externos de IA que contratan. Los proveedores externos utilizan nuestra garantía como sello de aprobación de que su producto es confiable, lo que ayuda a acortar sus ciclos de ventas”.
Las garantías para la IA tienen sentido intuitivo. Pero una parte de mí se pregunta si Armilla será capaz de mantenerse al día con la política de IA que cambia rápidamente (por ejemplo, la ley de sesgo de algoritmos de contratación de la ciudad de Nueva York, la Ley de IA de la UE, etc.), lo que podría ponerlo en peligro de recibir pagos considerables si su Las evaluaciones (y los contratos) no son a prueba de balas.
Ramakrishnan hizo a un lado esta preocupación.
“La regulación se está desarrollando rápidamente en muchas jurisdicciones de forma independiente”, afirmó, “y será fundamental comprender los matices de la legislación en todo el mundo. No existe una «talla única» que podamos aplicar como estándar global, por lo que debemos unirlo todo. Esto es un desafío, pero tiene el beneficio de crear un ‘foso’ para nosotros”.
Armilla, con sede en Toronto y 13 empleados, recaudó recientemente 4,5 millones de dólares en una ronda inicial liderada por Mistral (que no debe confundirse con la startup de inteligencia artificial del mismo nombre) con la participación de Greycroft, Differential Venture Capital, Mozilla Ventures, Betaworks Ventures, MS&AD Ventures, 630 Ventures, Morgan Creek Digital, Y Combinator, Greenlight Re y Chaucer. Ramakrishnan, que eleva el total recaudado a 7 millones de dólares, dijo que las ganancias se destinarán a ampliar la oferta de garantía existente de Armilla, así como a introducir nuevos productos.
«Los seguros desempeñarán el papel más importante a la hora de abordar el riesgo de la IA, y Armilla está a la vanguardia del desarrollo de productos de seguros que permitirán a las empresas implementar soluciones de IA de forma segura», afirmó Ramakrishnan.