Kolena, una startup que crea herramientas para probar, comparar y validar el rendimiento de modelos de IA, anunció hoy que recaudó 15 millones de dólares en una ronda de financiación liderada por Lobby Capital con la participación de SignalFire y Bloomberg Beta.
El nuevo efectivo eleva el total recaudado por Kolena a $21 millones y se destinará a hacer crecer el equipo de investigación de la compañía, asociarse con organismos reguladores y expandir los esfuerzos de ventas y marketing de Kolena, dijo el cofundador y director ejecutivo Mohamed Elgendy a TechCrunch en una entrevista por correo electrónico.
«Los casos de uso de la IA son enormes, pero la IA carece de la confianza tanto de los constructores como del público», afirmó Elgendy. “Esta tecnología debe implementarse de manera que mejore, no peor, las experiencias digitales. El genio no volverá a la botella, pero como industria podemos asegurarnos de pedir los deseos correctos”.
Elgendy lanzó Kolena en 2021 con Andrew Shi y Gordon Hart, con quienes había trabajado durante unos seis años en divisiones de inteligencia artificial dentro de empresas como Amazon, Palantir, Rakuten y Synapse. A través de Kolena, el trío buscó construir un «marco de calidad de modelo» que ofreciera pruebas unitarias y pruebas de extremo a extremo para modelos en un paquete personalizable y amigable para las empresas.
«En primer lugar, queríamos proporcionar un nuevo marco para la calidad de los modelos, no sólo una herramienta que simplifique los enfoques actuales», dijo Elgendy. “Kolena permite ejecutar continuamente pruebas unitarias o a nivel de escenario. También proporciona pruebas de un extremo a otro de todo el producto de inteligencia artificial y aprendizaje automático, no solo de sus subcomponentes”.
Con este fin, Kolena puede proporcionar información para identificar lagunas en la cobertura de datos de pruebas del modelo de IA, afirma Elgendy. Y la plataforma incorpora funciones de gestión de riesgos que ayudan a rastrear los riesgos asociados con el despliegue de un sistema de IA determinado (o sistemas, según sea el caso). Al utilizar la interfaz de usuario de Kolena, los usuarios pueden crear casos de prueba para evaluar el rendimiento de un modelo y ver las posibles razones por las que un modelo tiene un rendimiento inferior al comparar su rendimiento con otros modelos.
«Con Kolena, los equipos pueden gestionar y ejecutar pruebas para escenarios específicos que el producto de IA tendrá que afrontar, en lugar de aplicar una métrica ‘agregada’ general como una puntuación de precisión, que puede oscurecer los detalles del rendimiento de un modelo», dijo Elgendy. . “Por ejemplo, un modelo con un 95% de precisión en la detección de automóviles no es necesariamente mejor que uno con un 89% de precisión. Cada uno tiene sus propias fortalezas y debilidades, por ejemplo, detectar automóviles en diferentes condiciones climáticas o niveles de oclusión, detectar la orientación de un automóvil, etc.
Si Kolena funciona como se anuncia, podría resultar útil para los científicos de datos que dedican mucho tiempo a crear modelos para impulsar aplicaciones de inteligencia artificial.
Créditos de imagen: kolena
Según una encuesta, los ingenieros de IA informan que dedican solo el 20% de su tiempo a analizar y desarrollar modelos, y el resto se destina a obtener y limpiar los datos utilizados para entrenarlos. Otro informe encuentra que, debido a los desafíos que implica desarrollar modelos precisos y de alto rendimiento, solo alrededor del 54% de los modelos finalmente pasan del piloto a la producción.
Pero hay otros actores que crean herramientas para probar, monitorear y validar modelos. Más allá de empresas tradicionales como Amazon, Google y Microsoft, una gran cantidad de nuevas empresas están poniendo a prueba enfoques novedosos para medir la precisión de los modelos antes (y después) de que entren en producción.
Prolific recaudó recientemente 32 millones de dólares para su plataforma para entrenar y probar modelos de IA utilizando una red colaborativa de probadores. Mientras tanto, Robust Intelligence y Deepchecks están creando sus propios conjuntos de herramientas para que las empresas eviten que los modelos de IA fallen y los validen continuamente. Y Bobidi está recompensando a los desarrolladores por probar los modelos de IA de las empresas.
Pero Elgendy sostiene que la plataforma de Kolena es una de las pocas que permite a los clientes tomar «control total» sobre los tipos de datos, la lógica de evaluación y otros componentes que componen una prueba de modelo de IA. También destaca el enfoque de privacidad de Kolena, que elimina la necesidad de que los clientes suban sus datos o modelos a la plataforma; Kolena solo almacena los resultados de las pruebas del modelo para futuras evaluaciones comparativas, que pueden eliminarse si se solicita.
«Minimizar el riesgo de un sistema de inteligencia artificial y aprendizaje automático requiere pruebas rigurosas antes de su implementación, pero las empresas no cuentan con herramientas o procesos sólidos en torno a la validación de modelos», dijo Elgendy. Las pruebas de modelos ad hoc son la norma hoy en día y, desafortunadamente, también lo son las pruebas de conceptos fallidas del aprendizaje automático. Kolena se centra en una evaluación de modelos integral y exhaustiva. Brindamos a los gerentes de aprendizaje automático, gerentes de producto y ejecutivos una visibilidad incomparable de la cobertura de pruebas de un modelo y los requisitos funcionales específicos del producto, permitiéndoles influir de manera efectiva en la calidad del producto desde el principio”.
Kolena, con sede en San Francisco, que tiene 28 empleados a tiempo completo, no quiso compartir la cantidad de clientes con los que trabaja actualmente. Pero Elgendy dijo que la compañía está adoptando un «enfoque selectivo» para asociarse con empresas «de misión crítica» por ahora, y planea implementar paquetes de equipos para organizaciones medianas y nuevas empresas de inteligencia artificial en etapa inicial en el segundo trimestre de 2024.