ZenML quiere ser el pegamento que haga que todas las herramientas de inteligencia artificial de código abierto se mantengan juntas. Este marco de código abierto le permite crear canales que serán utilizados por científicos de datos, ingenieros de aprendizaje automático e ingenieros de plataformas para colaborar y crear nuevos modelos de IA.
La razón por la que ZenML es interesante es que permite a las empresas construir sus propios modelos privados. Por supuesto, es probable que las empresas no creen un competidor de GPT 4. Pero podrían construir modelos más pequeños que funcionen particularmente bien para sus necesidades. Y reduciría su dependencia de los proveedores de API, como OpenAI y Anthropic.
“La idea es que, una vez que termine la primera ola de publicidad con todos usando OpenAI o API de código cerrado, [ZenML] permitirá a las personas construir su propia pila”, me dijo Louis Coppey, socio de la firma de capital riesgo Point Nine.
A principios de este año, ZenML planteó una extensión de su ronda inicial de Point Nine con la participación del inversor existente Crane. En total, la startup con sede en Munich, Alemania, ha obtenido 6,4 millones de dólares desde su creación.
Adam Probst y Hamza Tahir, los fundadores de ZenML, trabajaron juntos anteriormente en una empresa que estaba construyendo canales de ML para otras empresas de una industria específica. «Día tras día, necesitábamos crear modelos de aprendizaje automático y poner el aprendizaje automático en producción», me dijo el director ejecutivo de ZenML, Adam Probst.
A partir de este trabajo, el dúo comenzó a diseñar un sistema modular que se adaptaría a diferentes circunstancias, entornos y clientes para que no tuvieran que repetir el mismo trabajo una y otra vez; esto llevó a ZenML.
Al mismo tiempo, los ingenieros que se inician en el aprendizaje automático podrían obtener una ventaja utilizando este sistema modular. El equipo de ZenML llama a este espacio MLOps; es un poco como DevOps, pero aplicado al ML en particular.
“Estamos conectando las herramientas de código abierto que se centran en pasos específicos de la cadena de valor para construir un canal de aprendizaje automático (todo lo que está detrás de los hiperescaladores, es decir, todo lo que está detrás de AWS y Google) y también las soluciones locales. ”, dijo Probst.
El concepto principal de ZenML son las canalizaciones. Cuando escribe una canalización, puede ejecutarla localmente o implementarla utilizando herramientas de código abierto como Airflow o Kubeflow. También puede aprovechar los servicios administrados en la nube, como EC2, Vertex Pipelines y Sagemaker. ZenML también se integra con herramientas de aprendizaje automático de código abierto de Hugging Face, MLflow, TensorFlow, PyTorch, etc.
«ZenML es una especie de cosa que reúne todo en una única experiencia unificada: es de múltiples proveedores, de múltiples nubes», dijo el CTO de ZenML, Hamza Tahir. Aporta conectores, observabilidad y auditabilidad a los flujos de trabajo de ML.
La compañía lanzó por primera vez su marco en GitHub como una herramienta de código abierto. El equipo ha acumulado más de 3000 estrellas en la plataforma de codificación. ZenML también comenzó recientemente a ofrecer una versión en la nube con servidores administrados; pronto llegarán activadores para integraciones e implementación continuas (CI/CD).
Algunas empresas han estado utilizando ZenML para casos de uso industrial, sistemas de recomendación de comercio electrónico, reconocimiento de imágenes en un entorno médico, etc. Entre sus clientes se incluyen Rivian, Playtika y Leroy Merlin.
Modelos privados y específicos de la industria
El éxito de ZenML dependerá de cómo evolucione el ecosistema de IA. En este momento, muchas empresas están agregando funciones de IA aquí y allá consultando la API de OpenAI. En este producto, ahora tiene un nuevo botón mágico que puede resumir grandes fragmentos de texto. En ese producto, ahora tiene respuestas escritas previamente para las interacciones de atención al cliente.
“OpenAI tendrá futuro, pero creemos que la mayor parte del mercado tendrá que tener su propia solución” Adam Probst
Pero hay un par de problemas con estas API: son demasiado sofisticadas y caras. “OpenAI, o estos grandes modelos de lenguaje creados a puerta cerrada, están diseñados para casos de uso generales, no para casos de uso específicos. Por lo tanto, actualmente está demasiado capacitado y es demasiado costoso para casos de uso específicos”, afirmó Probst.
“OpenAI tendrá futuro, pero creemos que la mayoría del mercado tendrá que tener su propia solución. Y es por eso que el código abierto les resulta tan atractivo”, añadió.
El director ejecutivo de OpenAI, Sam Altman, también cree que los modelos de IA no serán una situación única para todos. “Creo que ambos tienen un papel importante. Estamos interesados en ambos y el futuro será un híbrido de ambos”, dijo Altman al responder una pregunta sobre modelos pequeños y especializados versus modelos amplios durante una sesión de preguntas y respuestas en la Estación F a principios de este año.
También existen implicaciones éticas y legales con el uso de la IA. La regulación todavía está evolucionando mucho en tiempo real, pero la legislación europea en particular podría alentar a las empresas a utilizar modelos de IA entrenados en conjuntos de datos muy específicos y de maneras muy específicas.
«Gartner dice que el 75% de las empresas están pasando de [proofs of concept] a producción en 2024. Así que los próximos dos años serán probablemente algunos de los momentos más trascendentales en la historia de la IA, en los que finalmente entraremos en producción utilizando probablemente una combinación de modelos fundamentales de código abierto ajustados a partir de datos patentados”, Tahir me dijo.
«El valor de MLOps es que creemos que el 99% de los casos de uso de IA serán impulsados por modelos más especializados, más baratos y más pequeños que se entrenarán internamente», añadió más adelante en la conversación.
Créditos de imagen: ZenML