Hugging Face comparte 10 millones de dólares en computación para ayudar a vencer a las grandes empresas de inteligencia artificial


Hugging Face, uno de los nombres más importantes del aprendizaje automático, está comprometiendo 10 millones de dólares en GPU compartidas gratuitas para ayudar a los desarrolladores a crear nuevas tecnologías de inteligencia artificial. El objetivo es ayudar a los pequeños desarrolladores, académicos y nuevas empresas a contrarrestar la centralización de los avances de la IA.

«Tenemos suerte de estar en una posición en la que podemos invertir en la comunidad», dijo el director ejecutivo de Hugging Face, Clem Delangue. El borde. Delangue dijo que la inversión es posible porque Hugging Face es “rentable o casi rentable” y recientemente recaudó 235 millones de dólares en financiaciónvalorando la empresa en 4.500 millones de dólares.

A Delangue le preocupa la capacidad de las nuevas empresas de inteligencia artificial para competir con los gigantes tecnológicos. Los avances más significativos en inteligencia artificial, como GPT-4, los algoritmos detrás de la Búsqueda de Google y el sistema de conducción autónoma total de Tesla, permanecen ocultos dentro de los límites de las principales empresas de tecnología. Estas corporaciones no sólo están incentivadas financieramente para mantener sus modelos patentados, sino que con miles de millones de dólares a su disposición para recursos computacionales, pueden aumentar esas ganancias y competir por delante de sus competidores, haciendo imposible que las nuevas empresas sigan el ritmo.

«Si terminas con unas pocas organizaciones que dominan demasiado, será más difícil luchar contra ellas más adelante».

Hugging Face tiene como objetivo hacer que las tecnologías de inteligencia artificial de última generación sean accesibles para todos, no solo para los gigantes tecnológicos. Hablé con Delangue durante Google I/O, la conferencia insignia del gigante tecnológico, donde los ejecutivos de Google dieron a conocer numerosas funciones de inteligencia artificial para sus productos patentados y incluso una familia de modelos de código abierto -llamó Gema. Para Delangue, el enfoque propietario no es el futuro que imagina.

“Si sigues la ruta del código abierto, llegarás a un mundo en el que la mayoría de las empresas, la mayoría de las organizaciones, la mayoría de las organizaciones sin fines de lucro, los formuladores de políticas y los reguladores también puedan hacer IA. Entonces, una forma mucho más descentralizada sin demasiada concentración de poder, lo que, en mi opinión, es un mundo mejor”, dijo Delangue.

El acceso a la computación plantea un desafío importante en la construcción de grandes modelos de lenguaje, que a menudo favorece a empresas como AbiertoAI y antrópico, que asegura acuerdos con proveedores de nube para importantes recursos informáticos. Hugging Face tiene como objetivo nivelar el campo de juego donando estas GPU compartidas a la comunidad a través de un nuevo programa llamado ZeroGPU.

Las GPU compartidas son accesibles para múltiples usuarios o aplicaciones simultáneamente, lo que elimina la necesidad de que cada usuario o aplicación tenga una GPU dedicada. ZeroGPU estará disponible a través de Hugging Face’s Spaces, una plataforma de alojamiento para publicar aplicaciones, que tiene más de 300.000 demostraciones de IA creadas hasta ahora en CPU o GPU paga, según la compañía.

“Es muy difícil conseguir suficientes GPU de los principales proveedores de la nube”

El acceso a las GPU compartidas está determinado por el uso, por lo que si una parte de la capacidad de la GPU no se utiliza activamente, esa capacidad queda disponible para que otra persona la utilice. Esto los hace rentables, energéticamente eficientes e ideales para su uso en toda la comunidad. ZeroGPU utiliza dispositivos GPU Nvidia A100 para impulsar esta operación, que ofrecen aproximadamente la mitad de la velocidad de cálculo de los populares y más caros H100.

«Es muy difícil conseguir suficientes GPU de los principales proveedores de nube, y la forma de conseguirlas, lo que está creando una gran barrera de entrada, es comprometerse con cantidades muy grandes durante largos períodos de tiempo», dijo Delangue.

Normalmente, una empresa se comprometería con un proveedor de nube como Amazon Web Services durante uno o más años para proteger los recursos de GPU. Este acuerdo pone en desventaja a las pequeñas empresas, los desarrolladores independientes y los académicos que construyen a pequeña escala y no pueden predecir si sus proyectos ganarán terreno. Independientemente del uso, todavía tienen que pagar por las GPU.

«También es una pesadilla de predicción saber cuántas GPU y qué tipo de presupuesto se necesita», dijo Delangue.

Dado que la IA avanza rápidamente a puerta cerrada, el objetivo de Hugging Face es permitir que las personas desarrollen más tecnología de IA al aire libre.

“Si terminas con unas pocas organizaciones que dominan demasiado, será más difícil luchar contra ellas más adelante”, dijo Delangue.

Andrew Reed, ingeniero de aprendizaje automático en Hugging Face, incluso creó una aplicación que visualiza el progreso de los LLM propietarios y de código abierto a lo largo del tiempo según la puntuación del Arena de chatbots LMSYSque muestra la brecha entre los dos cada vez más cerca.

Más de 35.000 variaciones del modelo de inteligencia artificial de código abierto Llama de Meta se han compartido en Hugging Face desde la primera versión de Meta hace un año, que van desde «modelos cuantificados y fusionados hasta modelos especializados en biología y mandarín», según la compañía.

“La IA no debería estar en manos de unos pocos. Con este compromiso con los desarrolladores de código abierto, estamos emocionados de ver lo que todos prepararán a continuación con un espíritu de colaboración y transparencia”, dijo Delangue en un comunicado de prensa.