La generación de vídeo impulsada por IA es un mercado de moda gracias al lanzamiento del modelo Sora por parte de OpenAI el mes pasado. Dos alumnos de DeepMind, Yishu Miao y Ziyu Wang, lanzaron públicamente su herramienta de generación de videos Haiper con su propio modelo de inteligencia artificial debajo.
Miao, que anteriormente trabajó en TikTok en el equipo Global Trust & Safety, y Wang, que trabajó como científico investigador tanto para DeepMind como para Google, comenzaron a trabajar en la empresa en 2021 y la incorporaron formalmente en 2022.
Ambos tienen experiencia en aprendizaje automático y comenzaron a trabajar en el problema de la reconstrucción 3D utilizando redes neuronales. Después de entrenar con datos de video, Miao mencionó a TechCrunch en una llamada que descubrieron que la generación de video era un problema más fascinante que la reconstrucción 3D. Es por eso que Haiper terminó centrándose en la generación de vídeo hace aproximadamente seis meses.
Haiper ha levantado 13,8 millones de dólares en una ronda inicial liderada por Empresas de pulpo con participación de Capital a 5 años. Antes de eso, ángeles como Phil Blunsom y Nando de Freitas ayudó a la empresa a recaudar una ronda previa a la semilla de 5,4 millones de dólares en abril de 2022.
Servicio de generación de video
Los usuarios pueden ir al sitio de Haiper y comenzar a generar videos de forma gratuita escribiendo mensajes de texto. Sin embargo, existen ciertas limitaciones. Sólo puedes generar un vídeo HD de dos segundos y un vídeo de calidad ligeramente inferior, de hasta cuatro segundos.
Créditos de imagen: Haiper
El sitio también tiene funciones como animar tu imagen y volver a pintar tu video con un estilo diferente. Además, la empresa está trabajando para introducir capacidades como la posibilidad de ampliar un vídeo.
Miao dijo que la empresa pretende mantener estas funciones gratuitas para poder construir una comunidad. Señaló que es «demasiado pronto» en el viaje de la startup para pensar en crear un producto de suscripción en torno a la generación de vídeo. Sin embargo, ha colaborado con empresas como JD.com para explorar casos de uso comercial.
Usamos una de las indicaciones originales de Sora para generar un video de muestra: “Varios mamuts lanudos gigantes se acercan caminando por un prado nevado, su largo pelaje lanudo ondea ligeramente con el viento mientras caminan, árboles cubiertos de nieve y espectaculares montañas cubiertas de nieve en la distancia, la luz de media tarde con tenues nubes y un sol alto en la distancia crean un brillo cálido, la vista baja de la cámara es impresionante y captura al gran mamífero peludo con hermosas fotografías y profundidad de campo”.
Construyendo un modelo de video central
Si bien Haiper se centra actualmente en su sitio web orientado al consumidor, quiere construir un modelo central de generación de video que pueda ofrecerse a otros. La empresa no ha hecho público ningún detalle sobre el modelo.
Miao dijo que se comunicó en privado con un grupo de desarrolladores para probar su API cerrada. Espera que los comentarios de los desarrolladores sean muy importantes y que la empresa repita el modelo rápidamente. Haiper también ha pensado en abrir el código fuente de sus modelos para permitir que las personas exploren diferentes casos de uso.
El CEO cree que actualmente es importante resolver el problema del valle inquietante, un fenómeno que evoca sentimientos espeluznantes cuando la gente ve figuras parecidas a humanas generadas por IA, en la generación de videos.
«No estamos trabajando para resolver problemas en el área de contenido y estilo, pero estamos intentando trabajar en cuestiones fundamentales como cómo se ven los humanos generados por IA mientras caminan o caen nieve», dijo.
La empresa cuenta actualmente con alrededor de 20 empleados y está contratando activamente para múltiples funciones en ingeniería y marketing.
Competición por delante
Sora, recientemente lanzado por OpenAI, es probablemente el competidor más popular de Haiper en este momento. Sin embargo, hay otros actores como Google y Runway, respaldada por Nvidia, que ha recaudado más de 230 millones de dólares en financiación. Google y Meta también tienen sus propios modelos de generación de vídeo. El año pasado, Stability AI anunció el modelo Stable Diffusion Video en una vista previa de la investigación.
Rebecca Hunt, socia de Octopus Ventures, cree que en los próximos tres años Haiper tendrá que construir un modelo sólido de generación de vídeo para lograr diferenciarse en este mercado.
“En realidad, sólo hay un puñado de personas en condiciones de lograrlo; Ésta es una de las razones por las que queríamos respaldar al equipo de Haiper. Una vez que los modelos lleguen a un punto que trascienda el valle inquietante y refleje el mundo real y toda su física, habrá un período en el que las aplicaciones serán infinitas”, dijo a TechCrunch por correo electrónico.
Si bien los inversores buscan invertir en nuevas empresas de generación de videos impulsadas por inteligencia artificial, también creen que la tecnología todavía tiene mucho margen de mejora.
“Parece como si el vídeo con IA estuviera al nivel GPT-2. Hemos logrado grandes avances durante el último año, pero todavía queda un camino por recorrer antes de que los consumidores cotidianos utilicen estos productos a diario. ¿Cuándo llegará el ‘momento ChatGPT’ para vídeo?” Justine Moore de a16z escribió el año pasado.
El artículo mencionado anteriormente Geoffrey Hinton como inversor ángel. Si bien Hinton ha trabajado con los fundadores de la startup antes de su creación, no participa como inversor.