Runway Research acaba de anunciar su próximo modelo de IA generativa, Gen-2, que brinda a los creativos la capacidad de transformar palabras en videos.
El modelo de generación de video Gen-2 de Runaway se basa en «un conjunto de datos interno de 240 millones de imágenes y un conjunto de datos personalizado de 6,4 millones de videoclips». En otras palabras, el conjunto de datos es enorme, aunque no hay indicios de si este conjunto de datos personalizado se creó raspando la web. (se abre en una pestaña nueva) para el trabajo de los videógrafos. Tal vez no sea lo mejor para usar si planea monetizar su contenido generado.
Aún así, Runway parece una evolución bastante poderosa de la herramienta Gen-1 que muchos ya están usando para guiones gráficos y visuales de preproducción. Es similar al generador de video AI de Meta (se abre en una pestaña nueva) aunque el modelo Gen-2 parece haber agregado algunos modos realmente interesantes.
Pronto, la herramienta le permitirá generar videos solo a través de texto. No solo eso, hay algunos otros modos que la compañía está agregando a su plétora de herramientas de edición de video, incluido uno que funcionará alimentando al algoritmo con un videoclip y que puede volver a trabajar en otros estilos, etc.
Un ejemplo emocionante en el video teaser (se abre en una pestaña nueva) muestra una toma panorámica de unos libros sobre una mesa. El modelo Gen-2 lo ha transformado en una escena urbana nocturna donde los libros se han convertido en rascacielos y, aunque no es la toma más realista, parece ser una poderosa herramienta para visualizar ideas.
Genera videos con nada más que palabras. Si puede decirlo, ahora puede verlo. Introducción, texto a video. Con Gen-2. Obtenga más información en https://t.co/PsJh664G0Q pic.twitter.com/6qEgcZ9QV420 de marzo de 2023
El trabajo de investigación adjunto (se abre en una pestaña nueva) entra en muchos más detalles sobre el proceso. Ha recorrido un largo camino desde su concepción y está claro en el video teaser que el factor de realismo de su producción ha experimentado un gran aumento, aunque todavía queda mucho camino por recorrer antes de que podamos generar una película de Half-Life de largometraje, por ejemplo.
Será interesante ver cómo funciona y el tipo de cambios que hará en la industria a medida que estos modelos se vuelvan cada vez más avanzados. Como dice Runway en su página acerca de «Creemos que las técnicas de aprendizaje profundo aplicadas al contenido audiovisual cambiarán para siempre el arte, la creatividad y las herramientas de diseño».
cuando te registras (se abre en una pestaña nueva) a Runaway, se le presentará la opción de obtener el plan gratuito más algunas versiones pagas, aunque no parece haber una opción para registrar interés en el modelo Gen-2 en este momento. Una inmersión en el canal Discord reveló que es probable que la compañía lance Gen-2 como una versión beta abierta y paga, pero actualmente está un poco abrumado por el interés.
Con suerte, Gen-2 vendrá con la capacidad de entrenar su propio generador de video AI personalizado, tanto como pueda con muchos modelos de imagen.
Si no has leído el artículo de Dave en el que explica el proceso de formación de un modelo de Difusión en el arte de su tío (se abre en una pestaña nueva), puede ser un proceso bastante arduo, aunque muy gratificante. Con suerte, Runway hará que el proceso sea un poco más fácil.