Meta de Mark Zuckerberg no es la única compañía que desarrolla un programa impulsado por IA que puede generar video a partir de entradas de texto. Google también ha estado trabajando en uno.
El miércoles, los investigadores del laboratorio de IA de la compañía, Google Brain, debutó(Se abre en una nueva ventana) Imagen Vídeo(Se abre en una nueva ventana), un programa que puede crear videoclips de aspecto realista a partir de una entrada de texto. El sistema amplía la Imagen original de Google(Se abre en una nueva ventana) programa moviéndose más allá de las imágenes fijas a las imágenes en movimiento, lo que da como resultado videos creativos que se mantienen en gran medida consistentes en cada cuadro.
“Encontramos que Imagen Video no solo es capaz de generar videos de alta fidelidad, sino que también tiene un alto grado de control y conocimiento del mundo, incluida la capacidad de generar diversos videos y animaciones de texto en varios estilos artísticos y con comprensión de objetos 3D”, investigadores de Google. escribió(Se abre en una nueva ventana) en un papel
Imagen Video puede crear videos de 5,3 segundos con una resolución de 1.280 x 768 que se ejecutan a 24 fotogramas por segundo. Los investigadores de Google desarrollaron el programa entrenando sus modelos de computadora para identificar videos e imágenes fijas, que ya estaban etiquetadas con una descripción de texto. Imagen Video luego intenta replicar esas imágenes en forma de video cuando se le da un mensaje de texto.
(Crédito: Imagen Vídeo)
“Si bien el entrenamiento con datos de video naturales solo permite que el modelo aprenda dinámicas en entornos naturales, el modelo puede aprender sobre diferentes estilos de imagen (como bocetos, pintura, etc.) al entrenar con imágenes”, agregó el documento. “Como resultado, este entrenamiento conjunto permite que el modelo genere dinámicas de video interesantes en diferentes estilos”.
En total, Imagen Video se entrenó en un «conjunto de datos interno» compuesto por 14 millones de videos y 60 millones de imágenes fijas, junto con otros 400 millones de imágenes en el conjunto de datos abierto LAION-400M. Los investigadores descubrieron que el programa era lo suficientemente inteligente como para comprender objetos y configuraciones tridimensionales, «ya que es capaz de generar videos de objetos que giran mientras conservan la estructura».
Dicho esto, los resultados pueden estar lejos de ser perfectos. Los investigadores de Google subieron algunos de los videos que ha creado el programa y, como puede ver, tendrá dificultades para representar con precisión movimientos complejos, como un oso panda comiendo bambú o barcos navales moviéndose en el mar.
Recomendado por Nuestros Editores
Aún así, está claro que Imagen Video podría desbloquear una era completamente nueva en la creación de videos. El programa también puede producir los videoclips en menos de un minuto. Pero por ahora, los investigadores de Google se abstienen de lanzar la tecnología al público. El equipo ya agregó medidas de seguridad para evitar que Imagen Video cree «contenido falso, odioso, explícito o dañino». Pero los investigadores todavía están preocupados por la tecnología que promueve los estereotipos, dado que fue entrenada en un conjunto de datos limitado de videos e imágenes.
“Si bien nuestras pruebas internas sugieren que gran parte del contenido explícito y violento se puede filtrar, todavía existen prejuicios y estereotipos sociales que son difíciles de detectar y filtrar. Hemos decidido no lanzar el modelo de Imagen Video o su código fuente hasta que se mitiguen estas preocupaciones”, escribieron los investigadores.
Meta, por otro lado, planea eventualmente lanzar su propio generador de texto a video al público una vez que se realicen más pruebas. Sin embargo, todos los videos creados con el programa contendrán una marca de agua.
¡Obtenga nuestras mejores historias!
Matricularse en ¿Qué hay de nuevo ahora? para recibir nuestras mejores historias en su bandeja de entrada todas las mañanas.
Este boletín puede contener publicidad, ofertas o enlaces de afiliados. Suscribirse a un boletín informativo indica su consentimiento a nuestros Términos de uso y Política de privacidad. Puede darse de baja de los boletines en cualquier momento.