\n
El texto a video es la pr\u00f3xima gran novedad en IA. Vimos hace un par de semanas lo incre\u00edble (y un poco espeluznante) que era el comercial Pepperoni Hugspot generado por IA. Pizza Later, la persona que desarroll\u00f3 ese video, nos dijo que usaron una herramienta llamada Runway Gen-2 (se abre en una pesta\u00f1a nueva)<\/span> para hacer las im\u00e1genes en movimiento en ese proyecto. Con su motor de texto a video, pudieron dar indicaciones simples como \u00abun hombre, una mujer o una familia felices comiendo una porci\u00f3n de pizza en un restaurante, un comercial de televisi\u00f3n\u00bb y obtener contenido fotorrealista. <\/p>\nAcabo de obtener acceso a la versi\u00f3n beta p\u00fablica de Runway Gen-2 y estoy realmente impresionado por la naturaleza realista de su resultado. Si bien los videos son cortos de solo cuatro segundos cada uno, la calidad de las im\u00e1genes es impresionante y todo funciona mediante el env\u00edo de solicitudes breves a un bot en el servidor Discord de Runway ML.<\/p>\n\nAl enviar unas pocas palabras de texto al bot @Gen-2, pude obtener clips cortos y fotorrealistas (o de estilo de dibujos animados) de todo, desde una familia disfrutando de una cena de sushi hasta un robot con un grave problema con la bebida. El resultado con frecuencia no era exactamente lo que ped\u00ed, pero siempre fue interesante y fue superior al NeuralInternet Text-to-Video Playground sobre el que escrib\u00ed la semana pasada.<\/p>\n
Si bien cualquiera puede unirse al servidor, solo ver\u00e1 la lista de salas de chat Gen-2 una vez que obtenga acceso al programa beta (para el cual muchos est\u00e1n en la lista de espera). Hay algunas salas donde puede chatear y compartir proyectos con otros usuarios y luego hay tres salas llamadas Generar uno, Generar dos y Generar tres donde puede ir para enviar mensajes directamente al bot @Gen-2. Los moderadores lo alientan a seguir emitiendo indicaciones en el mismo hilo para no desordenar cada sala de chat.<\/p>\n
Impulsando la pista Gen-2<\/h2>\n Un aviso de Runway Gen-2 podr\u00eda ser algo as\u00ed como \u00ab@Gen-2 Un robot humanoide borracho que est\u00e1 mirando a la c\u00e1mara y vomitando peque\u00f1os tornillos de su boca\u00bb. El bot responder\u00e1 de inmediato con su mensaje y algunos par\u00e1metros que est\u00e1 usando (por ejemplo, \u00abampliaci\u00f3n\u00bb) que puede cambiar emitiendo un nuevo mensaje (m\u00e1s sobre eso m\u00e1s adelante). Luego, un par de minutos m\u00e1s tarde, obtendr\u00e1 un video de 4 segundos basado en su indicaci\u00f3n. <\/p>\n
As\u00ed es como se ve\u00eda mi robot borracho. Todos los videos se pueden reproducir desde Discord y puede descargarlos como archivos MP4. He convertido por separado todas las muestras de video que se muestran en este art\u00edculo en GIF animados para que podamos verlos m\u00e1s f\u00e1cilmente (y sin anuncios pre-roll). <\/p>\n\n\n
\n
\n<\/div>\n<\/div>(Cr\u00e9dito de la imagen: futuro)<\/span><\/figcaption><\/figure>\nNotar\u00e1s que el clip anterior no era exactamente lo que ped\u00ed. El robot no est\u00e1 vomitando tornillos como pretend\u00eda. En cambio, solo est\u00e1 mirando amenazadoramente una taza de cerveza. Mis otros intentos en este mensaje tampoco fueron exactamente lo que quer\u00eda. Cuando dej\u00e9 la palabra \u00abborracho\u00bb, obtuve un robot que abr\u00eda la boca pero no escup\u00eda nada. <\/p>\n
Uso de im\u00e1genes con indicaciones de Runway Gen-2<\/h2>\n Tambi\u00e9n puede enviar im\u00e1genes al bot copi\u00e1ndolas y peg\u00e1ndolas en Discord junto con el mensaje de texto o colocando la URL de la imagen en el mensaje. Sin embargo, Runway Gen-2 en realidad no usar\u00e1 la imagen que carg\u00f3. Solo se inspirar\u00e1 en la imagen para crear su propio video. Sub\u00ed im\u00e1genes m\u00edas muchas veces y me dieron videos de personas que se parec\u00edan un poco a m\u00ed, pero definitivamente no eran yo.<\/p>\n
Por ejemplo, cuando sub\u00ed una foto m\u00eda y no le di m\u00e1s informaci\u00f3n, mostraba a un hombre calvo de mediana edad con gafas de sol que no era yo, de pie junto a un r\u00edo y algunos edificios. Su boca se movi\u00f3 y el agua se movi\u00f3.<\/p>\n\n\n
\n
(Cr\u00e9dito de la imagen: futuro)<\/span><\/figcaption><\/figure>\nEl bot Runway Gen-2 es mejor para copiar la emoci\u00f3n o el tema de una imagen que proporcionas. Le mostr\u00e9 una imagen de m\u00ed mismo con una mirada de disgusto en mi rostro y pregunt\u00e9 por \u00abeste tipo mirando a la c\u00e1mara y diciendo ‘oh hombre'\u00bb.<\/p>\n\n\n
\n
(Cr\u00e9dito de la imagen: futuro)<\/span><\/figcaption><\/figure>\nMuchos de los usuarios en el servidor Discord dicen que lograron excelentes resultados al generar una imagen fija con otra herramienta de inteligencia artificial como Midjourney o Stable Diffusion, y luego enviar esa imagen a CLIP Interrogator 2.1 en Hugging Face, una herramienta que mira una imagen. y luego le da indicaciones que cree que se refieren a esa imagen. <\/p>\n
Prob\u00e9 ese proceso y le ped\u00ed a Stable Diffusion que me hiciera una imagen de un ni\u00f1o en una acera jugando con robots de juguete en la d\u00e9cada de 1980. Luego tom\u00e9 la imagen en CLIP Interrogator y obtuve algunos mensajes de muestra que eran bastante obvios, como \u00abni\u00f1o parado al lado del robot\u00bb. A\u00fan as\u00ed, introducir la misma imagen en el aviso no me dio lo que quer\u00eda. Tengo a un ni\u00f1o con dos robots parados frente a una calle, pero no era la misma calle ni el mismo ni\u00f1o.<\/p>\n\n\n
\n
(Cr\u00e9dito de la imagen: futuro)<\/span><\/figcaption><\/figure>\nMoverse o No Moverse<\/h2>\n La limitaci\u00f3n de tiempo en s\u00ed misma generalmente significa que no hay mucho tiempo para el movimiento en cada clip. Pero, adem\u00e1s de eso, descubr\u00ed que muchos clips ten\u00edan muy poco movimiento. A menudo, era solo la cabeza de alguien que se mov\u00eda o un l\u00edquido que flu\u00eda o el humo que sal\u00eda de un fuego. <\/p>\n
Una buena manera de conseguir m\u00e1s movimiento es poner un aviso en el que se solicite un lapso de tiempo o un paneo de alg\u00fan tipo. Cuando ped\u00ed un lapso de tiempo de un volc\u00e1n island\u00e9s o una toma panor\u00e1mica de un metro de Nueva York, obtuve algunos resultados bastante buenos. Cuando solicit\u00e9 una vista panor\u00e1mica del horizonte de Taipei, vi nubes movi\u00e9ndose pero sin panor\u00e1mica, y la ciudad definitivamente no era Taipei.<\/p>\n
\n
\n
Imagen 1 de 3<\/p>\n
\n
\n
\n
\n
\n
\n
\n\n
\n
\n
<\/div>\n<\/div>\n<\/div>\n<\/div>
(Cr\u00e9dito de la imagen: futuro)<\/span><\/figcaption><\/figure>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n\n
\n
\n
\n
\n\n
\n
\n
<\/div>\n<\/div>\n<\/div>\n<\/div>
(Cr\u00e9dito de la imagen: futuro)<\/span><\/figcaption><\/figure>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n\n
\n
\n
\n
\n\n
\n
\n
<\/div>\n<\/div>\n<\/div>\n<\/div>
(Cr\u00e9dito de la imagen: futuro)<\/span><\/figcaption><\/figure>\n<\/div>\n<\/div>\n\n
Horizonte de Taipei (pero no lo parece)<\/p>\n<\/p><\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n
Pedir que corran, persigan o monten puede o no hacer el trabajo. Cuando solicit\u00e9 una \u00abtortuga andando en monopat\u00edn\u00bb, obtuve una especie de animal parecido a una tortuga que rodaba por la calle a gran velocidad. Pero cuando pregunt\u00e9 por los boxeadores de Intel y AMD peleando entre s\u00ed, obtuve una imagen de dos boxeadores que no se mov\u00edan en absoluto (y ninguno ten\u00eda los logotipos de Intel o AMD).<\/p>\n\n\n
\n
(Cr\u00e9dito de la imagen: futuro)<\/span><\/figcaption><\/figure>\nEn qu\u00e9 es bueno y malo Runway Gen-2<\/h2>\n Al igual que otros generadores de im\u00e1genes de IA, Runway Gen-2 no hace un gran trabajo al reproducir personajes, productos o lugares de marca muy espec\u00edficos. Cuando lo ped\u00ed por el boxeo de Mario y Luigi, obtuve dos personajes que parecen imitaciones de los personajes de Nintendo. Ped\u00ed muchas veces videos de Godzilla y obtuve unos lagartos gigantes que ni el fan\u00e1tico m\u00e1s casual confundir\u00eda con el Rey de los Monstruos. <\/p>\n
Fue un poco mejor con las referencias de Minecraft. Cuando pregunt\u00e9 por un enredadera y un enderman comiendo pizza y nuevamente por un enredadera comiendo en McDonald’s, obtuve enredaderas de aspecto decente pero un enderman inexacto. Preguntar por una familia de enredaderas comiendo pizza me dio una familia de humanoides que parecen salidos de Minecraft. Cualquiera que haya jugado Minecraft sabe que las enredaderas son monstruos verdes con manchas negras. <\/p>\n
\n
\n
Imagen 1 de 2<\/p>\n
\n
\n
\n
\n
\n
\n
\n\n
\n
\n
<\/div>\n<\/div>\n<\/div>\n<\/div>
(Cr\u00e9dito de la imagen: futuro)<\/span><\/figcaption><\/figure>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n\n
\n
\n
\n
\n\n
\n
\n
<\/div>\n<\/div>\n<\/div>\n<\/div>
(Cr\u00e9dito de la imagen: futuro)<\/span><\/figcaption><\/figure>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\nLa herramienta es terrible con los logotipos. Le di el logo de Tom’s Hardware y le ped\u00ed que usara el logo en un comercial y me devolvi\u00f3 esta cosa extra\u00f1a. <\/p>\n\n\n
\n
(Cr\u00e9dito de la imagen: futuro)<\/span><\/figcaption><\/figure>\nCuando le ped\u00ed una CPU AMD Ryzen en llamas, obtuve algo que se parec\u00eda vagamente a una PCU con un logotipo que solo tienes que ver por ti mismo (abajo).<\/p>\n\n\n
\n
(Cr\u00e9dito de la imagen: futuro)<\/span><\/figcaption><\/figure>\nLo que Runway Gen-2 hace muy bien es darte im\u00e1genes gen\u00e9ricas de personas y familias haciendo cosas como comer. Puede o no hacer que coman exactamente lo que quiere. Cuando pregunt\u00e9 por una familia que com\u00eda gusanos vivos, obtuve una familia que parec\u00eda m\u00e1s como si estuviera comiendo ensalada. Una familia comiendo sushi en una pizzer\u00eda de la d\u00e9cada de 1970 parec\u00eda particularmente realista.<\/p>\n\n\n
\n
(Cr\u00e9dito de la imagen: futuro)<\/span><\/figcaption><\/figure>\nMe siento obligado a se\u00f1alar que casi siempre obtuve personas blancas cuando pregunt\u00e9 por una persona sin especificar su origen \u00e9tnico. La \u00fanica vez que obtuve una familia (o persona) que no era blanca sin preguntar espec\u00edficamente por una fue cuando pregunt\u00e9 por la familia comiendo sushi. Este es un problema bien conocido con los datos de entrenamiento en muchos modelos generativos de IA.<\/p>\n
Par\u00e1metros especiales<\/h2>\n Hay un pu\u00f1ado de par\u00e1metros que puede agregar al final de su solicitud en Runway Gen-2 para cambiar un poco la salida. No me entretuve mucho con esto.<\/p>\n
\n–exclusivo<\/strong> ofrece una resoluci\u00f3n m\u00e1s alta<\/li>\n–interpolar <\/strong>hace que el video sea m\u00e1s fluido<\/li>\n–cfg [number] <\/strong>controla cu\u00e1n creativa se vuelve la IA. Los valores m\u00e1s altos est\u00e1n m\u00e1s cerca de lo que pediste. <\/li>\n–pantalla verde<\/strong> emite este video con un \u00e1rea de pantalla verde que puedes usar en la edici\u00f3n<\/li>\n–semilla <\/strong>es un n\u00famero que ayuda a determinar el resultado. De forma predeterminada, es un n\u00famero aleatorio cada vez, pero si usa el mismo n\u00famero nuevamente, deber\u00eda obtener un resultado similar.<\/li>\n<\/ul>\nCosi\u00e9ndolo todo junto<\/h2>\n Si busca en Internet ejemplos de videos de Runway Gen-2, puede notar muchos videos que duran m\u00e1s de 4 segundos y tienen sonido. La gente hace estos videos uniendo muchos clips diferentes de 4 segundos en un editor de video y agregando sonido y m\u00fasica que han obtenido en otros lugares.<\/p>\n
Uno de los videos m\u00e1s famosos de Runway Gen-2 es el comercial de pizza Pepperoni Hugspot que mencion\u00e9 anteriormente. Pero, en Runway ML Discord, veo a muchas personas publicando enlaces de YouTube a sus creaciones. Uno de mis favoritos es \u00abTerror de espagueti\u00bb<\/a> que fue publicado en Twitter por Andy McNamara. Y el nuevo comercial de abogados de Pizza Later es un puntazo.<\/p>\nL\u00ednea de fondo<\/h2>\n Runway Gen-2 est\u00e1 en versi\u00f3n beta privada mientras escribo esto, pero la compa\u00f1\u00eda ha dicho que tiene la intenci\u00f3n de ponerlo a disposici\u00f3n de todos pronto, como ya lo ha hecho con su producto Gen-1. Como demostraci\u00f3n de tecnolog\u00eda, es realmente impresionante y puedo ver a alguien usando sus clips cortos en lugar de videos de archivo o GIF animados de archivo. <\/p>\n
Incluso si el tiempo se extendiera a 60 segundos, parece poco probable que esta herramienta pueda reemplazar el video filmado de manera profesional (o incluso amateur) en el corto plazo. Su incapacidad para reproducir con precisi\u00f3n lugares y personas muy espec\u00edficos es una gran decepci\u00f3n, pero tambi\u00e9n es una limitaci\u00f3n que he visto en todas las IA generadoras de im\u00e1genes hasta el momento. Sin embargo, la tecnolog\u00eda est\u00e1 ah\u00ed y, a medida que aumentan los datos de entrenamiento, esto podr\u00eda ser a\u00fan m\u00e1s impresionante. <\/p>\n<\/div>\n