Adobe dice que está construyendo un modelo de inteligencia artificial para generar videos. Pero no revela cuándo se lanzará exactamente este modelo, ni mucho sobre él además del hecho de que existe.
Ofrecido como una especie de respuesta a Sora de OpenAI, Imagen 2 de Google y modelos del creciente número de nuevas empresas en el naciente espacio de video de IA generativa, el modelo de Adobe, una parte de la creciente familia Firefly de productos de IA generativa de la compañía, se abrirá paso en Premiere Pro, la suite de edición de video insignia de Adobe, llegará a finales de este año, dice Adobe.
Como muchas herramientas de video de IA generativa actuales, el modelo de Adobe crea imágenes desde cero (ya sea un mensaje o imágenes de referencia) y potencia tres nuevas características en Premiere Pro: adición de objetos, eliminación de objetos y extensión generativa.
Se explican por sí solos.
La adición de objetos permite a los usuarios seleccionar un segmento de un clip de vídeo (por ejemplo, el tercio superior o la esquina inferior izquierda) e ingresar un mensaje para insertar objetos dentro de ese segmento. En una sesión informativa con TechCrunch, un portavoz de Adobe mostró una imagen fija de un maletín del mundo real lleno de diamantes generado por el modelo de Adobe.
Créditos de imagen: Diamantes generados por IA, cortesía de Adobe.
La eliminación de objetos elimina objetos de los clips, como micrófonos boom o tazas de café en el fondo de una toma.
Eliminación de objetos con IA. Observe que los resultados no son del todo perfectos. Créditos de imagen: Adobe
En cuanto a la extensión generativa, agrega algunos fotogramas al principio o al final de un clip (desafortunadamente, Adobe no dijo cuántos fotogramas). La extensión generativa no pretende crear escenas completas, sino más bien agregar fotogramas intermedios para sincronizarlos con una banda sonora o conservar una toma para darle un ritmo adicional, por ejemplo, para agregar peso emocional.
Créditos de imagen: Adobe
Para abordar el miedo a los deepfakes que inevitablemente surge en torno a herramientas de inteligencia artificial generativa como estas, Adobe dice que traerá credenciales de contenido (metadatos para identificar medios generados por inteligencia artificial) a Premiere. Las credenciales de contenido, un estándar de procedencia de medios que Adobe respalda a través de su Iniciativa de Autenticidad de Contenido, ya estaban en Photoshop y eran un componente de los modelos Firefly de generación de imágenes de Adobe. En Premiere, indicarán no solo qué contenido fue generado por IA sino también qué modelo de IA se utilizó para generarlo.
Le pregunté a Adobe qué datos (imágenes, videos, etc.) se utilizaron para entrenar el modelo. La compañía no dijo ni dijo cómo (o si) está compensando a los contribuyentes al conjunto de datos.
La semana pasada, Bloomberg, citando fuentes familiarizadas con el asunto, informó que Adobe paga a fotógrafos y artistas en su plataforma de medios de stock, Adobe Stock, hasta 120 dólares por enviar clips de vídeo cortos para entrenar su modelo de generación de vídeo. Se dice que el pago oscila entre unos 2,62 dólares por minuto de vídeo y unos 7,25 dólares por minuto, dependiendo de la presentación, y las imágenes de mayor calidad exigen tarifas correspondientemente más altas.
Eso sería una desviación del acuerdo actual de Adobe con los artistas y fotógrafos de Adobe Stock cuyo trabajo está utilizando para entrenar sus modelos de generación de imágenes. La compañía paga a esos contribuyentes una bonificación anual, no una tarifa única, dependiendo del volumen de contenido que tienen en stock y cómo se utiliza, aunque es una bonificación sujeta a una fórmula opaca y no garantizada de año en año.
Los informes de Bloomberg, si son precisos, representan un enfoque en marcado contraste con el de rivales de video de IA generativa como OpenAI, que se dice que ha extraído datos web disponibles públicamente, incluidos videos de YouTube, para entrenar sus modelos. El director ejecutivo de YouTube, Neal Mohan, dijo recientemente que el uso de videos de YouTube para entrenar el generador de texto a video de OpenAI sería una infracción de los términos de servicio de la plataforma, destacando la debilidad legal del argumento de uso justo de OpenAI y otros.
Las empresas, incluida OpenAI, están siendo demandadas por acusaciones de que están violando la ley de propiedad intelectual al entrenar su IA en contenido protegido por derechos de autor sin proporcionar crédito ni pagar a los propietarios. Adobe parece tener la intención de evitar este fin, como su competencia en algún momento generativa de IA, Shutterstock y Getty Images (que también tienen acuerdos para licenciar datos de entrenamiento de modelos) y, con su política de indemnización de propiedad intelectual, posicionarse como una opción verificablemente “segura” para clientes empresariales.
En cuanto al pago, Adobe no dice cuánto les costará a los clientes utilizar las próximas funciones de generación de video en Premiere; presumiblemente, todavía se están debatiendo los precios. pero la empresa hizo revelan que el esquema de pago seguirá el sistema de créditos generativos establecido con sus primeros modelos Firefly.
Para los clientes con una suscripción paga a Adobe Creative Cloud, los créditos generativos se renuevan a partir de cada mes, con asignaciones que van de 25 a 1000 por mes, según el plan. Las cargas de trabajo más complejas (por ejemplo, imágenes generadas con mayor resolución o generaciones de imágenes múltiples) requieren más créditos, como regla general.
La gran pregunta que tengo en mente es: ¿las funciones de video impulsadas por IA de Adobe serán valer ¿Lo que terminen costando?
Los modelos de generación de imágenes de Firefly hasta ahora han sido ampliamente ridiculizados por ser decepcionantes y defectuosos en comparación con Midjourney, DALL-E 3 de OpenAI y otras herramientas de la competencia. La falta de un plazo de lanzamiento en el modelo de video no infunde mucha confianza de que evitará el mismo destino. Tampoco lo hace el hecho de que Adobe se negó a mostrarme demostraciones en vivo de adición y eliminación de objetos y extensión generativa, insistiendo en cambio en un video pregrabado.
Quizás para cubrir sus apuestas, Adobe dice que está en conversaciones con proveedores externos sobre la integración de sus modelos de generación de video en Premiere, así como para potenciar herramientas como la extensión generativa y más.
Uno de esos proveedores es OpenAI.
Adobe dice que está colaborando con OpenAI para encontrar formas de incorporar a Sora al flujo de trabajo de Premiere. (Una asociación con OpenAI tiene sentido dadas las recientes propuestas de la startup de IA hacia Hollywood; es revelador que la CTO de OpenAI, Mira Murati, asistirá al Festival de Cine de Cannes este año). Otros socios iniciales incluyen a Pika, una startup que crea herramientas de IA para generar y editar videos. y Runway, que fue uno de los primeros proveedores del mercado con un modelo de vídeo generativo.
Un portavoz de Adobe dijo que la empresa estaría abierta a trabajar con otros en el futuro.
Ahora bien, para ser muy claro, estas integraciones son más un experimento mental que un producto funcional en la actualidad. Adobe me recalcó repetidamente que están en una “vista previa inicial” y en una “investigación” en lugar de algo con lo que los clientes puedan esperar jugar en el corto plazo.
Y eso, diría yo, captura el tono general del prensador de video generativo de Adobe.
Adobe claramente está tratando de señalar con estos anuncios que está pensando en video generativo, aunque sólo sea en el sentido preliminar. Sería una tontería no hacerlo: quedar atrapado desprevenido en la carrera generativa de la IA es correr el riesgo de perder una nueva y valiosa fuente de ingresos potencial, suponiendo que la economía finalmente funcione a favor de Adobe. (Después de todo, los modelos de IA son costosos de entrenar, ejecutar y servir).
Pero, francamente, lo que muestra (conceptos) no es muy convincente. Con Sora en libertad y seguramente más innovaciones en camino, la compañía tiene mucho que demostrar.