El año pasado, Adobe lanzó Firefly, su último modelo de IA generativa basado en su anterior SenseiAI, y ahora la compañía muestra cómo se utilizará su aplicación de edición de video, Premiere Pro. En un adelanto, demostró algunas características clave que llegarán a finales de este año, incluida la adición y eliminación de objetos, extensión generativa y texto a video.
Es probable que las nuevas funciones sean populares, ya que la limpieza de videos es una tarea común (y dolorosa). La primera característica, Generative Extend, aborda un problema que enfrentan los editores en casi todas las ediciones: clips que son demasiado cortos. «Agregue fotogramas sin problemas para alargar los clips, de modo que sea más fácil sincronizar perfectamente las ediciones y agregar transiciones suaves», afirma Adobe. Lo hace utilizando la IA para crear medios adicionales, lo que ayuda a cubrir una edición o transición.
Otro problema común es la basura que no deseas en una toma y que puede ser difícil de eliminar, o agregar cosas que no deseas. hacer desear. La adición y eliminación de objetos de Premiere Pro soluciona este problema, utilizando nuevamente la IA generativa de Firefly. «Simplemente seleccione y rastree objetos, luego reemplácelos. Elimine elementos no deseados, cambie el guardarropa de un actor o agregue rápidamente adornos como una pintura o flores fotorrealistas en un escritorio», escribe Adobe.
Adobe muestra un par de ejemplos, agregando una pila de diamantes a un maletín mediante un mensaje de texto (generado por Firefly). También elimina una fea caja de herramientas, cambia la esfera del reloj y agrega una corbata al disfraz de un personaje.
La compañía también mostró una forma de importar modelos de IA personalizados. Uno, llamado Pika, es el que impulsa Generative Extend, mientras que otro (Sora de OpenAI) puede generar automáticamente B-Roll (tomas de vídeo). Esto último seguramente será controvertido ya que podría eliminar miles de puestos de trabajo, pero todavía está «actualmente en una investigación inicial», dijo Adobe en el video. La compañía señala que agregará «credenciales de contenido» a dichas tomas, para que pueda ver lo que generó la IA, incluida la compañía detrás del modelo.
Una función similar también está disponible en «Texto a video», que le permite generar imágenes completamente nuevas directamente dentro de la aplicación. «Simplemente escriba texto en un mensaje o cargue imágenes de referencia. Estos clips se pueden usar para idear y crear guiones gráficos, o para crear B-roll para aumentar el metraje de acción en vivo», dijo Adobe. La compañía parece estar comercializando esta característica bastante rápido, considerando que el video generativo de IA apareció por primera vez hace apenas unos meses.
Esas funciones llegarán a finales de este año, pero Adobe también presentará actualizaciones para todos los usuarios en mayo. Estos incluyen controladores de desvanecimiento interactivos para facilitar las transiciones, insignia Essential Sound con etiquetado de categorías de audio («La IA etiqueta automáticamente los clips de audio como diálogo, música, efectos de sonido o ambiente, y agrega un nuevo ícono para que los editores obtengan acceso instantáneo con un solo clic a controles adecuados para el trabajo»), insignias de efectos y formas de onda rediseñadas en la línea de tiempo.