La mayoría de las funciones y experimentos nuevos que Adobe ha anunciado recientemente involucran inteligencia artificial, como la adición y eliminación de objetos para Premiere Pro y la generación de imágenes basadas en texto en Photoshop. Ahora, la compañía ha presentado VideoGigaGAN, una función experimental de inteligencia artificial que, según dice, puede mejorar el video ocho veces sin los artefactos habituales como parpadeo o distorsión. El borde informó.
VideoGigaGAN supera a otros métodos de superresolución de vídeo (VSR) porque evita los artefactos y parpadeos habituales introducidos por GAN (General Adversarial Networks), según Adobe. Al mismo tiempo, agrega nitidez y detalle, algo que la mayoría de los otros sistemas no logran hacer ambas cosas a la vez.
Por supuesto, el sistema está inventando detalles que no existen de la nada, por lo que esto no sería adecuado para cosas como la mejora de vídeo forense, a la Programas policiales al estilo CSI. Pero los detalles que agrega parecen impresionantemente reales, como texturas de piel, pelos finos, detalles de plumas de cisne y más.
Según los investigadores de Adobe, el modelo se basa en un muestreador de imágenes a gran escala llamado GigaGAN. Los modelos VSR anteriores han tenido dificultades para generar detalles ricos en los resultados, por lo que Adobe combinó «atención temporal» (reduciendo los artefactos que se acumulan con el tiempo), propagación de características (agregando detalles donde no existen), anti-aliasing y algo llamado «lanzadera HF» (desplazamiento características de alta frecuencia) para crear el resultado final.
Si se agrega a productos como Premiere Pro o After Effects, podría permitir a los productores de video hacer que las tomas de baja resolución se vean mucho mejor, aunque el uso de IA para mejorar a las personas es una práctica controvertida. Aún no se sabe si Adobe planea hacer esto (actualmente, los clips son cortos y solo se reproducen a 12 fps), pero muchas compañías, incluidas NVIDIA, Microsoft, Blackmagic Design y otras, también están trabajando en tecnología de mejora de la IA.