Nvidia Video Super Resolution (Nvidia VSR) está oficialmente disponible para el público hoy. Presentado por primera vez en CES 2023, y que no debe confundirse con VSR (Virtual Super Resolution) de AMD, Nvidia VSR tiene como objetivo hacer para el video lo que su tecnología DLSS hace para los juegos. Especie de. Para empezar, necesitará una de las mejores tarjetas gráficas de Nvidia, es decir, una GPU de la serie RTX 30 o 40. Por supuesto, también querrá establecer sus expectativas de manera adecuada.
A estas alturas, todos deberían estar bastante familiarizados con algo de lo que pueden lograr los modelos de inteligencia artificial y aprendizaje profundo. Ya sea que se trate de la generación de arte de texto a imagen con Stable Diffusion y similares, ChatGPT respondiendo preguntas y escribiendo artículos, autos sin conductor o cualquier cantidad de otras posibilidades, la IA se está convirtiendo en parte de nuestra vida cotidiana.
El resumen básico del algoritmo debería sonar familiar para cualquier persona con conocimiento de DLSS. Tome un grupo de imágenes emparejadas, con cada par que contenga una versión de baja resolución y menor tasa de bits de un cuadro de video de mayor resolución (y mayor calidad), y páselo por un algoritmo de entrenamiento de aprendizaje profundo para enseñar a la red cómo mejorar y escalar idealmente. fotogramas de entrada de menor calidad en salidas de mejor aspecto. Hay muchas diferencias entre VSR y DLSS, por supuesto.
Por un lado, DLSS obtiene datos directamente del motor del juego, incluido el cuadro actual, los vectores de movimiento y los búferes de profundidad. Combinado con los marcos anteriores y la red de IA entrenada para generar marcos mejorados y suavizados. Con VSR, no hay un búfer de profundidad precalculado o vectores de movimiento de los que hablar, por lo que todo debe hacerse basándose únicamente en los cuadros de video. Entonces, si bien en teoría VSR podría usar los datos de fotogramas actuales y anteriores, parece que Nvidia ha optado por un enfoque de escalamiento espacial puro. Pero sean cuales sean los detalles exactos, hablemos de cómo se ve.
Nvidia proporcionó un video de muestra que muestra el antes y el después de la salida de VSR. Si desea los originales, aquí está el 1080p mejorado a través de una fuente de muestreo bilineal y la versión mejorada 4K VSR, alojada en una cuenta personal de Drive, así que veremos cómo va. (Envíeme un correo electrónico si no puede descargar los videos debido a que excedió el límite de ancho de banda).
Vamos a eludir posibles problemas de derechos de autor y no incluiremos un montón de nuestros propios videos, aunque tomamos algunas capturas de pantalla del resultado resultante de un par de transmisiones deportivas para mostrar cómo funciona en otro contenido. Lo que podemos decir es que los videos de movimiento lento (como las muestras de Nvidia) brindan los mejores resultados, mientras que los videos de movimiento más rápido, como los deportes, son más difíciles, ya que los cambios de cuadro a cuadro pueden ser bastante significativos. Pero en general, VSR funciona bastante bien. Aquí hay una galería de algunas capturas de pantalla de comparación (capturadas a través de Nvidia ShadowPlay).
Imagen 1 de 10
Todas esas imágenes son 4K JPG, con la máxima calidad, no sin pérdidas, pero no podemos exceder los 10 MB, por lo que se requirió un poco de compresión. Todavía puede ver claramente las diferencias entre la mejora normal (en Chrome) y la mejora VSR. No es un masivo mejora en cualquiera de las muestras deportivas, pero definitivamente hay algo de nitidez y desbloqueo que, al menos desde nuestro punto de vista subjetivo, se ve mejor.
VSR no puede hacer milagros. Comenzar con una fuente de 720p y escalar a 4K (9x upscale) será más difícil que pasar de 1080p a 4K (4x upscaling). Y a la mejora de 480p a 4K (¡20,25x de mejora!) todavía le faltan muchos detalles, como si no pudieras ver los hilos de la red en el contenido VSR o no VSR. Incluso el logotipo de los Tottenham Hotspurs en la esquina superior derecha se ve mucho mejor en la muestra mejorada de 720p que en la de 480p (perdón por la superposición en una imagen).
La buena noticia: si tiene una tarjeta gráfica de la serie RTX 30 o 40, puede descargar los últimos controladores de Nvidia y darle una oportunidad a VSR. También necesitará la última versión del navegador Chrome o Edge, al menos por ahora. Pero con el software apropiado, VSR parece funcionar en todos los videos que hemos probado hasta ahora.
Las malas noticias: los usuarios de la serie RTX 20 se quedan al margen, al menos por ahora. Preguntamos sobre este requisito y aún no tenemos una respuesta precisa sobre la omisión. Es posible que Nvidia haya entrenado la red para sus núcleos Tensor con escasez, lo que significa que actualmente solo puede ejecutarse en Ampere y arquitecturas posteriores. Pero parece que podría haber optado fácilmente por la compatibilidad con Turing desde el principio, si hubiera querido, porque la carga de trabajo computacional real parece relativamente pequeña.
Para mostrar esto, probamos VSR en la misma secuencia de video, el juego NHL de 720p mejorado a 4K, en dos extremos diferentes del espectro VSR, con las configuraciones VSR Quality 1 y VSR Quality 4. En la parte superior, tenemos la RTX 4090 Founders Edition, mientras que en la parte inferior, tenemos la EVGA RTX 3050. La 4090 tiene un cálculo teórico de 661 teraflops FP16, con escasez. El RTX 3050 inclina la balanza a solo 73 teraflops, nuevamente con escasez. En la práctica, ambas cartas tenían el mismo aspecto. Más importante aún, capturamos datos de energía solo para las tarjetas gráficas, lo que resulta revelador.
| GPU | VSR desactivado | VSR activado (1) | VSR activado (4) |
|---|---|---|---|
| RTX 4090 (vatios) | 28,9 | 32.8 | 36,9 |
| RTX 3050 (vatios) | 13.0 | 15.9 | 15.9 |
Claramente, ninguna de las GPU está siendo empujada ni remotamente por el algoritmo VSR. El 4090 usa 4 W más de potencia con la calidad VSR en 1 y 8 W más de potencia con VSR 4. Por el contrario, el RTX 3050 necesitaba solo 3 W más de potencia para cualquier configuración de VSR. Eso significa que los núcleos Tensor ni siquiera están cerca del máximo en ninguna de las GPU, lo que también significa que incluso si tiene un RTX 3050 móvil humilde con 4 GB de VRAM, aún puede ejecutar VSR.
En general, es una versión interesante de la mejora de video. Hay muchos otros algoritmos que no utilizan el aprendizaje automático que también se ha intentado para mejorar y mejorar, y algunos podrían igualar a VSR, pero no son compatibles simplemente descargando los últimos controladores de Nvidia y las actualizaciones del navegador Chrome. .
En cuanto a lo que debe hacer para activar VSR, es alternar los controladores más recientes (recibimos acceso anticipado a los controladores 531.14 de Nvidia para fines de esta revisión). Primero, marque la casilla «Súper resolución» en Mejora de video RTX, luego seleccione la calidad deseada. Nvidia dice que las configuraciones de mayor calidad pueden suponer una mayor carga para su GPU, por lo que tal vez si está viendo una transmisión de video en un segundo monitor mientras juega, querrá quedarse con una configuración más baja. Sin embargo, si solo está viendo un video, también puede hacer todo lo posible y establecer la calidad en 4.