Es posible que los fotógrafos pronto puedan «ver en la oscuridad» de manera efectiva después de que Google Research agregue una nueva herramienta de reducción de ruido de IA a su MultiNeRF (se abre en una pestaña nueva) proyecto.
El programa RawNeRF puede leer imágenes, utilizando inteligencia artificial para agregar niveles más altos de detalle (y muchos menos artefactos antiestéticos) a las fotos tomadas en condiciones más oscuras y con poca luz. Según el equipo detrás del proyecto, funciona mejor que cualquier otra herramienta de reducción de ruido.
“Cuando se optimiza sobre muchas entradas sin procesar ruidosas, NeRF produce una representación de escena tan precisa que sus vistas novedosas renderizadas superan a los supresores de ruido sin procesar profundos dedicados de una o varias imágenes que se ejecutan en las mismas imágenes de entrada de línea de base amplia”, dijo el los investigadores explicaron (se abre en una pestaña nueva) en un artículo de la Universidad de Cornell.
¿Qué es NeRF?
NeRF es un sintetizador de vista, una herramienta capaz de escanear miles de fotografías (se abre en una pestaña nueva) reconstruir con precisión representaciones 3D.
Según Ben Mildenhall, uno de los investigadores del proyecto, NeRF funciona mejor con fotografías bien iluminadas y bajos niveles de ruido. En otras palabras, está diseñado para disparar durante el día.
Las tomas nocturnas y con poca luz resultaron problemáticas, ocultando detalles en las sombras o volviéndose más ruidosas al aumentar el brillo en la posproducción. El problema que encontraron Mildenhall y el equipo fue que las herramientas de eliminación de ruido pueden reducir un poco el ruido, pero a costa de la calidad de la imagen.
Con la llegada de RawNeRF, la inteligencia artificial está configurada para silenciar el ruido sin eliminar los detalles, lo que permite que los fotógrafos «vean en la oscuridad».
en un demostración de vídeo (se abre en una pestaña nueva), NeRF en la oscuridad, -publicado originalmente en mayo de 2022 y pasando en gran medida desapercibido en ese momento- Mildenhall toma un teléfono celular iluminado solo por la luz de las velas. RawNeRF es «capaz de combinar imágenes tomadas desde muchos puntos de vista de cámara diferentes para eliminar el ruido y reconstruir la escena de forma conjunta», explica Google Researcher.
Las imágenes reconstruidas se representan en un espacio de color HDR lineal, lo que permite a los usuarios manipular aún más los ángulos, las exposiciones, el mapeo de tonos y el enfoque. En su video, Mildenhall observa cómo la variación de cada uno de ellos «crea un efecto atmosférico que puede llamar la atención sobre diferentes regiones de la escena».
Aunque todavía está en la fase de investigación y no es un producto de Google con apoyo oficial (todavía), RawNeRF ofrece una visión tentadora de cómo la IA podría ayudar a los creativos a reflejar mejor el mundo que los rodea.