Hace un tiempo vi a alguien trabajando en la generación de imágenes de IA en tiempo real en VR y tuve que llamar su atención porque, francamente, no puedo expresar lo majestuoso que es ver AR modulada por IA cambiando el mundo que tenemos ante nosotros en gloriosos paisajes oníricos emergentes. .
La aplicación de IA a la realidad virtual o aumentada no es un concepto novedoso, pero ha habido ciertas limitaciones al aplicarla: el poder de cómputo es una de las principales barreras para su uso práctico. Sin embargo, el software de generación de imágenes Stable Diffusion es un algoritmo reducido para usar en hardware de nivel de consumidor y se lanzó con una licencia Creative ML OpenRAIL-M. Eso significa que los desarrolladores no solo pueden usar la tecnología para crear y lanzar programas sin tener que alquilar grandes cantidades de silicio de servidor, sino que también pueden beneficiarse de sus creaciones.
Me despertaron en medio de la noche para conceptualizar este proyecto.
Scotty Fox – Desarrollador de realidad virtual de difusión estable
ScottieFoxTTV (se abre en una pestaña nueva) es un creador que ha estado mostrando su trabajo con el algoritmo en realidad virtual en Twitter. «Me despertaron en medio de la noche para conceptualizar este proyecto», dice. Como creador yo mismo, entiendo que las Musas disfrutan golpeando a horas intempestivas.
Lo que le trajeron fue una fusión de Stable Diffusion VR y TouchDesigner (se abre en una pestaña nueva) motor de creación de aplicaciones, cuyos resultados se refiere como «espacio latente inmersivo en tiempo real». Eso puede sonar como una tontería hippie para algunos, pero el espacio latente es un concepto que fascina al mundo en este momento.
En un nivel básico, es una frase que en este contexto describe el creciente potencial que la inteligencia artificial aporta a la realidad aumentada a medida que reúne ideas de la inmensidad de lo desconocido. Si bien es un concepto interesante, es uno para una característica en una fecha posterior. En este momento, estoy interesado en cómo Stable Diffusion VR logra funcionar tan bien en tiempo real sin convertir ninguna GPU de consumo (incluso la reciente RTX 4090 (se abre en una pestaña nueva)) en un charco humeante.
Stable Diffusion VR Espacio latente inmersivo en tiempo real. ?Se envían pequeños clips desde el motor para ser difundidos. Una vez listos, se vuelven a poner en cola para la proyección.11 de octubre de 2022
«Difundir piezas pequeñas en el medio ambiente ahorra recursos», explica Scotty. «Se envían pequeños clips desde el motor para ser difundidos. Una vez listos, se vuelven a poner en cola en la proyección». Los cuadros azules en las imágenes aquí muestran las partes de la imagen en las que el algoritmo está trabajando en un momento dado. Es una forma mucho más eficiente de que funcione en tiempo real.
Cualquiera que haya usado una herramienta de generación de imágenes en línea comprenderá que una sola imagen puede tardar hasta un minuto en crearse, pero incluso si lleva un poco de tiempo trabajar en cada sección individual, los resultados todavía se sienten como si estuvieran ocurriendo inmediatamente como no estás enfocando esperando que una sola imagen termine de difundirse. Y aunque no al nivel de fotorrealismo que algún día podría ser, los videos que Scotty ha estado publicando son absolutamente impresionantes.
Peces voladores en la sala de estar, ideas de diseño de interiores en constante cambio, bosques exuberantes y paisajes nocturnos que evolucionan ante sus ojos. Con la IA capaz de hacer proyecciones en nuestro mundo físico en tiempo real, hay mucho potencial para su uso en el espacio de los juegos.
El CEO de Midjourney, David Holz, describe el potencial de los juegos para que algún día sean «sueños» (se abre en una pestaña nueva) y ciertamente se siente como si nos estuviéramos moviendo apresuradamente en esa dirección. Sin embargo, el próximo paso importante es navegar por el campo minado que son los problemas de derechos de autor y protección de datos. (se abre en una pestaña nueva) surgiendo alrededor de los conjuntos de datos en los que se entrenaron algoritmos como Stable Diffusion.