Apple aún no está lista para revelar su estrategia más amplia de IA (la está guardando para su Conferencia Mundial de Desarrolladores en junio), pero el gigante tecnológico se aseguró de mencionar las tecnologías de IA en toda su línea de dispositivos en su evento iPad el martes. La compañía promocionó un nuevo iPad Air como «un dispositivo increíblemente poderoso para IA»; sus funciones impulsadas por IA como búsqueda visual, elevación de sujeto y captura de texto en vivo, entre otras; y, por supuesto, su chip M4 actualizado, que cuenta con un motor neuronal «dedicado a la aceleración de las cargas de trabajo de IA».

Por ejemplo, se describió que la actualización del iPad Air, que ahora incluye el M2 con una CPU, GPU y motor neuronal más rápidos, ofrece “potentes funciones de aprendizaje automático”, como la búsqueda visual, que puede identificar objetos en fotografías; una herramienta impulsada por IA que puede resaltar al sujeto de una fotografía; y captura de texto en vivo, que puede copiar, compartir, buscar y traducir texto dentro del marco de la cámara.

Cuando Apple no tenía su propia tecnología de inteligencia artificial a la que señalar, hacía referencia a terceros. Mientras hablaba del iPad Air, por ejemplo, Apple mencionó Photomator de Pixelmator, que utiliza modelos de inteligencia artificial entrenados en más de 20 millones de imágenes profesionales para mejorar las fotos con un solo clic.

Mientras tanto, el iPad Pro pasó de funcionar con el M2 al nuevo M4, la última generación de silicona de Apple, con una nueva CPU, GPU de próxima generación y aceleradores ML de próxima generación que, según Apple, ofrecerán hasta un 50% más rápido. rendimiento que el M2. Por supuesto, la compañía también aprovechó el motor neuronal del chip, o NPU, que está «dedicado a la aceleración de las cargas de trabajo de IA».

«Ahora, mientras la industria de chips recién está comenzando a agregar NPU a algunos de sus procesadores, hemos estado incluyendo nuestro motor neuronal líder en la industria en nuestro chip durante años», dijo John Ternus, vicepresidente senior de ingeniería de hardware de Apple, durante el evento.

Sin embargo, los consumidores están esperando ver qué tipo de casos de uso les esperan a estos avances de hardware, y eso es algo sobre lo que Apple aún no entró en detalles, a pesar de tener la oportunidad de adelantar un lanzamiento de iPadOS con nuevas funciones de inteligencia artificial u otras funciones de desarrollador. -anuncios enfocados.

En cambio, Apple ejecutó las funciones existentes de iPadOS, como la vista multitarea Stage Manager y un modo de visualización para creativos, denominado Modo de Referencia.

Aún así, la compañía insinuó que las capacidades mejoradas de IA pronto estarían en manos de los desarrolladores de aplicaciones iPadOS, señalando que el software del sistema operativo ofrece marcos avanzados, como CoreML, y que los desarrolladores podrían aprovechar su motor neuronal para ofrecer «una IA potente». funciones directamente en el dispositivo”.

En otras aplicaciones, como Logic Pro, Apple agregó nuevos reproductores de sesión con tecnología de inteligencia artificial, como un bajista y un teclista, que pueden unirse a una actuación junto al baterista ya disponible. Estos miembros de la banda de acompañamiento impulsada por IA también pueden responder a los comentarios proporcionados en la aplicación, dijo Apple. La compañía también mencionó un complemento Logic Pro respaldado por aprendizaje automático, ChromaGlow, para agregar calidez a las pistas.

Apple tomó nota de cómo la IA podría resolver problemas en áreas como la fotografía, como cuando se intenta escanear documentos con la cámara de un dispositivo.

«Todos hemos tenido la experiencia de intentar escanear un documento en determinadas condiciones de iluminación en las que es difícil evitar que se proyecte una sombra», dijo Ternus. “El nuevo Pro resuelve este problema. Utiliza IA para detectar automáticamente documentos como formularios y recibos. Si hay sombras en el camino, toma varias fotografías instantáneamente con el nuevo flash adaptativo. Los marcos se unen y el resultado es un escaneo dramáticamente mejor”.

Aunque ninguna de las menciones a la IA se destacó como un avance exagerado, sugirieron que el estilo de Apple sería notar las mejoras de la IA en lo que se refiere a mejorar la experiencia del consumidor al usar sus dispositivos. Puedes ver el vídeo completo del evento aquí:

Esperamos escuchar mucho más sobre los planes de IA de Apple en la WWDC, donde la compañía podría incluso anunciar un Siri con tecnología de IA o una asociación con un proveedor de IA como Google u OpenAI, sugieren los rumores.

Si bien las referencias a la IA estuvieron esparcidas por todas partes, el evento del martes se centró principalmente en el nuevo hardware en sí, incluido un nuevo iPad Air con un chip M2 y el primer tamaño de 13 pulgadas; un nuevo iPad Pro con chip M4 completamente nuevo y pantallas OLED apiladas para una visualización de mayor fidelidad; una versión Pro del Apple Pencil con nuevos sensores; y una nueva versión del Magic Keyboard.

En lugar de utilizar el M3 en los nuevos modelos de iPad Pro, Apple se saltó toda una generación e introdujo un nuevo silicio para sus tabletas de primer nivel llamado M4. Esta vez, la compañía aprovechó el proceso de 3 nm de segunda generación de TSMC, la misma tecnología que, según se informa, se utilizará para el próximo A18 Pro. Además, el nuevo Apple Silicon viene con una serie de actualizaciones, junto con un nuevo Neural Engine diseñado para ofrecer un rendimiento de IA mejorado. Vayamos directamente a los detalles.

El M4 es el primer Apple Silicon cuya GPU admite sombreado de malla y trazado de rayos acelerado por hardware

Comenzando con el recuento de núcleos, Apple no utiliza la configuración tradicional de cuatro núcleos de rendimiento y cuatro de eficiencia para el M4. En cambio, la compañía ha incorporado núcleos de eficiencia adicionales y el clúster ahora se actualizó a una configuración ‘4 + 6’. Esto significa que el chipset ofrecerá un rendimiento multinúcleo aún mayor, y Apple afirma que el M4 tiene una CPU que es un 50 por ciento más rápida que la M2. Cada núcleo también admite aceleradores de aprendizaje automático mejorados de próxima generación.

Si eso no fuera suficiente, hablemos de la GPU y la compañía afirma que la nueva unidad hace alarde de 10 núcleos. Además, es la primera versión de Apple Silicon que admite sombreado de malla acelerado por hardware y trazado de rayos acelerado por hardware desde el primer momento. Una tecnología que Apple introdujo en el M3 fue el almacenamiento en caché dinámico, que mantuvo esta incorporación en el M4. Para aquellos que no lo saben, Dynamic Caching asigna memoria local de forma dinámica en el hardware y en tiempo real para aumentar drásticamente la utilización promedio de la GPU.

Esto ayuda a aumentar significativamente el rendimiento en las aplicaciones más exigentes para profesionales creativos y juegos. Por supuesto, informes anteriores mencionaron que el M4 ofrecería una experiencia de inteligencia artificial completamente nueva. Durante el anuncio oficial, Apple menciona que el silicio tiene un nuevo Neural Engine. Este bloque del M4 presenta un diseño de 16 núcleos y es capaz de realizar la asombrosa cifra de 38 billones de operaciones por segundo, lo que lo convierte en sorprendentemente 60 veces más rápido que el primer motor neuronal del A11 Bionic.

Por supuesto, por mucho que nos impresionó el rendimiento, teníamos mucha curiosidad por el consumo de energía. Apple ha fabricado el M4 con este atributo en mente, diciendo que no sólo ofrece el mismo rendimiento que el M2 mientras consume la mitad de energía de este último, sino que un chip de clase similar que se ejecuta en una PC tiene que consumir cuatro veces más energía para ofrecer lo mismo. nivel de desempeño. Con el debut del M4 en la última línea de iPad Pro, es solo cuestión de tiempo antes de que el chipset llegue a las futuras Mac, con una amplia gama de beneficios sobre su predecesor en una clase diferente de máquinas.

Una predicción de especificaciones anterior decía que el A18 Pro contaría con una GPU de 6 núcleos, lo que significa que potencialmente no habría diferencia entre el A17 Pro en lo que respecta al número de núcleos. Sobre el papel, esto se traduciría en ganancias de rendimiento insignificantes para los próximos iPhone 16 Pro y iPhone 16 Pro Max, pero podría haber un lado positivo en todo esto, según la última especulación de un YouTuber, que afirma que Apple podría aumentar el tamaño de los troqueles. tanto del A18 como del A18 Pro para incorporar actualizaciones adicionales.

Apple puede agregar núcleos adicionales de rendimiento y eficiencia al A18 Pro mientras deshabilita algunos en el A18

El YouTuber tecnológico Vadim Yuryev, que dirige el canal Max Tech, especuló que sería ventajoso un tamaño de troquel más grande para el A18 y el A18 Pro. Publicó en X afirmando que este cambio traería varias ventajas, desde un caché más grande hasta un motor neutral mejorado, una actualización que también se informó anteriormente. Sin embargo, el creador de contenido señaló que Apple podría agregar núcleos de rendimiento y eficiencia al SoC ‘Pro’.

Es importante señalar que el analista que habló anteriormente sobre las especificaciones del chipset no mencionó la configuración de la CPU. En esta ocasión, Vadim Yuryev cree que el A18 Pro estará equipado con un núcleo de rendimiento adicional y dos núcleos de eficiencia, pero su predicción se basa en una fuga de referencia anterior, donde el SoC obtuvo hasta un 28 por ciento de ventaja en rendimiento sobre el A17 Pro. .

Es posible que te hayas perdido este pequeño detalle de esta filtración:

El chip A18/A18 Pro tendrá un tamaño de matriz más grande. Esto significa que Apple agregará silicio y transistores adicionales.

Probable:
Aumento del número de núcleos para CPU y GPU.
Más caché
Motor neuronal más grande
¿Nuevas funciones de hardware? https://t.co/uy1BpyEGbr

— Vadim Yuryev (@VadimYuryev) 26 de marzo de 2024

Para el A18 normal, Apple podría desactivar un núcleo de rendimiento y un núcleo de GPU, aunque creemos que este último podría ser simplemente una versión renombrada del A17 Pro. Es importante tener en cuenta que esto es sólo una mera especulación por parte del YouTuber, y las especificaciones del A18 y A18 Pro aún no se han divulgado por completo. Sin embargo, sigue siendo una visión interesante y ayuda a generar debates.

En cuanto a nuestras propias predicciones, Apple podría aumentar el número de núcleos de CPU en el A18 y A18 Pro si aumenta el tamaño del troquel; de lo contrario, no sería sorprendente que el gigante tecnológico conserve un clúster de 6 núcleos que ha empleado para lanzamientos anteriores de SoC. .

Fuente de noticias: Vadim Yúriev

NVIDIA ha actualizado su SDK de iluminación global de trazado de rayos a la última característica establecida en la actualización RTXGI 2.0, ofreciendo soporte para nuevas tecnologías.

NVIDIA agrega funciones de caché de radiación neuronal, caja de radiación de hash espacial e iluminación global difusa dinámica al SDK RTXGI 2.0, impulsando la próxima generación de imágenes de trazado de rayos

En GDC 2024, NVIDIA anuncia su nueva actualización RTXGI 2.0 que agrega una gama de nuevas tecnologías que la compañía ya había adelantado.

El nuevo conjunto de funciones facilita a los desarrolladores aprovechar técnicas rápidas y eficientes de almacenamiento en caché de radiance para un rendimiento más rápido en las aplicaciones más exigentes, como los juegos. La mejor parte es que las soluciones proporcionadas por NVIDIA bajo su RTXGI SDK son accesibles para cualquier GPU con capacidad de trazado de rayos y aprovechan aún más los algoritmos acelerados por IA, como la arquitectura central Tensor presente en las GPU RTX de NVIDIA. El SDK completo está disponible en Github en este enlace.

Las tres características principales que se introducen en la actualización RTXGI 2.0 de NVIDIA son:

• NRC – Caché de resplandor neuronal
• SHARC – Caché de resplandor de hash espacial
• DDGI – Iluminación global difusa dinámica

En primer lugar, hablemos de NRC o Neural Radiance Cache, que se propuso como técnica en Siggraph 2021. El objetivo fundamental de esta técnica es hacer que los efectos avanzados de trazado de rayos y trazado de ruta sean más rápidos en las GPU NVIDIA mediante el uso de hardware acelerado por IA, como Tecnología Tensor Core.

Neural Radiance Cache es una técnica de inteligencia artificial destinada a mejorar la calidad de la señal y, potencialmente, el rendimiento en el contexto del trazado de rutas. La NRC opera en el espacio mundial y predice resplandor en cualquier punto del mundo virtual utilizando datos entrenados en vivo y rastreados.

a través de NVIDIA

El algoritmo funciona entrenando el caché de radiancia sobre una escena en tiempo real sin asumir iluminación, geometría ni materiales. La IA hace el trabajo principal aquí entrenando la caché de radiancia en tiempo real para mejorar el rendimiento y una IG (iluminación global) precisa. A continuación se muestra una comparación del antes y el después que muestra cómo NRC mejora la calidad de la señal de los datos de radiancia:

Caché NVIDIA Neural Radiance deshabilitada:

Caché NVIDIA Neural Radiance habilitada:

NVIDIA afirma que la biblioteca NRC está actualmente disponible en modo experimental y se está desarrollando activamente.

A continuación, tenemos SHARC o Spatial Hash Radiance Cache, que se basa en estructuras de datos de hash espacial y proporciona una técnica de iluminación global rápida y escalable para el seguimiento de rutas. SHARC funciona de manera muy similar a NRC, pero no aprovecha la IA ni las redes neuronales y funciona con cualquier GPU de trazado de rayos DirectX o Vulkan.

Spatial Hash Radiance Cache (SHaRC) es una técnica destinada a mejorar la calidad y el rendimiento de la señal en el contexto del seguimiento de rutas. El SHARC opera en el espacio mundial y proporciona un valor de resplandor en cualquier punto de impacto.

a través de NVIDIA

A continuación se muestra una escena en Cyberpunk 2077 con SHARC habilitado y deshabilitado. La ventaja que se muestra aquí es que con SHARC, la iluminación GI cubre un área mucho más grande y funciona con precisión, al tiempo que tiene un impacto insignificante en el rendimiento.

Caché NVIDIA Spatial Hash Radiance deshabilitada:

Caché NVIDIA Spatial Hash Radiance habilitado:

Por último, tenemos la técnica DDGI o Dynamic Diffuse Global Illumination que ofrece iluminación global acelerada en Path Tracing al proporcionar iluminación de rebote infinito en tiempo real. DDGI funciona brindando iluminación indirecta de rebote múltiple sin mapas de luz fuera de línea ni horneado de luz. La siguiente comparación realizada con Unreal Engine muestra que DDGI proporciona más detalles de iluminación y agrega realismo a la escena.

Iluminación global difusa dinámica de NVIDIA deshabilitada:

Iluminación global difusa dinámica NVIDIA habilitada:

NVIDIA está realmente en la cima del mundo en este momento. La empresa no sólo está impulsando el segmento de la IA con innovaciones, sino que también está acelerando el espacio de los gráficos. Desde la introducción de RTX, el equipo verde se ha encargado de acelerar la era del trazado de rayos y el trazado de rutas al siguiente nivel. Son la fuerza líder para la próxima generación de imágenes y estas nuevas técnicas en la actualización RTXGI 2.0 ayudarán a los desarrolladores a ofrecer las imágenes más realistas e inmersivas a los jugadores y consumidores.

En su 14ª cumbre Ability, que comienza hoy, Microsoft destaca los desarrollos y colaboraciones en toda su cartera de productos de asistencia. Gran parte de esto tiene que ver con Azure AI, incluidas características anunciadas ayer, como descripciones de audio impulsadas por AI y el estudio Azure AI que permite a los desarrolladores con discapacidades crear aplicaciones de aprendizaje automático. También mostró nuevas actualizaciones, como más idiomas y descripciones más ricas generadas por IA para su herramienta Seeing AI, así como nuevos manuales que ofrecen pautas para las mejores prácticas en áreas como la construcción de campus accesibles y un mayor apoyo a la salud mental.

La compañía también está presentando una función llamada «Speak For Me», que llegará a finales de este año. Al igual que Personal Voice de Apple, Speak For Me puede ayudar a las personas con ELA y otras discapacidades del habla a utilizar voces neuronales personalizadas para comunicarse. El trabajo en este proyecto ha estado en curso «desde hace algún tiempo» con socios como la organización sin fines de lucro ALS Team Gleason, y Microsoft dijo que está «comprometido a garantizar que esta tecnología se utilice para siempre y planea lanzarla más adelante este año». La compañía también compartió que está trabajando con Answer ALS y ALS Therapy Development Institute (TDI) para «casi duplicar los datos clínicos y genómicos disponibles para la investigación».

Una de las actualizaciones de accesibilidad más importantes que se lanzarán este mes es que Copilot tendrá nuevas habilidades de accesibilidad que permitirán a los usuarios pedirle al asistente que inicie Live Caption y Narrador, entre otras herramientas de asistencia. La función Asistente de Accesibilidad anunciada el año pasado estará disponible hoy en la vista previa de Insider para aplicaciones M365 como Word, y la compañía dice que llegará “pronto” a Outlook y PowerPoint. Microsoft también publica hoy cuatro nuevos manuales, incluido un conjunto de herramientas de salud mental, que cubre “consejos para que los fabricantes de productos creen experiencias que respalden las condiciones de salud mental, creadas en asociación [with] Salud Mental América”.

Antes de la cumbre, la directora de accesibilidad de la compañía, Jenny Lay-Flurrie, habló con Engadget para compartir más información sobre las noticias, así como sus pensamientos sobre el papel de la IA generativa en la creación de productos de asistencia.

«En muchos sentidos, la IA no es nueva», dijo, y agregó que «este capítulo es nuevo». Puede que la IA generativa esté de moda en este momento, pero Lay-Flurrie cree que el principio central en el que se basa su equipo no ha cambiado. «La IA responsable es una IA accesible», afirmó.

Aun así, la IA generativa podría aportar muchos beneficios. «Sin embargo, este capítulo abre algunas oportunidades potenciales para que la industria de la accesibilidad y las personas con discapacidades puedan ser más productivas y utilizar la tecnología para impulsar su día», dijo. Destacó una encuesta que la compañía realizó con la comunidad neurodiversa en torno a Microsoft 365 Copilot, y la respuesta de los pocos cientos de personas que respondieron fue «esto me está reduciendo el tiempo para crear contenido y está acortando la brecha entre el pensamiento y la acción», Lay- Dijo Flurie.

La idea de ser responsable al adoptar nuevas tendencias tecnológicas al diseñar para la accesibilidad no está lejos de la mente de Lay-Flurrie. «Todavía tenemos que tener muchos principios, ser reflexivos y si nos contenemos, es para asegurarnos de que estamos protegiendo esos derechos fundamentales de accesibilidad».

En otra parte de la cumbre, Microsoft contará con oradores invitados como la actriz Michelle Williams y su propia empleada Katy Jo Wright, quienes hablarán sobre la salud mental y su experiencia al vivir con la enfermedad de Lyme crónica, respectivamente. También veremos al Rijksmusem de Ámsterdam compartir cómo utilizó la visión por computadora y la IA generativa de Azure AI para proporcionar descripciones de imágenes de más de un millón de obras de arte para visitantes ciegos o con baja visión.

Este artículo contiene enlaces de afiliados; Si hace clic en dicho enlace y realiza una compra, podemos ganar una comisión.

Anteriormente se informó que Apple planea introducir funciones relacionadas con la inteligencia artificial con el lanzamiento de iOS 18 y la línea iPhone 16. Actualmente, la compañía está trabajando en varias herramientas de inteligencia artificial que podrían debutar en el evento WWDC 2024 en junio. El destacado analista Jeff Pu también declaró que el iPhone 16 será el primer dispositivo de la compañía que contará con funciones de IA junto con iOS 18. Ahora se rumorea que la línea de iPhone 16 contará con un motor neuronal significativamente mejorado para funciones de IA generativa que vienen con iOS 18.

Apple planea actualizar Neural Engine en el iPhone 16 para las próximas funciones de inteligencia artificial generativa de iOS 18

De acuerdo con la Noticias económicas diarias, los próximos chips A18 y M4 de Apple para iPhone y Mac contarán con un rendimiento de Neural Engine significativamente mejorado con núcleos adicionales. Un Neural Engine con más núcleos tiene varios beneficios, ya que permite tareas de inteligencia artificial y aprendizaje automático más rápidas. La actualización de hardware resultaría beneficiosa con las próximas funciones de inteligencia artificial generativa de iOS 18.

Anteriormente informamos cómo la compañía está introduciendo avances en el desarrollo de sus modelos de IA generativa personalizados. La empresa está trabajando en una amplia gama de herramientas, como Keyfraner, que permite a los usuarios animar imágenes según los comandos del usuario. A principios de este mes, también cubrimos el avance de Apple en tecnología de inteligencia artificial generativa que puede editar y manipular imágenes basándose en comandos de lenguaje natural. Si Apple planea incorporar estas adiciones a la línea iPhone 16 a finales de este año, el Neural Engine actualizado podría permitir un mejor procesamiento en el dispositivo.

Apple también planea actualizar su asistente digital, que actualmente está por detrás del Asistente de Google. Con la tecnología de IA generativa incorporada, Siri podrá comprender el contexto de las consultas con información actualizada. Se espera que Apple lance un chip A18 a finales de este año con los modelos de iPhone 16. También escuchamos anteriormente que las funciones de IA generativa solo estarán disponibles en los modelos de iPhone 16, posiblemente debido al nuevo chip.

Apple ofreció el Neural Engine de 16 núcleos con el lanzamiento de los modelos de iPhone 12 y el mismo número de núcleos se adelantó a los modelos de iPhone 15. Sin embargo, la compañía mejoró el rendimiento del Neural Engine con sus últimos iPhones, ofreciendo un rendimiento 2 veces más rápido en el chip A17 Pro en comparación con el A16 Bionic.

Apple también planea mejorar el rendimiento de Neural Engine en Mac con los próximos chips M4. Si bien la mayoría de las Mac todavía cuentan con un Neural Engine de 16 núcleos, Mac Studio y Mac Pro tienen un Neural Engine de 32 núcleos con los chips M1 Ultra y M2 Ultra. Queda por ver cómo la compañía integrará la tecnología de inteligencia artificial generativa en los modelos de iPhone 16 de este año. Compartiremos más detalles sobre el tema, así que asegúrese de quedarse.

Uno de los principales beneficios de ciertos modelos de inteligencia artificial es que pueden acelerar tareas menores o que requieren mucho tiempo, y no solo crear un «arte» terrible basado en una breve entrada de texto. Investigadores de la Universidad de Leeds han desvelado una red neuronal que, según afirman, puede trazar el contorno de un gran iceberg en sólo 0,01 segundos.

Los científicos pueden rastrear manualmente la ubicación de grandes icebergs. Después de todo, uno de los que se incluyó en este estudio era del tamaño de Singapur cuando se separó de la Antártida hace una década. Pero no es factible rastrear manualmente los cambios en el área y el espesor de los icebergs, ni en la cantidad de agua y nutrientes que liberan a los mares.

«Los icebergs gigantes son componentes importantes del medio ambiente antártico», dijo a la Agencia Espacial Europea Anne Braakmann-Folgmann, autora principal de un artículo sobre la red neuronal. «Afectan a la física, la química, la biología y, por supuesto, las operaciones marítimas del océano. Por lo tanto, es crucial localizar los icebergs y monitorear su extensión, para cuantificar cuánta agua de deshielo liberan al océano».

Hasta ahora, el mapeo manual ha demostrado ser más preciso que los enfoques automatizados, pero un analista humano puede tardar varios minutos en delinear un solo iceberg. Esto puede convertirse rápidamente en un proceso que requiere mucho tiempo y trabajo cuando se trata de múltiples icebergs.

Los investigadores entrenaron un algoritmo llamado U-net utilizando imágenes capturadas por los satélites de monitoreo de la Tierra Copernicus Sentinel-1 de la ESA. El algoritmo fue probado en siete icebergs. El más pequeño tenía aproximadamente la misma superficie que Berna, Suiza, y el más grande tenía aproximadamente la misma superficie que Hong Kong.

Con una precisión del 99 por ciento, se dice que el nuevo modelo supera los intentos anteriores de automatización, que a menudo tenían dificultades para distinguir entre icebergs y hielo marino y otras características. También es 10.000 veces más rápido que los humanos a la hora de mapear icebergs.

«Poder mapear automáticamente la extensión del iceberg con mayor velocidad y precisión nos permitirá observar cambios en el área del iceberg de varios icebergs gigantes más fácilmente y allanará el camino para una aplicación operativa», dijo el Dr. Braakmann-Folgmann.

Es probable que una versión futura de DLSS incluya representación neuronal completa, insinuó Bryan Catanzaro, vicepresidente de Investigación de Aprendizaje Profundo Aplicado de Nvidia. En una mesa redonda organizada por Digital Foundry (vídeo), varios expertos de la industria de los videojuegos hablaron sobre el futuro de la IA en el negocio. Durante la discusión, Catanzaro de Nvidia sorprendió a algunos con su franqueza al predecir algunas características clave de un hipotético «DLSS 10».

Hemos visto avances significativos en la tecnología DLSS de Nvidia a lo largo de los años. Lanzado por primera vez con las GPU de la serie RTX 20, muchos se preguntaron sobre el verdadero valor de tecnologías como los núcleos Tensor que se incluyen en las GPU para juegos. Los primeros juegos de trazado de rayos y la primera versión de DLSS tuvieron un mérito cuestionable. Sin embargo, DLSS 2.X mejoró la tecnología y la hizo más útil, lo que hizo que se utilizara más ampliamente y se copiara, primero a través de FSR2 y luego con XeSS.

DLSS 3 debutó con las tarjetas gráficas de la serie RTX 40, agregando la tecnología Frame Generation. Con un escalado 4x y generación de fotogramas, el renderizado neuronal potencialmente permite que un juego solo renderice completamente 1/8 (12,5%) de los píxeles. Más recientemente, DLSS 3.5 ofreció algoritmos de eliminación de ruido mejorados para juegos de trazado de rayos con la introducción de la tecnología Ray Reconstruction.

La línea de tiempo anterior plantea preguntas sobre hacia dónde podría ir Nvidia con futuras versiones de DLSS. Y, por supuesto, el «Supermuestreo de aprendizaje profundo» ya no se aplica realmente, ya que las dos últimas incorporaciones se han centrado en otros aspectos del renderizado. Digital Foundry hizo esa pregunta al grupo: “¿Dónde ve DLSS en el futuro? ¿Qué otras áreas problemáticas podría abordar bien el aprendizaje automático?

Bryan Catanzaro inmediatamente sacó a relucir el tema de la representación neuronal completa. Esta idea no está tan descabellada como parece. Catanzaro recordó al panel que, en la conferencia NeurIPS de 2018, los investigadores de Nvidia mostraron una demostración de mundo abierto de un mundo renderizado en tiempo real utilizando una red neuronal. Durante esa demostración, el motor de juego UE4 proporcionó datos sobre qué objetos había en una escena, dónde estaban, etc., y la representación neuronal proporcionó todo los gráficos en pantalla.

Los gráficos de 2018 eran bastante básicos: “Nada parecido a Cyberpunk”, admitió Catanzaro. Sin embargo, los avances en la generación de imágenes de IA han sido bastante increíbles desde entonces. Mire, por ejemplo, los avances en calidad que hemos visto en los generadores de imágenes de IA durante el último año.

Catanzaro sugirió que la demostración de 2018 fue un vistazo a un área de importante crecimiento de la IA (generativa) en los juegos. «DLSS 10 (en un futuro muy lejano) será un sistema de renderizado completamente neuronal», especuló. El resultado serán juegos “más inmersivos y más hermosos” de lo que la mayoría puede imaginar hoy.

Entre ahora y DLSS 10, Catanzaro cree que veremos un proceso gradual, controlable por el desarrollador y coherente. Los desarrolladores ahora tienen experiencia en herramientas que les permiten dirigir su visión utilizando motores de juegos tradicionales y tecnología de renderizado 2D/3D. Necesitan herramientas similares finamente controladas y listas para la IA generativa, señaló el vicepresidente de Nvidia.

NVIDIA apostó por la IA desde muy temprano y ahora está cosechando los beneficios, como lo demuestra su increíble crecimiento durante el año pasado. Todo comenzó con el Super Sampling de Aprendizaje Profundo (DLSS, por sus siglas en inglés) de los juegos, una técnica centrada en acelerar el rendimiento del juego con el poder de la IA (específicamente, una red neuronal entrenada). Fue entonces cuando NVIDIA comenzó a incluir Tensor Cores en todas las tarjetas gráficas GeForce desde la serie RTX en adelante; Con la llegada del trazado de rayos en tiempo real, existía una gran necesidad de recuperar el mayor rendimiento posible.

Con el tiempo, NVIDIA evolucionó DLSS. La versión 2.0 entregó una calidad mucho mayor manteniendo su estatus de acelerador de rendimiento; la versión 3.0 agregó Frame Generation, que desbloqueó nuevos niveles de rendimiento, especialmente en juegos vinculados a la CPU; y la versión 3.5 se centró en mejorar la calidad del trazado de rayos bajo escalado con la nueva función Ray Reconstruction que acaba de debutar en Cyberpunk 2077 con gran éxito.

En el segmento final de la reciente mesa redonda ‘AI Visuals’ organizada por Digital Foundry, el vicepresidente de investigación de aprendizaje profundo aplicado de NVIDIA, Bryan Catanzaro, dijo que cree que los lanzamientos futuros de DLSS, tal vez en la versión 10, podrían encargarse de todos los aspectos del renderizado en un entorno neuronal. , sistema basado en IA.

En 2018, en la conferencia NeurIPS, organizamos una demostración realmente genial de un mundo que estaba siendo representado por una red neuronal, por completo, pero estaba siendo impulsado por un motor de juego. Entonces, básicamente, lo que estábamos haciendo era usar el motor del juego para generar información sobre dónde están las cosas y luego usar eso como entrada para una red neuronal que haría todo el renderizado, por lo que era responsable básicamente de cada parte del proceso de renderizado. . Hacer que eso funcionara en tiempo real en 2018 fue algo visionario. La calidad de imagen que obtuvimos ciertamente no se acercó a Cyberpunk 2077, pero creo que a largo plazo es hacia donde se dirigirá la industria gráfica. Usaremos cada vez más IA generativa para el proceso de gráficos. Nuevamente, la razón para esto será la misma que para cualquier otra aplicación de IA: podemos aprender funciones mucho más complicadas al observar grandes conjuntos de datos que al construir algoritmos manualmente de abajo hacia arriba.

Creo que vamos a tener un mayor realismo y, con suerte, también abarataremos la creación de impresionantes entornos AAA al pasar a mucha, mucha más representación neuronal. Creo que será un proceso gradual. Lo que pasa con el 3D Pipeline tradicional y los motores de juego es que es controlable: puedes hacer que equipos de artistas construyan cosas y tienen historias coherentes, ubicaciones, todo. De hecho, puedes construir un mundo con estas herramientas.

Seguramente vamos a necesitar esas herramientas. No creo que la IA vaya a crear juegos de una manera en la que simplemente escribes un párrafo sobre cómo hacer un juego cyberpunk y luego sale algo tan bueno como Cyberpunk 2077. Sí creo que, digamos, DLSS 10 en un futuro lejano. Será un sistema de renderizado completamente neuronal que interactúa con el motor de un juego de diferentes maneras y, por eso, será más inmersivo y más hermoso.

Catanzaro se refiere a este «juego de conducción» presentado por primera vez en la conferencia NeurIPS de diciembre de 2018 en Montreal, Canadá. No hace falta decir que la calidad no fue excelente, pero la IA es capaz de realizar mejoras importantes en un período de tiempo relativamente breve.

No es nada descabellado imaginar que en unos diez años, DLSS podría ser capaz de sustituir por completo los métodos de renderizado tradicionales. NVIDIA ya está trabajando en más técnicas neuronales, como el almacenamiento en caché radial y la compresión de texturas, que podrían agregarse a la suite DLSS a medida que se expanda para reemplazar partes adicionales del proceso de renderizado. Sin embargo, si esa es la dirección, es posible que NVIDIA tenga que aumentar considerablemente la cantidad de Tensor Cores disponibles en sus GPU.

Estaremos atentos a los nuevos trabajos de investigación, ya que son el mejor indicio de lo que vendrá de NVIDIA en el campo del renderizado neuronal.

Graham intentó modificar el enfoque de CNN para que el kernel solo se colocara en secciones de 3 por 3 de la imagen que contengan al menos un píxel que tenga un valor distinto de cero (y no solo esté en blanco). De esta manera, logró producir un sistema que podía identificar eficientemente el chino escrito a mano. Ganó una competencia en 2013 al identificar caracteres individuales con una tasa de error de solo el 2,61 por ciento. (Los humanos obtuvieron un 4,81 por ciento en promedio). A continuación, centró su atención en un problema aún mayor: el reconocimiento de objetos tridimensionales.

Para 2017, Graham se había mudado a Facebook AI Research y había refinado aún más su técnica y publicado los detalles del primer SCNN, que centró el kernel solo en píxeles que tenían un valor distinto de cero (en lugar de colocar el kernel en cualquier 3 por 3). sección que tenía al menos un píxel «distinto de cero»). Fue esta idea general la que Terao trajo al mundo de la física de partículas.

Tomas subterráneas

Terao está involucrado en experimentos en el Laboratorio Nacional de Aceleradores Fermi que investigan la naturaleza de los neutrinos, entre las partículas elementales conocidas más escurridizas. También son las partículas más abundantes en el universo con masa (aunque no mucha), pero rara vez aparecen dentro de un detector. Como resultado, la mayoría de los datos para los experimentos con neutrinos son escasos y Terao buscaba constantemente mejores enfoques para el análisis de datos. Encontró uno en SCNN.

En 2019, aplicó SCNN a simulaciones de los datos esperados del Experimento de neutrinos subterráneo profundo, o DUNE, que será el experimento de física de neutrinos más grande del mundo cuando entre en funcionamiento en 2026. El proyecto disparará neutrinos desde Fermilab, en las afueras de Chicago, a través de 800 millas de tierra hasta un laboratorio subterráneo en Dakota del Sur. En el camino, las partículas «oscilarán» entre los tres tipos conocidos de neutrinos, y estas oscilaciones pueden revelar propiedades detalladas de los neutrinos.

Los SCNN analizaron los datos simulados más rápido que los métodos ordinarios y requirieron una potencia computacional significativamente menor para hacerlo. Los resultados prometedores significan que es probable que los SCNN se utilicen durante la ejecución experimental real.

Mientras tanto, en 2021, Terao ayudó a agregar SCNN a otro experimento de neutrinos en Fermilab conocido como MicroBooNE. Aquí, los científicos observan las consecuencias de las colisiones entre los neutrinos y los núcleos de los átomos de argón. Al examinar las huellas creadas por estas interacciones, los investigadores pueden inferir detalles sobre los neutrinos originales. Para hacer eso, necesitan un algoritmo que pueda mirar los píxeles (o, técnicamente, sus contrapartes tridimensionales llamadas vóxeles) en una representación tridimensional del detector y luego determinar qué píxeles están asociados con qué trayectorias de partículas.

Debido a que los datos son tan escasos, un puñado de líneas diminutas dentro de un detector grande (aproximadamente 170 toneladas de argón líquido), los SCNN son casi perfectos para esta tarea. Con una CNN estándar, la imagen tendría que dividirse en 50 partes, debido a todos los cálculos que hay que hacer, dijo Terao. “Con una CNN escasa, analizamos la imagen completa a la vez, y lo hacemos mucho más rápido”.

Activadores oportunos

Uno de los investigadores que trabajó en MicroBooNE fue un estudiante en prácticas llamado Felix Yu. Impresionado con el poder y la eficiencia de las SCNN, llevó las herramientas consigo a su próximo lugar de trabajo como estudiante graduado en un laboratorio de investigación de Harvard afiliado formalmente al Observatorio de Neutrinos IceCube en el Polo Sur.

Uno de los objetivos clave del observatorio es interceptar los neutrinos más energéticos del universo y rastrearlos hasta sus orígenes, la mayoría de los cuales se encuentran fuera de nuestra galaxia. El detector está compuesto por 5160 sensores ópticos enterrados en el hielo antártico, de los cuales solo una pequeña fracción se enciende en un momento dado. El resto de la matriz permanece oscuro y no es particularmente informativo. Peor aún, muchos de los «eventos» que registran los detectores son falsos positivos y no son útiles para la caza de neutrinos. Solo los llamados eventos de nivel de activación hacen el corte para un análisis más detallado, y se deben tomar decisiones instantáneas sobre cuáles son dignos de esa designación y cuáles se ignorarán permanentemente.