Imagen 1 de 2
Visité la oficina de AMD aquí en Taipei, Taiwán, durante Computex 2023 para conversar con David McAfee, vicepresidente corporativo y gerente general de Client Channel Business de la empresa. También tuve la oportunidad de ver el motor Ryzen XDNA AI de AMD en funcionamiento en una demostración de computadora portátil, y McAfee analizó los pasos que AMD está tomando para preparar el sistema operativo y el ecosistema de software para los crecientes casos de uso de IA que se ejecutarán localmente en la PC, que nos sumergiremos más abajo.
Después de seguir el mapa del pasillo inspirado en el nombre en clave de AMD que ves arriba, encontré mi camino a la sala de demostración para ver la última tecnología de AMD en acción.
La computadora portátil de demostración de AMD fue una Asus Strix Scar 17 que viene con el procesador ‘Phoenix’ Ryzen 9 7940HS de 4nm de AMD combinado con gráficos Radeon 780M. Estos chips de 35-45 W vienen con la arquitectura Zen 4 y gráficos RDNA 3. AMD también tenía un Asus ROG Zephyrus G14 con la misma demostración.
El motor XDNA AI es un acelerador dedicado que reside en el chip con los núcleos de la CPU. El objetivo del motor de IA XDNA es ejecutar cargas de trabajo de inferencia de IA de menor intensidad, como procesamiento de audio, fotos y video, con menor potencia de la que podría lograr en una CPU o GPU mientras ofrece tiempos de respuesta más rápidos que los servicios en línea, lo que aumenta el rendimiento. y ahorro de energía de la batería.
Primero, abrí el administrador de tareas para ver si el motor de IA se enumeraba a sí mismo como núcleos visibles con métricas de utilización, pero el motor de XDNA AI no aparece como un dispositivo visible en el administrador de tareas. Como puede ver en el álbum anterior, encontré el motor de IA en la lista como ‘Dispositivo AMD IPU’ en el administrador de dispositivos. Sin embargo, no pudimos observar la carga u otra telemetría de los núcleos durante las pruebas.
Imagen 1 de 1
Aquí podemos ver el motor XDNA AI procesando una carga de trabajo de reconocimiento facial. A la derecha de la pantalla, podemos ver una medición de la latencia para cada paso de la carga de trabajo. Las barras son impresionantemente bajas y la carga de trabajo corrió rápidamente a través de una serie de imágenes mientras el motor de IA procesaba la carga de trabajo de inferencia, pero no tenemos ningún contexto de cómo esas cifras se comparan con otros tipos de soluciones.
La demostración de AMD tenía un botón para probar su motor de IA integrado con el servicio en línea Azure ONNX EP, pero el equipo de demostración nos dijo que habían encontrado problemas con el software, por lo que no funcionaba. Naturalmente, esperaríamos que el motor Ryzen AI incorporado tuviera una latencia más baja que el servicio de Azure y, lógicamente, eso es lo que AMD estaba tratando de demostrar. Desafortunadamente, nos quedamos sin un punto de comparación sustantivo para los resultados de referencia.
Sin embargo, el punto de referencia muestra que la IA está viva y respirando en los procesadores Ryzen 7040 de AMD, y la compañía también está en camino de aumentar la cantidad de aplicaciones que pueden aprovechar su motor de IA.
Este motor puede manejar hasta 4 flujos de IA simultáneos, aunque se puede reconfigurar rápidamente para manejar cantidades variables de flujos. También procesa las instrucciones INT8 y bfloat16, con estos tipos de datos de menor precisión que ofrecen una eficiencia energética mucho mayor que otros tipos de datos, al menos para cargas de trabajo, como la inferencia de IA, que pueden aprovechar los beneficios. AMD afirma que este motor, una progenie de su Xilinx IP, es más rápido que el motor neuronal presente en los procesadores M2 de Apple. El motor está conectado directamente al subsistema de memoria de los chips, por lo que comparte un conjunto de memoria coherente con la CPU y la GPU integrada, eliminando así las costosas transferencias de datos para, nuevamente, aumentar la eficiencia energética y el rendimiento.
AMD anunció la semana pasada en la conferencia Build de Microsoft que había creado un nuevo conjunto de herramientas para desarrolladores que aprovechan el Vitis AI Execution Provider (EP) de código abierto, que luego se actualiza en el tiempo de ejecución de ONNX, para facilitar el trabajo necesario para agregar soporte de software para el motor de IA XDNA. McAfee explicó que Vitis AI EP sirve como una especie de capa de traducción completa que permite a los desarrolladores ejecutar modelos sin tener que modificar el modelo base. Eso simplifica la integración, y la implementación de AMD actualmente funcionará con las mismas aplicaciones que Intel usa con su VPU dentro de Meteor Lake, como Adobe. Además, al igual que el enfoque de Intel, AMD dirigirá diferentes cargas de trabajo de inferencia de IA al tipo correcto de cómputo, ya sea la CPU, la GPU o el motor XDNA, según las necesidades de la carga de trabajo.
AMD aún no proporciona métricas de rendimiento para su motor de IA, pero McAfee señaló que es difícil cuantificar las ventajas de un motor de IA integrado con solo una métrica de rendimiento, como TOPS, ya que una mayor eficiencia energética y una latencia más baja son partes de la multi -Ventajas multifacéticas de tener un motor de IA. Sin embargo, AMD compartirá cifras en el futuro.
McAfee reiteró los planes de AMD para continuar ejecutando su hoja de ruta XDNA AI, y eventualmente agregar el motor a otros procesadores Ryzen en el futuro. Sin embargo, el ecosistema de software para la IA en la PC aún está en sus inicios y AMD continuará explorando las compensaciones frente a las ventajas del mundo real.
Gran parte de la ventaja de tener un motor de IA incorporado reside en la eficiencia energética, algo imprescindible en dispositivos con limitaciones de energía como las computadoras portátiles, pero eso podría no ser tan significativo en una PC de escritorio sin restricciones que puede usar una GPU o CPU dedicada más potente para cargas de trabajo de inferencia. — pero sin las preocupaciones de duración de la batería.
Le pregunté a McAfee si esos factores podrían afectar la decisión de AMD sobre si traería o no XDNA a las PC de escritorio, y él respondió que todo se reduciría a si la función ofrece o no el valor suficiente para que tenga sentido dedicar un área de troquel valiosa a el motor. AMD todavía está evaluando el impacto, particularmente a medida que Ryzen 7040 se abre paso en el mercado.
Por ahora, AMD no está confirmando ninguno de sus planes futuros, pero McAfee dijo que si bien AMD está comprometida con que el motor de IA sea parte de sus futuras hojas de ruta, es posible que no llegue a todos los productos. En ese sentido, dijo que posiblemente podría haber otras opciones para diferentes tipos de chips, como PC de escritorio, que aprovechen la estrategia de chiplet de AMD. Otras opciones, como tarjetas complementarias, también son posibles soluciones.
Una cosa es segura: seguiremos viendo aparecer el motor XDNA AI integrado y escalable en muchos de los productos de AMD en el futuro. Con suerte, la próxima vez también veremos una demostración mejor.