Las resistencias protónicas del MIT permiten que el aprendizaje profundo se dispare, en forma analógica

John — Tue, 02 Aug 2022 15:41:35 +0000

Un equipo de investigadores del Instituto Tecnológico de Massachusetts (MIT) ha estado trabajando en un nuevo diseño de resistencia de hardware para la próxima era de escalado electrónico, particularmente en tareas de procesamiento de IA como el aprendizaje automático y las redes neuronales.

Sin embargo, en lo que puede parecer un retroceso (si es que puede existir un retroceso al futuro), su trabajo se centra en un diseño que es más analógico que digital por naturaleza. Ingrese a las resistencias programables protónicas, construidas para acelerar las redes de IA al imitar nuestras propias neuronas (y sus sinapsis interconectadas) mientras acelera su operación un millón de veces, y esa es la cifra real, no solo una hipérbole.

Todo esto se hace mientras se reduce el consumo de energía a una fracción de lo que requieren los diseños basados en transistores que se utilizan actualmente para las cargas de trabajo de aprendizaje automático, como el Wafer Scale Engine 2 de Cerebras, que batió récords.

Si bien nuestras sinapsis y neuronas son extremadamente impresionantes desde el punto de vista computacional, están limitadas por su medio «wetware»: el agua.

Si bien la conducción eléctrica del agua es suficiente para que nuestro cerebro funcione, estas señales eléctricas funcionan a través de potenciales débiles: señales de alrededor de 100 milivoltios que se propagan durante milisegundos, a través de árboles de neuronas interconectadas (las sinapsis corresponden a las uniones a través de las cuales las neuronas se comunican a través de señales eléctricas). Un problema es que el agua líquida se descompone con voltajes de 1,23 V, más o menos el mismo voltaje operativo que usan las mejores CPU actuales. Entonces, existe una dificultad en simplemente «reutilizar» los diseños biológicos para la computación.

“El mecanismo de trabajo del dispositivo es la inserción electroquímica del ion más pequeño, el protón, en un óxido aislante para modular su conductividad electrónica. Debido a que estamos trabajando con dispositivos muy delgados, podríamos acelerar el movimiento de este ion usando un fuerte campo eléctrico y empujar estos dispositivos iónicos al régimen de operación de nanosegundos”. explica la autora principal Bilge Yildiz, profesora Breene M. Kerr en los departamentos de Ciencia e Ingeniería Nuclear y Ciencia e Ingeniería de Materiales.

Otro problema es que las neuronas biológicas no están construidas en la misma escala que los transistores modernos. Son mucho más grandes, con tamaños que van desde 4 micras (0,004 mm) hasta 100 micras (0,1 mm) de diámetro. Cuando las últimas GPU disponibles ya llevan transistores en el rango de 6 nm (donde un nanómetro es 1000 veces más pequeño que una micra), casi puedes imaginar la diferencia de escala y cuántas más de estas neuronas artificiales puedes colocar en el mismo espacio. .

La investigación se centró en la creación de resistencias de estado sólido que, como su nombre lo indica, crean resistencia al paso de la electricidad. Es decir, resisten el movimiento ordenado de los electrones (partículas con carga negativa). Si usar material que resiste el movimiento de la electricidad (y que a su vez debería generar calor) suena contradictorio, bueno, lo es. Pero hay dos claras ventajas para el aprendizaje profundo analógico en comparación con su contraparte digital.

En primer lugar, al programar resistencias, incluye los datos necesarios para el entrenamiento en las propias resistencias. Cuando programa su resistencia (en este caso, aumentando o reduciendo la cantidad de protones en ciertas áreas del chip), está agregando valores a ciertas estructuras de chips. Esto significa que la información ya está presente en los chips analógicos: no hay necesidad de transportar más hacia los bancos de memoria externos, que es exactamente lo que sucede en la mayoría de los diseños de chips actuales (y RAM o VRAM). Todo esto ahorra latencia y energía.

En segundo lugar, los procesadores analógicos del MIT están diseñados en una matriz (¿recuerda los núcleos Tensor de Nvidia?). Esto significa que se parecen más a sus GPU que a sus CPU, ya que realizan operaciones en paralelo. Todo el cálculo ocurre simultáneamente.

El diseño de la resistencia protónica del MIT funciona a temperatura ambiente, que es más fácil de lograr que los 38,5 ºC a 40 ºC de nuestro cerebro. Sin embargo, también permite la modulación de voltaje, una característica requerida en cualquier chip moderno, que permite aumentar o disminuir el voltaje de entrada según los requisitos de la carga de trabajo, con consecuencias en el consumo de energía y la temperatura de salida.

Según los investigadores, sus resistencias son un millón de veces más rápidas (de nuevo, una cifra real) que los diseños de la generación anterior, debido a que están construidas con vidrio de fosfosilicato (PSG), un material inorgánico que es (sorpresa) compatible con las técnicas de fabricación de silicio. , porque es principalmente dióxido de silicio.

Ya lo ha visto usted mismo: PSG es el material desecante en polvo que se encuentra en esas pequeñas bolsas que vienen en la caja con nuevas piezas de hardware para eliminar la humedad.

“Con ese conocimiento clave y las poderosas técnicas de nanofabricación que tenemos en MIT.nanohemos podido juntar estas piezas y demostrar que estos dispositivos son intrínsecamente muy rápidos y funcionan con voltajes razonables”. dice el autor principal Jesús A. del Álamo, Profesor Donner en el Departamento de Ingeniería Eléctrica y Ciencias de la Computación (EECS) del MIT. “Este trabajo realmente ha puesto a estos dispositivos en un punto en el que ahora parecen realmente prometedores para futuras aplicaciones”.

Al igual que con los transistores, cuantas más resistencias haya en un área más pequeña, mayor será la densidad de cómputo. Cuando llega a cierto punto, esta red puede entrenarse para lograr tareas complejas de IA como el reconocimiento de imágenes y el procesamiento del lenguaje natural. Y todo esto se hace con requisitos de energía reducidos y un rendimiento extremadamente mayor.

Quizás la investigación de materiales salve a la Ley de Moore de su prematura muerte.

Source link-41

resistencias – Magazine Office

Las resistencias protónicas del MIT permiten que el aprendizaje profundo se dispare, en forma analógica