\n<\/aside>\n<\/p>\n
Los cient\u00edficos inform\u00e1ticos han descubierto una nueva forma de multiplicar matrices grandes m\u00e1s r\u00e1pido que nunca eliminando una ineficiencia previamente desconocida, informa Quanta Magazine. Esto podr\u00eda eventualmente acelerar los modelos de IA como ChatGPT, que dependen en gran medida de la multiplicaci\u00f3n de matrices para funcionar. Los hallazgos, presentados en dos art\u00edculos recientes, han llevado a lo que se considera la mayor mejora en la eficiencia de la multiplicaci\u00f3n de matrices en m\u00e1s de una d\u00e9cada.<\/p>\n
La multiplicaci\u00f3n de dos matrices de n\u00fameros rectangulares, conocida como multiplicaci\u00f3n de matrices, desempe\u00f1a un papel crucial en los modelos de IA actuales, incluido el reconocimiento de voz e im\u00e1genes, los chatbots de los principales proveedores, los generadores de im\u00e1genes de IA y los modelos de s\u00edntesis de v\u00eddeo como Sora. M\u00e1s all\u00e1 de la IA, las matem\u00e1ticas matriciales son tan importantes para la inform\u00e1tica moderna (piense en el procesamiento de im\u00e1genes y la compresi\u00f3n de datos) que incluso un ligero aumento en la eficiencia podr\u00eda generar ahorros computacionales y de energ\u00eda.<\/p>\n
Las unidades de procesamiento de gr\u00e1ficos (GPU) destacan en el manejo de tareas de multiplicaci\u00f3n de matrices debido a su capacidad para procesar muchos c\u00e1lculos a la vez. Dividen grandes problemas matriciales en segmentos m\u00e1s peque\u00f1os y los resuelven simult\u00e1neamente mediante un algoritmo.<\/p>\n
Perfeccionar ese algoritmo ha sido la clave para lograr avances en la eficiencia de la multiplicaci\u00f3n de matrices durante el \u00faltimo siglo, incluso antes de que las computadoras entraran en escena. En octubre de 2022, cubrimos una nueva t\u00e9cnica descubierta por un modelo de IA de Google DeepMind llamado AlphaTensor, centr\u00e1ndonos en mejoras algor\u00edtmicas pr\u00e1cticas para tama\u00f1os de matrices espec\u00edficos, como las matrices 4×4.<\/p>\n
Por el contrario, la nueva investigaci\u00f3n, realizada por Ran Duan y Renfei Zhou de la Universidad Tsinghua, Hongxun Wu de la Universidad de California, Berkeley, y por Virginia Vassilevska Williams, Yinzhan Xu y Zixuan Xu del Instituto Tecnol\u00f3gico de Massachusetts (en una segunda paper), busca mejoras te\u00f3ricas al apuntar a reducir el exponente de complejidad, \u03c9, para una amplia ganancia de eficiencia en todos los tama\u00f1os de matrices. En lugar de encontrar soluciones pr\u00e1cticas e inmediatas como AlphaTensor, la nueva t\u00e9cnica aborda mejoras fundamentales que podr\u00edan transformar la eficiencia de la multiplicaci\u00f3n de matrices a una escala m\u00e1s general.<\/p>\n\n Anuncio <\/span> <\/p>\n<\/aside>\nAcerc\u00e1ndose al valor ideal<\/h2>\n El m\u00e9todo tradicional para multiplicar dos matrices n por n requiere n\u00b3 multiplicaciones separadas. Sin embargo, la nueva t\u00e9cnica, que mejora el \u00abm\u00e9todo l\u00e1ser\u00bb introducido por Volker Strassen en 1986, ha reducido el l\u00edmite superior del exponente (denotado como el antes mencionado \u03c9), acerc\u00e1ndolo al valor ideal de 2, que representa el n\u00famero m\u00ednimo te\u00f3rico de operaciones necesarias.<\/p>\n
La forma tradicional de multiplicar dos cuadr\u00edculas llenas de n\u00fameros podr\u00eda requerir hacer los c\u00e1lculos hasta 27 veces para una cuadr\u00edcula de 3×3. Pero con estos avances, el proceso se acelera al reducir significativamente los pasos de multiplicaci\u00f3n necesarios. El esfuerzo minimiza las operaciones a poco m\u00e1s del doble del tama\u00f1o de un lado de la cuadr\u00edcula al cuadrado, ajustado por un factor de 2,371552. Esto es muy importante porque casi logra la eficiencia \u00f3ptima de duplicar las dimensiones del cuadrado, que es lo m\u00e1s r\u00e1pido que podr\u00edamos esperar hacerlo.<\/p>\n
He aqu\u00ed un breve resumen de los acontecimientos. En 2020, Josh Alman y Williams introdujeron una mejora significativa en la eficiencia de la multiplicaci\u00f3n de matrices al establecer un nuevo l\u00edmite superior para \u03c9 en aproximadamente 2,3728596. En noviembre de 2023, Duan y Zhou revelaron un m\u00e9todo que solucionaba una ineficiencia dentro del m\u00e9todo l\u00e1ser, estableciendo un nuevo l\u00edmite superior para \u03c9 en aproximadamente 2,371866. El logro marc\u00f3 el progreso m\u00e1s sustancial en este campo desde 2010. Pero solo dos meses despu\u00e9s, Williams y su equipo publicaron un segundo art\u00edculo que detallaba optimizaciones que redujeron el l\u00edmite superior de \u03c9 a 2,371552.<\/p>\n
El avance de 2023 surgi\u00f3 del descubrimiento de una \u00abp\u00e9rdida oculta\u00bb en el m\u00e9todo l\u00e1ser, donde se descartaban involuntariamente bloques de datos \u00fatiles. En el contexto de la multiplicaci\u00f3n de matrices, \u00abbloques\u00bb se refieren a segmentos m\u00e1s peque\u00f1os en los que se divide una matriz grande para facilitar el procesamiento, y el \u00abetiquetado de bloques\u00bb es la t\u00e9cnica de categorizar estos segmentos para identificar cu\u00e1les conservar y cu\u00e1les descartar, optimizando la proceso de multiplicaci\u00f3n para mayor velocidad y eficiencia. Al modificar la forma en que el m\u00e9todo l\u00e1ser etiqueta los bloques, los investigadores pudieron reducir el desperdicio y mejorar significativamente la eficiencia.<\/p>\n\n Anuncio <\/span> <\/p>\n<\/aside>\nSi bien la reducci\u00f3n de la constante omega puede parecer menor a primera vista (reducir el valor r\u00e9cord de 2020 en 0,0013076), el trabajo acumulativo de Duan, Zhou y Williams representa el progreso m\u00e1s sustancial en el campo observado desde 2010.<\/p>\n
\u00abSe trata de un gran avance t\u00e9cnico\u00bb, afirm\u00f3 William Kuszmaul, cient\u00edfico inform\u00e1tico te\u00f3rico de la Universidad de Harvard, citado por la revista Quanta. \u00abEs la mayor mejora en la multiplicaci\u00f3n de matrices que hemos visto en m\u00e1s de una d\u00e9cada\u00bb.<\/p>\n
Si bien se esperan mayores avances, el enfoque actual tiene limitaciones. Los investigadores creen que comprender el problema m\u00e1s profundamente conducir\u00e1 al desarrollo de algoritmos a\u00fan mejores. Como afirm\u00f3 Zhou en el informe Quanta: \u00abLa gente todav\u00eda se encuentra en las primeras etapas de comprensi\u00f3n de este antiguo problema\u00bb.<\/p>\n
\u00bfCu\u00e1les son entonces las aplicaciones pr\u00e1cticas? Para los modelos de IA, una reducci\u00f3n de los pasos computacionales para las matem\u00e1ticas matriciales podr\u00eda traducirse en tiempos de entrenamiento m\u00e1s r\u00e1pidos y una ejecuci\u00f3n m\u00e1s eficiente de las tareas. Podr\u00eda permitir entrenar modelos m\u00e1s complejos m\u00e1s r\u00e1pidamente, lo que podr\u00eda conducir a avances en las capacidades de IA y al desarrollo de aplicaciones de IA m\u00e1s sofisticadas. Adem\u00e1s, la mejora de la eficiencia podr\u00eda hacer que las tecnolog\u00edas de IA sean m\u00e1s accesibles al reducir la potencia computacional y el consumo de energ\u00eda necesarios para estas tareas. Eso tambi\u00e9n reducir\u00eda el impacto ambiental de la IA.<\/p>\n
El impacto exacto en la velocidad de los modelos de IA depende de la arquitectura espec\u00edfica del sistema de IA y de en qu\u00e9 medida sus tareas dependen de la multiplicaci\u00f3n de matrices. Los avances en la eficiencia algor\u00edtmica a menudo deben ir acompa\u00f1ados de optimizaciones de hardware para aprovechar al m\u00e1ximo las posibles ganancias de velocidad. Pero a\u00fan as\u00ed, a medida que las t\u00e9cnicas algor\u00edtmicas se vayan acumulando con el tiempo, la IA acabar\u00e1 volvi\u00e9ndose m\u00e1s r\u00e1pida.<\/p>\n<\/p><\/div>\n
Source link-49<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"Agrandar \/ Cuando haces matem\u00e1ticas en una computadora, vuelas a trav\u00e9s de un t\u00fanel num\u00e9rico como este (en sentido figurado, por supuesto). Los cient\u00edficos inform\u00e1ticos han descubierto una nueva forma…<\/p>\n","protected":false},"author":1,"featured_media":1046892,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[21980],"tags":[6019,2589,30347,84,105552,10010,21365,709,2749],"_links":{"self":[{"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/posts\/1046891"}],"collection":[{"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/comments?post=1046891"}],"version-history":[{"count":1,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/posts\/1046891\/revisions"}],"predecessor-version":[{"id":1046893,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/posts\/1046891\/revisions\/1046893"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/media\/1046892"}],"wp:attachment":[{"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/media?parent=1046891"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/categories?post=1046891"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/tags?post=1046891"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}