En su conferencia re:Invent de hoy, el brazo de nube AWS de Amazon anunci\u00f3 el lanzamiento de SageMaker HyperPod, un nuevo servicio dise\u00f1ado espec\u00edficamente para capacitar y ajustar modelos de lenguajes grandes (LLM). SageMaker HyperPod ya est\u00e1 disponible de forma generalizada.<\/p>\n
Amazon lleva mucho tiempo apostando por SageMaker, su servicio para construir, entrenar e implementar modelos de aprendizaje autom\u00e1tico, como columna vertebral de su estrategia de aprendizaje autom\u00e1tico. Ahora, con la llegada de la IA generativa, tal vez no sorprenda que tambi\u00e9n se apoye en SageMaker como producto principal para facilitar a sus usuarios la capacitaci\u00f3n y el ajuste de los LLM.<\/p>\n
Cr\u00e9ditos de imagen:<\/strong> AWS<\/p>\n<\/div>\n \u00abSageMaker HyperPod le brinda la capacidad de crear un cl\u00faster distribuido con instancias aceleradas optimizadas para la capacitaci\u00f3n distribuida\u00bb, me dijo Ankur Mehrotra, gerente general de AWS para SageMaker, en una entrevista antes del anuncio de hoy. \u00abLe brinda las herramientas para distribuir modelos y datos de manera eficiente en su cl\u00faster, y eso acelera su proceso de capacitaci\u00f3n\u00bb.<\/p>\n Tambi\u00e9n se\u00f1al\u00f3 que SageMaker HyperPod permite a los usuarios guardar puntos de control con frecuencia, lo que les permite pausar, analizar y optimizar el proceso de capacitaci\u00f3n sin tener que empezar de nuevo. El servicio tambi\u00e9n incluye una serie de medidas de seguridad para que, cuando una GPU deje de funcionar por alg\u00fan motivo, todo el proceso de capacitaci\u00f3n no falle tambi\u00e9n.<\/p>\n \u00abPara un equipo de ML, por ejemplo, eso solo est\u00e1 interesado en entrenar el modelo; para ellos, se convierte en una experiencia sin contacto y el cl\u00faster se convierte en una especie de cl\u00faster de autocuraci\u00f3n en cierto sentido\u00bb, explic\u00f3 Mehrotra. \u00abEn general, estas capacidades pueden ayudarle a entrenar modelos b\u00e1sicos hasta un 40% m\u00e1s r\u00e1pido, lo cual, si piensa en el costo y el tiempo de comercializaci\u00f3n, es un gran diferenciador\u00bb.<\/p>\n Cr\u00e9ditos de imagen:<\/strong> AWS<\/p>\n<\/div>\n Los usuarios pueden optar por entrenar con los chips Trainium (y ahora Trainium 2) personalizados de Amazon o con instancias de GPU basadas en Nvidia, incluidas aquellas que utilizan el procesador H100. La empresa promete que HyperPod puede acelerar el proceso de formaci\u00f3n hasta en un 40%.<\/p>\n La empresa ya tiene cierta experiencia en este uso de SageMaker para crear LLM. El modelo Falcon 180B, por ejemplo, se entren\u00f3 en SageMaker, utilizando un grupo de miles de GPU A100. Mehrotra se\u00f1al\u00f3 que AWS pudo aprovechar lo que aprendi\u00f3 de eso y su experiencia previa con el escalamiento de SageMaker para construir HyperPod.<\/p>\n Cr\u00e9ditos de imagen:<\/strong> AWS<\/p>\n<\/div>\n El cofundador y director ejecutivo de Perplexity AI, Aravind Srinivas, me dijo que su empresa obtuvo acceso temprano al servicio durante su versi\u00f3n beta privada. Se\u00f1al\u00f3 que inicialmente su equipo se mostr\u00f3 esc\u00e9ptico acerca del uso de AWS para entrenar y ajustar sus modelos.<\/p>\n \u00abNo trabajamos con AWS antes\u00bb, dijo. \u00abHab\u00eda un mito (es un mito, no un hecho) de que AWS no tiene una gran infraestructura para la capacitaci\u00f3n de modelos grandes y obviamente no ten\u00edamos tiempo para hacer la debida diligencia, as\u00ed que lo cre\u00edmos\u00bb. Sin embargo, el equipo se conect\u00f3 con AWS y los ingenieros les pidieron que probaran el servicio (gratis). Tambi\u00e9n se\u00f1al\u00f3 que le result\u00f3 f\u00e1cil obtener soporte de AWS y acceso a suficientes GPU para el caso de uso de Perplexity. Obviamente ayud\u00f3 que el equipo ya estuviera familiarizado con la realizaci\u00f3n de inferencias en AWS.<\/p>\n Srinivas tambi\u00e9n destac\u00f3 que el equipo de AWS HyperPod se centr\u00f3 fuertemente en acelerar las interconexiones que vinculan las tarjetas gr\u00e1ficas de Nvidia. \u00abFueron y optimizaron las primitivas (las diversas primitivas de Nvidia) que le permiten comunicar estos gradientes y par\u00e1metros a trav\u00e9s de diferentes nodos\u00bb, explic\u00f3.<\/p>\n![\"\"](\"https:\/\/techcrunch.com\/wp-content\/uploads\/2023\/11\/Screenshot-2023-11-29-at-7.37.15-AM.png\")
<\/p>\n![\"\"](\"https:\/\/techcrunch.com\/wp-content\/uploads\/2023\/11\/Screenshot-2023-11-29-at-9.21.07-AM.png\")
<\/p>\n![\"Lea](\"https:\/\/techcrunch.com\/wp-content\/uploads\/2023\/11\/aws-reinvent-2023-banner.jpg\")
<\/p>\n<\/p><\/div>\n