Meta ha lanzado la \u00faltima entrada en su serie Llama de modelos de IA generativa abierta: Llama 3. O, m\u00e1s exactamente, la compa\u00f1\u00eda ha presentado dos modelos en su nueva familia Llama 3, y el resto llegar\u00e1 en una fecha futura no especificada.<\/p>\n
Meta describe los nuevos modelos (Llama 3 8B, que contiene 8 mil millones de par\u00e1metros, y Llama 3 70B, que contiene 70 mil millones de par\u00e1metros) como un \u00abgran salto\u00bb en comparaci\u00f3n con los modelos Llama de la generaci\u00f3n anterior, Llama 2 8B y Llama 2 70B. En cuanto al rendimiento. (Los par\u00e1metros definen esencialmente la habilidad de un modelo de IA en un problema, como analizar y generar texto; los modelos con un mayor n\u00famero de par\u00e1metros son, en t\u00e9rminos generales, m\u00e1s capaces que los modelos con un menor n\u00famero de par\u00e1metros). De hecho, Meta dice que, por ejemplo, sus respectivos recuentos de par\u00e1metros, Llama 3 8B y Llama 3 70B – <\/span>entrenados en dos cl\u00fasteres de 24.000 GPU personalizados, est\u00e1n se encuentran entre los modelos de IA generativa de mejor rendimiento disponibles en la actualidad.<\/span><\/p>\n Es una gran afirmaci\u00f3n. Entonces, \u00bfc\u00f3mo lo apoya Meta? Bueno, la compa\u00f1\u00eda se\u00f1ala las puntuaciones de los modelos Llama 3 en puntos de referencia de IA populares como MMLU (que intenta medir el conocimiento), ARC (que intenta medir la adquisici\u00f3n de habilidades) y DROP (que prueba el razonamiento de un modelo en fragmentos de texto). Como hemos escrito antes, la utilidad (y validez) de estos puntos de referencia es objeto de debate. Pero para bien o para mal, siguen siendo una de las pocas formas estandarizadas mediante las cuales los jugadores de IA como Meta eval\u00faan sus modelos.<\/p>\n Llama 3 8B supera a otros modelos abiertos como Mistral 7B de Mistral y Gemma 7B de Google, los cuales contienen 7 mil millones de par\u00e1metros, en al menos nueve puntos de referencia: MMLU, ARC, DROP, GPQA (un conjunto de biolog\u00eda, f\u00edsica y qu\u00edmica). preguntas relacionadas), HumanEval (una prueba de generaci\u00f3n de c\u00f3digo), GSM-8K (problemas escritos de matem\u00e1ticas), MATH (otro punto de referencia de matem\u00e1ticas), AGIEval (un conjunto de pruebas de resoluci\u00f3n de problemas) y BIG-Bench Hard (una evaluaci\u00f3n de razonamiento de sentido com\u00fan).<\/p>\n Ahora, Mistral 7B y Gemma 7B no est\u00e1n exactamente a la vanguardia (Mistral 7B se lanz\u00f3 en septiembre pasado), y en algunos de los puntos de referencia que cita Meta, Llama 3 8B obtiene solo unos pocos puntos porcentuales m\u00e1s que cualquiera de los dos. Pero Meta tambi\u00e9n afirma que el modelo Llama 3 con mayor n\u00famero de par\u00e1metros, Llama 3 70B, es competitivo con los modelos emblem\u00e1ticos de IA generativa, incluido el Gemini 1.5 Pro, el \u00faltimo de la serie Gemini de Google.<\/p>\n Cr\u00e9ditos de imagen:<\/strong> Meta<\/p>\n<\/div>\n Llama 3 70B supera a Gemini 1.5 Pro en MMLU, HumanEval y GSM-8K y, aunque no rivaliza con el modelo m\u00e1s potente de Anthropic, Claude 3 Opus, Llama 3 70B obtiene una puntuaci\u00f3n mejor que el segundo modelo m\u00e1s d\u00e9bil de la serie Claude 3. Claude 3 Sonnet, sobre cinco puntos de referencia (MMLU, GPQA, HumanEval, GSM-8K y MATH).<\/p>\n Cr\u00e9ditos de imagen:<\/strong> Meta<\/p>\n<\/div>\n Por si sirve de algo, Meta tambi\u00e9n desarroll\u00f3 su propio conjunto de pruebas que cubre casos de uso que van desde codificaci\u00f3n y escritura creativa hasta razonamiento y resumen, y \u00a1sorpresa! \u2014 Llama 3 70B venci\u00f3 al modelo Mistral Medium de Mistral, GPT-3.5 de OpenAI y Claude Sonnet. Meta dice que impidi\u00f3 que sus equipos de modelos accedieran al set para mantener la objetividad, pero obviamente, dado que Meta mismo ide\u00f3 la prueba, los resultados deben tomarse con cautela.<\/p>\n Cr\u00e9ditos de imagen:<\/strong> Meta<\/p>\n<\/div>\n Desde un punto de vista m\u00e1s cualitativo, Meta dice que los usuarios de los nuevos modelos Llama deber\u00edan esperar m\u00e1s \u00abdirigibilidad\u00bb, una menor probabilidad de negarse a responder preguntas y una mayor precisi\u00f3n en preguntas de trivia, preguntas relacionadas con la historia y los campos STEM, como la ingenier\u00eda, la ciencia y la codificaci\u00f3n general. recomendaciones. Esto se debe en parte a un conjunto de datos mucho m\u00e1s grande: una colecci\u00f3n de 15 billones de tokens, o la alucinante cantidad de ~750.000.000.000 de palabras, siete veces el tama\u00f1o del conjunto de entrenamiento de Llama 2. (En el campo de la IA, \u201ctokens\u201d se refiere a bits subdivididos de datos sin procesar, como las s\u00edlabas \u201cfan\u201d, \u201ctas\u201d y \u201ctic\u201d en la palabra \u201cfant\u00e1stico\u201d).<\/p>\n \u00bfDe d\u00f3nde vinieron estos datos? Buena pregunta. Meta no lo dijo, y solo revel\u00f3 que se bas\u00f3 en \u00abfuentes disponibles p\u00fablicamente\u00bb, incluy\u00f3 cuatro veces m\u00e1s c\u00f3digo que en el conjunto de datos de entrenamiento de Llama 2 y que el 5% de ese conjunto tiene datos que no est\u00e1n en ingl\u00e9s (en ~30 idiomas) para mejorar. rendimiento en idiomas distintos del ingl\u00e9s. Meta tambi\u00e9n dijo que utiliz\u00f3 datos sint\u00e9ticos, es decir, datos generados por IA, para crear documentos m\u00e1s largos para que los modelos Llama 3 se entrenaran, un enfoque algo controvertido debido a los posibles inconvenientes de rendimiento.<\/p>\n \u00abSi bien los modelos que lanzamos hoy solo est\u00e1n ajustados para los resultados en ingl\u00e9s, la mayor diversidad de datos ayuda a los modelos a reconocer mejor los matices y patrones, y a desempe\u00f1arse con fuerza en una variedad de tareas\u00bb, escribe Meta en una publicaci\u00f3n de blog compartida con TechCrunch.<\/p>\n Muchos proveedores de IA generativa ven los datos de entrenamiento como una ventaja competitiva y, por lo tanto, los mantienen junto con la informaci\u00f3n correspondiente cerca del cofre. Pero los detalles de los datos de capacitaci\u00f3n tambi\u00e9n son una fuente potencial de demandas relacionadas con la propiedad intelectual, otro desincentivo para revelar mucho. Informes recientes revelaron que Meta, en su b\u00fasqueda por mantener el ritmo con sus rivales en IA, en un momento utiliz\u00f3 libros electr\u00f3nicos protegidos por derechos de autor para la capacitaci\u00f3n en IA a pesar de las advertencias de los propios abogados de la compa\u00f1\u00eda; Meta y OpenAI son objeto de una demanda en curso presentada por autores, incluida la comediante Sarah Silverman, por el presunto uso no autorizado de datos protegidos por derechos de autor por parte de los proveedores para capacitaci\u00f3n.<\/p>\n Entonces, \u00bfqu\u00e9 pasa con la toxicidad y el sesgo, otros dos problemas comunes con los modelos de IA generativa (incluido Llama 2)? \u00bfLlama 3 mejora en esas \u00e1reas? S\u00ed, afirma Meta.<\/p>\n Meta dice que desarroll\u00f3 nuevos canales de filtrado de datos para mejorar la calidad de los datos de entrenamiento de sus modelos y que ha actualizado su par de suites de seguridad de IA generativa, Llama Guard y CybersecEval, para intentar evitar el uso indebido y la generaci\u00f3n de texto no deseado. Modelos Llama 3 y otros. La compa\u00f1\u00eda tambi\u00e9n est\u00e1 lanzando una nueva herramienta, Code Shield, dise\u00f1ada para detectar c\u00f3digo de modelos generativos de IA que podr\u00edan introducir vulnerabilidades de seguridad.<\/p>\n Sin embargo, el filtrado no es infalible y herramientas como Llama Guard, CyberSecEval y Code Shield solo llegan hasta cierto punto. (Ver: La tendencia de Llama 2 a inventar respuestas a preguntas y filtrar informaci\u00f3n privada de salud y financiera). Tendremos que esperar y ver c\u00f3mo se desempe\u00f1an los modelos Llama 3 en la naturaleza, incluidas las pruebas de acad\u00e9micos en puntos de referencia alternativos.<\/p>\n Meta dice que los modelos Llama 3, que ya est\u00e1n disponibles para descargar y que impulsan el asistente Meta AI de Meta en Facebook, Instagram, WhatsApp, Messenger y la web, pronto se alojar\u00e1n en forma administrada en una amplia gama de plataformas en la nube, incluida AWS. Databricks, Google Cloud, Hugging Face, Kaggle, WatsonX de IBM, Microsoft Azure, NIM de Nvidia y Snowflake. En el futuro tambi\u00e9n estar\u00e1n disponibles versiones de los modelos optimizados para hardware de AMD, AWS, Dell, Intel, Nvidia y Qualcomm.<\/p>\n Los modelos Llama 3 podr\u00edan estar ampliamente disponibles. Pero notar\u00e1s que usamos \u00ababierto\u00bb para describirlos en lugar de \u00abc\u00f3digo abierto\u00bb. Esto se debe a que, a pesar de las afirmaciones de Meta, su familia de modelos Llama no es tan sencilla como la gente cree. S\u00ed, est\u00e1n disponibles tanto para aplicaciones comerciales como de investigaci\u00f3n. Sin embargo, Meta proh\u00edbe a los desarrolladores utilizar modelos Llama para entrenar otros modelos generativos, mientras que los desarrolladores de aplicaciones con m\u00e1s de 700 millones de usuarios mensuales deben solicitar una licencia especial a Meta que la empresa otorgar\u00e1 (o no) seg\u00fan su discreci\u00f3n.<\/p>\n Hay modelos Llama m\u00e1s capaces en el horizonte.<\/p>\n Meta dice que actualmente est\u00e1 entrenando modelos Llama 3 con m\u00e1s de 400 mil millones de par\u00e1metros de tama\u00f1o: modelos con la capacidad de \u00abconversar en m\u00faltiples idiomas\u00bb, tomar m\u00e1s datos y comprender im\u00e1genes y otras modalidades, as\u00ed como texto, lo que traer\u00eda la serie Llama 3. en l\u00ednea con lanzamientos abiertos como Idefics2 de Hugging Face.<\/p>\n Cr\u00e9ditos de imagen:<\/strong> Meta<\/p>\n<\/div>\n \u201cNuestro objetivo en el futuro cercano es hacer que Llama 3 sea multiling\u00fce y multimodal, tenga un contexto m\u00e1s amplio y contin\u00fae mejorando el rendimiento general en todos los aspectos principales. [large language model] capacidades como el razonamiento y la codificaci\u00f3n\u201d, escribe Meta en una publicaci\u00f3n de blog. \u00abHay mucho m\u00e1s por venir\u00bb.<\/p>\n En efecto.<\/p>\n<\/p><\/div>\n![\"Metallama](\"https:\/\/techcrunch.com\/wp-content\/uploads\/2024\/04\/Screenshot_2024-04-18_at_11.49.24a_\u00afAM-transformed.png\")
<\/p>\n![\"Metallama](\"https:\/\/techcrunch.com\/wp-content\/uploads\/2024\/04\/Screenshot-2024-04-18-at-11.54.48\u202fAM.png\")
<\/p>\n![\"Metallama](\"https:\/\/techcrunch.com\/wp-content\/uploads\/2024\/04\/Screenshot-2024-04-18-at-11.49.35\u202fAM.png\")
<\/p>\n