NVIDIA ha anunciado que los LLM Llama 3 de Meta se crearon con GPU NVIDIA y est\u00e1n optimizados para ejecutarse en todas las plataformas, desde servidores hasta PC.<\/p>\n
Los LLM de IA Llama 3 de pr\u00f3xima generaci\u00f3n de Meta ya est\u00e1n aqu\u00ed y NVIDIA es la fuerza impulsora detr\u00e1s de ellos, soporte optimizado en PC en la nube, perimetrales y RTX<\/h2>\n
Presione soltar:<\/strong> NVIDIA anunci\u00f3 hoy optimizaciones en todas sus plataformas para acelerar Meta Llama 3, la \u00faltima generaci\u00f3n del modelo de lenguaje grande (LLM). El modelo abierto combinado con la computaci\u00f3n acelerada de NVIDIA equipa a desarrolladores, investigadores y empresas para innovar de manera responsable en una amplia variedad de aplicaciones.<\/p>\n Los metaingenieros entrenaron a Llama 3 en un grupo de computadoras que incluye 24,576 GPU H100 Tensor Core, conectadas con una red Quantum-2 InfiniBand. Con el apoyo de NVIDIA, Meta ajust\u00f3 sus arquitecturas de red, software y modelos para su LLM insignia.<\/p>\n Para avanzar a\u00fan m\u00e1s en el estado del arte en IA generativa, Meta describi\u00f3 recientemente sus planes para escalar su infraestructura a 350.000 GPU H100.<\/p>\n Las versiones de Llama 3, aceleradas en GPU NVIDIA, est\u00e1n disponibles hoy para su uso en la nube, el centro de datos, el per\u00edmetro y la PC.<\/p>\n Las empresas pueden ajustar Llama 3 con sus datos utilizando NVIDIA NeMo, un marco de c\u00f3digo abierto para LLM que forma parte de la plataforma segura y compatible con NVIDIA AI Enterprise. Los modelos personalizados se pueden optimizar para la inferencia con NVIDIA TensorRT-LLM e implementar con Triton Inference Server.<\/p>\n Llama 3 tambi\u00e9n se ejecuta en Jetson Orin para rob\u00f3tica y dispositivos inform\u00e1ticos de vanguardia, creando agentes interactivos como los del Jetson AI Lab. Adem\u00e1s, las GPU RTX y GeForce RTX para estaciones de trabajo y PC aceleran la inferencia en Llama 3. Estos sistemas ofrecen a los desarrolladores un objetivo de m\u00e1s de 100 millones de sistemas acelerados por NVIDIA en todo el mundo.<\/p>\n Las mejores pr\u00e1cticas al implementar un LLM para un chatbot implican un equilibrio entre baja latencia, buena velocidad de lectura y uso \u00f3ptimo de GPU para reducir costos. Un servicio de este tipo necesita entregar tokens (el equivalente aproximado de palabras para un LLM) a aproximadamente el doble de la velocidad de lectura del usuario, que es de aproximadamente 10 tokens\/segundo.<\/p>\n Aplicando estas m\u00e9tricas, una sola GPU NVIDIA H200 Tensor Core gener\u00f3 alrededor de 3000 tokens\/segundo (suficiente para atender a unos 300 usuarios simult\u00e1neos) en una prueba inicial utilizando la versi\u00f3n de Llama 3 con 70 mil millones de par\u00e1metros. Eso significa que un \u00fanico servidor NVIDIA HGX con ocho GPU H200 podr\u00eda entregar 24.000 tokens\/segundo, optimizando a\u00fan m\u00e1s los costos al admitir a m\u00e1s de 2.400 usuarios al mismo tiempo.<\/p>\n Para dispositivos de borde, la versi\u00f3n de Llama 3 con ocho mil millones de par\u00e1metros gener\u00f3 hasta 40 tokens\/segundo en Jetson AGX Orin y 15 tokens\/segundo en Jetson Orin Nano.<\/p>\n NVIDIA, un colaborador activo de c\u00f3digo abierto, se compromete a optimizar el software comunitario que ayuda a los usuarios a abordar sus desaf\u00edos m\u00e1s dif\u00edciles. Los modelos de c\u00f3digo abierto tambi\u00e9n promueven la transparencia de la IA y permiten a los usuarios compartir ampliamente el trabajo sobre la seguridad y la resiliencia de la IA.<\/p>\nCapacitado en IA de NVIDIA<\/b><\/h2>\n
Poniendo a Llama 3 a trabajar<\/b><\/h2>\n
![\"Las](\"https:\/\/cdn.wccftech.com\/wp-content\/uploads\/2023\/11\/NVIDIA-TensorRT-LLM-For-Windows-PC-RTX-GPUs.png\")
<\/div>Llevando Llama 3 a dispositivos y PC<\/b><\/h2>\n
Obtenga un rendimiento \u00f3ptimo con Llama 3<\/b><\/h2>\n
Avanzando en los modelos comunitarios<\/b><\/h2>\n