Los modelos de lenguajes grandes (LLM) consumen excepcionalmente muchos recursos de CPU y memoria, pero se dice que Apple está experimentando con el almacenamiento de esta tecnología en almacenamiento flash, lo que probablemente la hará fácilmente accesible en múltiples dispositivos. Sin embargo, el gigante tecnológico también desea que los LLM sean omnipresentes en su línea de iPhone y Mac y está explorando formas de hacerlo posible.

Almacenar LLM en la memoria flash ha sido difícil; Apple pretende solucionar este problema en máquinas con capacidad limitada

En condiciones típicas, los modelos de lenguajes grandes requieren aceleradores de IA y una alta capacidad de DRAM para almacenarse. Según lo informado por TechPowerUp, Apple está trabajando para llevar la misma tecnología, pero a dispositivos con capacidad de memoria limitada. En un artículo recientemente publicado, Apple publicó un artículo que tiene como objetivo llevar los LLM a dispositivos con capacidad de memoria limitada. Los iPhone también tienen memoria limitada, por lo que los investigadores de Apple han desarrollado una técnica que utiliza chips flash para almacenar los datos del modelo de IA.

Dado que la memoria flash está disponible en abundancia en los iPhone y computadoras Mac de Apple, existe una manera de evitar esta limitación con una técnica llamada ventanas. En este método, el modelo de IA reutiliza algunos de los datos que ya ha procesado, lo que reduce la necesidad de búsqueda continua de memoria y acelera todo el proceso. La segunda técnica es Agrupación de filas y columnas; Los datos se pueden agrupar de manera más eficiente, lo que permite que el modelo de IA lea datos de la memoria flash más rápido y acelere su capacidad de comprensión.

Ambas técnicas y otros métodos permitirán que los modelos de IA ejecuten hasta el doble del tamaño de la RAM disponible del iPhone, lo que resultará en un aumento de velocidad hasta 5 veces en procesadores estándar y hasta 25 veces más rápido en procesadores gráficos. Hay mucha evidencia que sugiere que Apple se toma en serio la IA, comenzando con su propio chatbot, que internamente se llama Apple GPT. También se rumorea que el iPhone 16 del próximo año contará con micrófonos mejorados, lo que será costoso para la empresa pero permitirá una entrada de voz mejorada, que será necesaria para permitir que Siri realice una multitud de tareas.

También se rumorea que alguna forma de IA generativa se incorporará a iOS 18 cuando llegue oficialmente el próximo año, por lo que, si bien Apple ha estado detrás de empresas como OpenAI, Google, Amazon y otros, esa brecha podría disminuir considerablemente en 2024. , llevar esta tecnología a iPhones, iPads y Mac con memoria limitada podría darles a estos dispositivos un punto de venta único, pero primero tendremos que ver cómo funcionan los LLM almacenados en memoria flash.

Hoy, el editor Boombox Games y el desarrollador 30 Parallel anunciaron que traerán Terra Alia a Cambiar. Estará disponible el 11 de octubre de 2023.

El juego, que anteriormente estuvo disponible para PC, es un juego de rol de descubrimiento de idiomas misterioso y mágico. Para obtener más información al respecto, consulte la siguiente descripción general:

En un mundo atormentado por una codicia insaciable por la magia y la tecnología, el profesor Esperanto se erige como un bastión de la justicia y la igualdad, luchando por el derecho fundamental de todos los seres a acceder a las artes arcanas. La influyente maestra te ha invitado a estar bajo su tutela para estudiar brujería, pero antes de llegar, de repente desaparece sin dejar rastro.

En su lugar sólo quedan su querido compañero droide místico, Falco, y un trozo de piedra encantada. Busca las cinco piezas restantes de la piedra, cada una codificada con mensajes ocultos del Profesor, para descubrir la verdad de su inesperada desaparición.

Elige una lengua nativa y domina el idioma local para lanzar hechizos imponentes, desbloquear poderosas habilidades y resolver acertijos desconcertantes. Descubra las habilidades de combate únicas de Falco en medio de batallas con deidades antiguas, robots malvados, magos malévolos y, ocasionalmente, estudiantes agresivos de la academia. Atraviesa los reinos de Terra Alia y encuentra razas míticas como enanos, elfos y orcos. Evalúe su carácter, pero sepa que incluso las personas aparentemente amables pueden tener motivos ocultos.

Utilice una variedad de lengua vernácula defensiva y ofensiva en uno de los 10 idiomas a la vez, incluidos inglés americano, francés, italiano, alemán, español castellano, japonés, coreano, portugués brasileño, ruso y chino simplificado para dar forma al futuro de esta fantasía y techno. -mundo impulsado.

Mira un avance de Terra Alia a continuación.

Tráiler de fecha de lanzamiento

Tenga en cuenta que una extensión de cómic de 24 páginas, escrita por el galardonado autor Sylvain Runberg (mejor conocido por su adaptación de la serie Millennium de Stieg Larsson leída por más de un millón de ávidos lectores de cómics), lanzará su primer capítulo de forma gratuita junto con el Lanzamiento de Switch el 11 de octubre de 2023. Sigue a cinco adolescentes desfavorecidos a través de una historia tecno-mágica de desigualdad, supervivencia y valentía.

Relacionado

NVIDIA anuncia hoy una nueva pila de software de inteligencia artificial conocida como TensorRT LLM que aumenta el rendimiento de los modelos de lenguajes grandes en sus GPU.

NVIDIA TensorRT-LLM ofrece una ganancia de hasta 8 veces en el rendimiento del modelo de lenguaje grande en las GPU Hopper AI

TensorRT-LLM de NVIDIA se anuncia como una biblioteca de código abierto altamente optimizada que permite el rendimiento de inferencia más rápido en todos los modelos de lenguajes grandes con las GPU de IA de NVIDIA como Hopper. NVIDIA ha trabajado con todos los LLM dentro de la comunidad de código abierto para optimizar sus GPU mediante la utilización de los últimos núcleos de IA con técnicas de vanguardia como SmoothQuant, FlashAttention y fMHA. La base de código abierto incluye versiones optimizadas para inferencia SOTA listas para ejecutar de LLM como GPT-3 (175B), Llama Falcom (180B) y Bloom, solo por nombrar algunos.

TensorRT-LLM también está optimizado para realizar paralelización automática en múltiples servidores NVLINK con interconexión Infiniband. Anteriormente, a los servidores se les debía asignar manualmente un modelo de lenguaje grande en múltiples servidores/GPU, lo que ya no debería ser el caso con Tensor-RT LLM.

Una de las actualizaciones más importantes que trae TensorRT-LLM es la forma de un nuevo programador conocido como procesamiento por lotes en vuelo que permite que el trabajo entre y salga de la GPU independientemente de otras tareas. Permite el procesamiento dinámico de varias consultas más pequeñas mientras procesa solicitudes grandes con uso intensivo de computación en la misma GPU. Todo este proceso hace que la GPU sea más eficiente y genera enormes ganancias en el rendimiento de GPU como la H100, hasta el doble para ser exactos.

La pila TensorRT-LLM también está optimizada en torno al motor Transformer de Hopper y sus capacidades informáticas FP8. La biblioteca ofrece conversión automática de FP8, un compilador DL ​​para fusión de kernel y un optimizador de precisión mixta junto con soporte para el algoritmo Smoothquaint propio de NVIDIA que permite un rendimiento de cuantificación de 8 bits sin pérdida de precisión.

En cuanto a las cifras de rendimiento, NVIDIA compara el rendimiento del A100 con el H100 en agosto y el rendimiento del H100 con TensorRT-LLM. En GPT-J 6B (Inferencia), el H100 ya ofrecía una ganancia de 4x, pero con TensorRT-LLM, la compañía duplica el rendimiento, lo que lleva a una ganancia de 8x en esta prueba específica. En Llama2, vemos una ganancia de hasta 5x con TensorRT LLM y casi una ganancia de 2x sobre el H100 estándar sin TensorRT-LLM.

NVIDIA afirma que están trabajando con todas las cargas de trabajo de inferencia líderes, como Meta, Grammarly, Deci, anyscale, etc. para acelerar sus LLM utilizando TensorRT-LLM. En cuanto a la disponibilidad, TensorRT-LLM está disponible en acceso temprano ahora y se espera un lanzamiento completo el próximo mes. En cuanto al soporte, TensorRT-LLM será compatible con todas las GPU de inteligencia artificial y centros de datos de NVIDIA que están en producción actualmente, como A100, H100, L4, L40, L40S, HGX, Grace Hopper, etc.

Bard, el competidor de ChatGPT de Google, adquirió hoy una nueva habilidad: la capacidad de ayudarnos a escribir y depurar código en más de 20 lenguajes de programación diferentes.

Como explica Paige Bailey, Group Product Manager en Google Research, en una entrada de blog(Se abre en una nueva ventana)«A partir de ahora, Bard puede ayudar con las tareas de programación y desarrollo de software, incluida la generación de código, la depuración y la explicación del código».

Las habilidades de programación de Bard se extienden a más de 20 idiomas, incluidos lenguajes populares como C ++, Go, Java, JavaScript, Python, Typescript e incluso funciones de Hojas de cálculo de Google. El código de Python también se puede exportar a Google Colab sin necesidad de copiar y pegar, lo que permite una fácil ejecución del código en su navegador web.

Si el código producido arroja algún mensaje de error, Bard lo ayudará a depurarlo si le dice al chatbot «este código no funcionó, arréglelo». Si no entiende un fragmento de código, Bard se lo explicará y puede pedirle que examine fragmentos de código específicos. Por ejemplo, podría pedirle a Bard que «me cuente sobre el código dentro del repositorio de GitHub de google/jax». Y si un fragmento de código es demasiado lento para sus necesidades, simplemente pregúntele a Bard «¿Podría hacer ese código más rápido?» y se pondrá a trabajar acelerándolo,

Bailey dice que la capacidad de generación, depuración y explicación de código de Bard «es particularmente útil si está aprendiendo sobre programación por primera vez». Sin embargo, Google desea recordarnos que Bard aún es solo un experimento inicial y puede producir «información inexacta, engañosa o falsa mientras la presenta con confianza».

Cualquiera que esté preocupado por el código que produce Bard que se cita textualmente de un proyecto de código abierto existente sin citar la fuente puede relajarse. Google dice que la cita se incluirá si Bard cita extensamente de un proyecto.

NETZWELT puede recibir una comisión del minorista por los enlaces en este sitio. Más información.

La próxima versión del linux kernel incluirá soporte para el popular lenguaje de programación Rust, se ha confirmado.

Según lo informado por El registro (se abre en una pestaña nueva)Linus Torvalds, el creador de Linux, ahora ha aceptado una solicitud de incorporación de cambios que brindará compatibilidad con Rust al kernel con la versión 6.1.

A medida que crece el interés en torno a los grandes modelos de IA, en particular los modelos de lenguaje grande (LLM) como GPT-3 de OpenAI, Nvidia busca sacar provecho de los nuevos servicios totalmente administrados y basados ​​en la nube orientados a los desarrolladores de software empresarial. Hoy, en la conferencia GTC de otoño de 2022 de la compañía, Nvidia anunció NeMo LLM Service y BioNeMo LLM Service, que aparentemente facilitan la adaptación de LLM y la implementación de aplicaciones impulsadas por IA para una variedad de casos de uso que incluyen generación y resumen de texto, predicción de estructura de proteínas y más.

Las nuevas ofertas son parte de NeMo de Nvidia, un conjunto de herramientas de código abierto para IA conversacional, y están diseñadas para minimizar, o incluso eliminar, la necesidad de que los desarrolladores construyan LLM desde cero. Los LLM suelen ser costosos de desarrollar y capacitar, con un modelo reciente, PaLM de Google, que cuesta entre $ 9 millones y $ 23 millones aprovechando los recursos informáticos en la nube disponibles públicamente.

Con el servicio NeMo LLM, los desarrolladores pueden crear modelos que varían en tamaño desde 3 mil millones hasta 530 mil millones de parámetros con datos personalizados en minutos u horas, afirma Nvidia. (Los parámetros son las partes del modelo aprendidas de los datos de entrenamiento históricos; en otras palabras, las variables que informan las predicciones del modelo, como el texto que genera). Los modelos se pueden personalizar usando una técnica llamada aprendizaje rápido, que según Nvidia permite a los desarrolladores Adapte modelos entrenados con miles de millones de puntos de datos para aplicaciones particulares específicas de la industria, por ejemplo, un chatbot de servicio al cliente, utilizando unos pocos cientos de ejemplos.

Los desarrolladores pueden personalizar modelos para múltiples casos de uso en un entorno de «patio de recreo» sin código, que también ofrece características para la experimentación. Una vez listos para implementar, los modelos ajustados pueden ejecutarse en instancias en la nube, sistemas locales o a través de una API.

El servicio LLM de BioNeMo es similar al servicio LLM, pero con ajustes para los clientes de ciencias de la vida. Como parte de la plataforma Clara Discovery de Nvidia y pronto disponible en acceso temprano en Nvidia GPU Cloud, incluye dos modelos de lenguaje para aplicaciones de química y biología, así como soporte para datos de proteínas, ADN y química, dice Nvidia.

BioNeMo LLM incluirá cuatro modelos de lenguaje previamente entrenados para comenzar, incluido un modelo de la división de I + D de IA de Meta, Meta AI Labs, que procesa secuencias de aminoácidos para generar representaciones que pueden usarse para predecir propiedades y funciones de proteínas. Nvidia dice que en el futuro, los investigadores que utilicen el servicio BioNeMo LLM podrán personalizar los LLM para una mayor precisión.

Investigaciones recientes han demostrado que los LLM son notablemente buenos para predecir ciertos procesos biológicos. Esto se debe a que las estructuras como las proteínas se pueden modelar como una especie de lenguaje, uno con un diccionario (aminoácidos) unidos para formar una oración (proteína). Por ejemplo, la división de I+D de Salesforce creó hace varios años un modelo LLM llamado ProGen que puede generar secuencias de proteínas estructural y funcionalmente viables.

Tanto el servicio LLM de BioNeMo como el servicio LLM incluyen la opción de usar modelos personalizados y listos para usar a través de una API en la nube. El uso de los servicios también otorga a los clientes acceso al marco NeMo Megatron, ahora en versión beta abierta, que permite a los desarrolladores crear una gama de modelos LLM multilingües, incluidos modelos de lenguaje tipo GPT-3.

Nvidia dice que las marcas de automoción, informática, educación, salud y telecomunicaciones están utilizando NeMo Megatron para lanzar servicios impulsados ​​por IA en chino, inglés, coreano y sueco.

Se espera que los servicios NeMo LLM y BioNeMo y las API en la nube estén disponibles en acceso anticipado a partir del próximo mes. En cuanto al marco NeMo Megatron, los desarrolladores pueden probarlo a través de la plataforma de pilotaje LaunchPad de Nvidia sin cargo.

La empresa matriz de Facebook e Instagram, Meta, ha aprobado cuatro lenguajes de diseño clave para que los utilicen sus trabajadores y desarrolladores, con un puñado de otros lenguajes aprobados para uso específico caso por caso.

El propio lenguaje de programación Hack de la empresa se encuentra entre los cuatro lenguajes admitidos en el futuro; es una variante con seguridad de tipos del lenguaje PHP de código abierto que funciona en la máquina virtual HipHop y existe desde 2014, cuando Facebook lo implementó por primera vez.