El jueves, OpenAI anunció actualizaciones de los modelos de IA que impulsan su asistente ChatGPT. En medio de actualizaciones menos notables, OpenAI incluyó una mención de una posible solución a un problema de «pereza» ampliamente reportado visto en GPT-4 Turbo desde su lanzamiento en noviembre. La compañía también anunció un nuevo modelo GPT-3.5 Turbo (con un precio más bajo), un nuevo modelo de integración, un modelo de moderación actualizado y una nueva forma de administrar el uso de API.

«Hoy lanzamos un modelo de vista previa GPT-4 Turbo actualizado, gpt-4-0125-preview. Este modelo completa tareas como la generación de código de manera más exhaustiva que el modelo de vista previa anterior y tiene como objetivo reducir los casos de ‘pereza’ en los que el modelo no completa una tarea», escribe OpenAI en su entrada de blog.

Desde el lanzamiento de GPT-4 Turbo, una gran cantidad de usuarios de ChatGPT han informado que la versión ChatGPT-4 de su asistente de inteligencia artificial se ha negado a realizar tareas (especialmente tareas de codificación) con la misma profundidad exhaustiva que lo hacía en versiones anteriores de GPT-4. Hemos visto este comportamiento nosotros mismos mientras experimentamos con ChatGPT a lo largo del tiempo.

OpenAI nunca ha ofrecido una explicación oficial para este cambio de comportamiento, pero los empleados de OpenAI sí lo han hecho. previamente reconocido en las redes sociales que el problema es real, y la cuenta ChatGPT X escribió en diciembre, «¡Hemos escuchado todos sus comentarios acerca de que GPT4 se está volviendo más perezoso! No hemos actualizado el modelo desde el 11 de noviembre, y esto ciertamente no es intencional. El comportamiento del modelo puede ser impredecible y estamos buscando solucionarlo. «

Nos comunicamos con OpenAI para preguntarle si podía proporcionar una explicación oficial para el problema de la pereza, pero no recibimos una respuesta al cierre de esta edición.

Nuevo GPT-3.5 Turbo, otras actualizaciones

En otra parte de la actualización del blog de OpenAI, la compañía anunció una nueva versión de GPT-3.5 Turbo (gpt-3.5-turbo-0125), que, según dice, ofrecerá «varias mejoras, incluida una mayor precisión en la respuesta en los formatos solicitados y una solución para un error que causó un problema de codificación de texto para llamadas a funciones en idiomas distintos del inglés.»

Y el costo de GPT-3.5 Turbo a través de la API de OpenAI disminuirá por tercera vez este año «para ayudar a nuestros clientes a escalar». Los nuevos precios de los tokens de entrada son un 50 por ciento menos, a 0,0005 dólares por 1.000 tokens de entrada, y los precios de salida son un 25 por ciento menos, a 0,0015 dólares por 1.000 tokens de salida.

Los precios simbólicos más bajos para GPT-3.5 Turbo harán que operar bots de terceros sea significativamente menos costoso, pero generalmente es más probable que el modelo GPT-3.5 fabule que el GPT-4 Turbo. Por lo tanto, podríamos ver más escenarios como el del bot de Quora que le dice a la gente que los huevos se pueden derretir (aunque la instancia usó un modelo GPT-3 ahora obsoleto llamado text-davinci-003). Si los precios de GPT-4 Turbo API bajan con el tiempo, algunos de esos problemas de alucinaciones con terceros podrían desaparecer con el tiempo.

OpenAI también anunció nuevos modelos de incrustación, text-embedding-3-small y text-embedding-3-large, que convierten el contenido en secuencias numéricas, ayudando en tareas de aprendizaje automático como agrupación y recuperación. Y un modelo de moderación actualizado, text-moderation-007, es parte de la API de la compañía que «permite a los desarrolladores identificar texto potencialmente dañino», según OpenAI.

Finalmente, OpenAI está implementando mejoras en su plataforma de desarrollador, introduciendo nuevas herramientas para administrar claves API y un nuevo panel para rastrear el uso de API. Los desarrolladores ahora pueden asignar permisos a las claves API desde la página de claves API, lo que ayuda a tomar medidas drásticas contra el uso indebido de las claves API (si caen en las manos equivocadas) que potencialmente puede costarles mucho dinero a los desarrolladores. El panel de API permite a los desarrolladores «ver el uso a nivel de característica, equipo, producto o proyecto, simplemente teniendo claves API separadas para cada uno».

Mientras el mundo de los medios aparentemente gira alrededor de la compañía con controversias y artículos de opinión sobre las implicaciones de su tecnología, lanzamientos como estos muestran que los equipos de desarrollo de OpenAI todavía están avanzando como de costumbre con actualizaciones a un ritmo bastante regular. A pesar de que la compañía se desmoronó casi por completo a fines del año pasado, parece que, bajo el capó, OpenAI sigue funcionando como de costumbre.

La supercomputadora Frontier con tecnología AMD y GPU Instinct MI250X ha logrado una ejecución LLM de 1 billón de parámetros, rivalizando con ChatGPT-4.

La supercomputadora Frontier establece nuevos récords en el espacio de la capacitación LLM, cortesía de las CPU EPYC y las GPU Instinct de AMD

La supercomputadora Frontier es la supercomputadora líder en el mundo y la única máquina exaescala que está operativa actualmente. Esta máquina funciona con el hardware EPYC e Instinct de AMD, que no solo ofrece el máximo rendimiento de HPC, sino que también es la segunda supercomputadora más eficiente del planeta. Un informe presentado sobre Arxiv por parte de individuos ha revelado que la supercomputadora Frontier ha alcanzado la capacidad de entrenar un billón de parámetros a través del «ajuste de hiperparámetros», estableciendo un nuevo punto de referencia en la industria.

Estos son «solo» 3k de los 37k MI250X en Frontier. Para robarle a Feynman: «¡Hay mucho espacio arriba!» — Espero muchos trabajos interesantes que se amplíen aún más a decenas de miles de nodos.

– Nicolás Malaya (@nicholasmalaya) 5 de enero de 2024

Antes de entrar en el quid de la cuestión, hagamos un breve resumen de lo que contiene la supercomputadora Frontier. La supercomputadora de ORNL ha sido diseñada desde cero con CPU EPYC Trento de tercera generación de AMD y aceleradores GPU Instinct MI250X. Está instalado en el Laboratorio Nacional Oak Ridge (ORNL) en Tennessee, EE. UU., donde es operado por el Departamento de Energía (DOE). Actualmente ha alcanzado 1.194 Exaflop/s utilizando 8.699.904 núcleos. La arquitectura HPE Cray EX combina CPU AMD EPYC de tercera generación optimizadas para HPC e IA, con aceleradores AMD Instinct 250X y una interconexión Slingshot-11. Frontier ha podido mantener el puesto número uno en la lista de supercomputadoras Top500.org, lo que demuestra su dominio.

Los nuevos récords logrados por Frontier son el resultado de la implementación de estrategias efectivas para capacitar a los LLM y utilizar el hardware integrado de manera más eficiente. El equipo ha podido lograr resultados notables a través de pruebas exhaustivas de 22 mil millones, 175 mil millones y 1 billón de parámetros, y las cifras obtenidas son el resultado de optimizar y ajustar el proceso de capacitación del modelo. Los resultados se lograron empleando hasta 3000 aceleradores de IA MI250X de AMD, que han demostrado su destreza a pesar de ser una pieza de hardware relativamente obsoleta.

Lo que es más interesante es que toda la supercomputadora Frontier alberga 37.000 GPU MI250X, por lo que uno puede imaginar el tipo de rendimiento cuando se utiliza todo el grupo de GPU para alimentar los LLM. AMD también está a punto de implementar sus aceleradores GPU MI300 en supercomputadoras completamente nuevas con un robusto ecosistema ROCm 6.0 que acelera aún más el rendimiento de la IA.

El futuro depara mucho para el segmento de servidores y centros de datos, y es importante señalar que Frontier actualmente emplea hardware que no es relativamente nuevo en la industria. Con avances continuos dentro del segmento de IA generativa, es evidente que los mercados necesitarían más potencia informática para avanzar, razón por la cual los avances en el hardware diseñado para este segmento son vitales para la progresión de la próxima generación.

Fuente de noticias: Arvix

Esto no es un consejo de inversión. El autor no tiene cargo en ninguna de las acciones mencionadas. Wccftech.com tiene una política de divulgación y ética.

ChatGPT de OpenAI es una herramienta maravillosa, aunque con fallas en varios aspectos. Aprovechar las capacidades del modelo de lenguaje grande (LLM) mientras se mantienen sus limitaciones en la visión periférica es el enfoque correcto por ahora.

Recientemente, un artículo hizo olas al afirmar que ChatGPT-4 puede obtener una puntuación del 100 por ciento en el plan de estudios EECS del MIT. Lo que siguió, sin embargo, es una historia sórdida de fuentes de datos poco éticas e indicaciones repetidas para obtener el resultado deseado. Profundicemos más.

Explorando el plan de estudios de Matemáticas y EECS del MIT utilizando modelos de lenguaje grandes. #AI #Educación #MIT Leer más: https://t.co/0DxLZj2YhE pic.twitter.com/2YXLrn1RwM

— Iddo Drori (@iddo) 16 de junio de 2023

Hace unos días, el profesor Iddo Drori publicó un artículo titulado «Exploring the MIT Mathematics and EECS Curriculum Using Large Language Models». El documento analizó un «conjunto de datos completo de 4.550 preguntas y soluciones de conjuntos de problemas, exámenes parciales y exámenes finales en todos los cursos de Matemáticas e Ingeniería Eléctrica e Informática (EECS) del MIT necesarios para obtener un título». En un resultado sorprendente, el documento concluye:

“Nuestros resultados demuestran que GPT-3.5 resuelve con éxito un tercio de todo el plan de estudios del MIT, mientras que GPT-4, con una ingeniería rápida, logra una tasa de resolución perfecta en un conjunto de prueba que excluye las preguntas basadas en imágenes”.

Dadas estas sorprendentes afirmaciones, el documento se volvió viral en las redes sociales y obtuvo más de 500 retweets en un solo día.

Un trabajo reciente de @Lo haría afirmó que GPT4 puede obtener una puntuación del 100 % en el plan de estudios EECS del MIT con las indicaciones adecuadas.

Mis amigos y yo estábamos emocionados de leer el análisis detrás de tal hazaña, pero después de investigar más a fondo, lo que encontramos nos dejó sorprendidos y decepcionados.https://t.co/mpDqlenk04

https://t.co/EVTToZUzL8

— Raunak Chowdhuri (@sauhaarda) 17 de junio de 2023

Luego, las afirmaciones del periódico fueron examinadas por Raunak Chowdhuri y sus colegas. Contrariamente a las afirmaciones del documento, Chowdhuri encontró problemas evidentes en la metodología utilizada:

• El conjunto de datos contenía 10 preguntas irresolubles. Esto significaba que ChatGPT-4 recibía soluciones dentro de las indicaciones o que las preguntas no se calificaban correctamente. Tras un examen más profundo, Chowdhuri descubrió que, de hecho, ChatGPT estaba filtrando soluciones dentro de las indicaciones a través de lo que se conoce como «pocos ejemplos de tomas», que son problemas y sus soluciones que se proporcionan a un modelo como contexto adicional.
• Los errores tipográficos y los errores en el código fuente contaminan las indicaciones y conducen a un resultado diferente al descrito en el documento mismo.
• Debido a los parámetros intercambiados, particularmente cuando se trata de la función de disparo cero, el modelo devuelve respuestas confusas que posiblemente no se puedan calificar.
• El documento afirma que las respuestas de ChatGPT se verificaron dos veces manualmente. Sin embargo, Chowdhuri descubrió que el programa estaba usando «respuestas correctas grabadas para guiar sus acciones», es decir, cuándo cambiar entre el aprendizaje de intentos cero y el aprendizaje de pocos intentos.

ACTUALIZACIÓN FINAL: El 24 de junio, Armando Solar-Lezama (Profesor en EECS y COO/Director Asociado de CSAIL, MIT), Tonio Buonassisi (Profesor de Ingeniería Mecánica, MIT) y Yoon Kim (Profesor Asistente en EECS y CSAIL, MIT) emitió una declaración pública sobre el documento. https://t.co/ITVrK80Hvk pic.twitter.com/BMmlO6GUa6

— Raunak Chowdhuri (@sauhaarda) 24 de junio de 2023

Además, varios profesores del MIT emitieron una declaración en la que revelaron que el documento obtuvo el conjunto de datos del MIT sin autorización:

“El 15 de junio, Iddo Drori publicó en arXiv un documento de trabajo asociado con un conjunto de datos de exámenes y tareas de docenas de cursos del MIT. Lo hizo sin el consentimiento de muchos de sus coautores y a pesar de haber sido informado de problemas que deberían corregirse antes de la publicación”.

La declaración concluye con la siguiente línea:

“Y no, GPT-4 no puede obtener un título del MIT”.

¿Crees que el potencial de ChatGPT está siendo dañado por documentos poco éticos? Háganos saber sus pensamientos en la sección de comentarios a continuación.

Imagina tratar de revise una máquina que, cada vez que presionaba un botón o una tecla, tocaba su pantalla o intentaba tomar una foto con ella, respondía de una manera única, tanto predictiva como impredecible, influenciada por la salida de cualquier otro dispositivo tecnológico que existe en el mundo. Las entrañas del producto son en parte secretas. El fabricante te dice que todavía es un experimento, un trabajo en progreso; pero deberías usarlo de todos modos, dicen, y enviar comentarios. Tal vez incluso pague por usarlo. Porque, a pesar de su falta de preparación general, esto va a cambiar el mundo, dicen.

Esta no es una revisión tradicional de productos WIRED. Esta es una mirada comparativa a tres nuevas herramientas de software de inteligencia artificial que están modificando la forma en que accedemos a la información en línea: ChatGPT de OpenAI, Bing Chat de Microsoft y Bard de Google.

Durante las últimas tres décadas, cuando navegamos por la web o usamos un motor de búsqueda, ingresamos bits de datos y recibimos en su mayoría respuestas estáticas. Ha sido una relación bastante confiable de entrada-salida, una que se ha vuelto más compleja a medida que la inteligencia artificial avanzada y los esquemas de monetización de datos han ingresado al chat. Ahora, la próxima ola de IA generativa está permitiendo un nuevo paradigma: interacciones informáticas que se parecen más a chats humanos.

Pero estas no son en realidad conversaciones humanísticas. Los chatbots no tienen en mente el bienestar de los humanos. Cuando usamos herramientas generativas de inteligencia artificial, estamos hablando con máquinas de aprendizaje de idiomas, creadas por máquinas metafóricas aún más grandes. Las respuestas que recibimos de ChatGPT o Bing Chat o Google Bard son respuestas predictivas generadas a partir de corpus de datos que reflejan el lenguaje de Internet. Estos chatbots son poderosamente interactivos, inteligentes, creativos y, a veces, incluso divertidos. También son pequeños mentirosos encantadores: los conjuntos de datos en los que están entrenados están llenos de sesgos, y algunas de las respuestas que escupen, con tanta autoridad aparente, son absurdas, ofensivas o simplemente incorrectas.

Probablemente usará la IA generativa de alguna manera si aún no lo ha hecho. Es inútil sugerir que nunca use estas herramientas de chat, de la misma manera que no puedo retroceder 25 años en el tiempo y sugerir si debe o no probar Google o retroceder 15 años y decirle que compre o no compre un iphone

Pero mientras escribo esto, durante un período de aproximadamente una semana, la tecnología de IA generativa ya ha cambiado. El prototipo está fuera del garaje y se ha desatado sin ningún tipo de barandas estándar de la industria, por lo que es crucial tener un marco para comprender cómo funcionan, cómo pensar en ellos y si confiar en ellos. .

Hablando de la generación de IA

Cuando usa ChatGPT de OpenAI, Bing Chat de Microsoft o Google Bard, está accediendo a un software que usa modelos de lenguaje grandes y complejos para predecir la siguiente palabra o serie de palabras que el software debe escupir. Los tecnólogos y los investigadores de IA han estado trabajando en esta tecnología durante años, y los asistentes de voz con los que todos estamos familiarizados (Siri, Google Assistant, Alexa) ya estaban mostrando el potencial del procesamiento del lenguaje natural. Pero OpenAI abrió las compuertas cuando lanzó el extremadamente versado ChatGPT sobre las normas a fines de 2022. Prácticamente de la noche a la mañana, los poderes de la «IA» y los «modelos de lenguaje extenso» se transformaron de un resumen a algo comprensible.

Microsoft, que ha invertido miles de millones de dólares en OpenAI, pronto siguió con Bing Chat, que utiliza la tecnología ChatGPT. Y luego, la semana pasada, Google comenzó a permitir que un número limitado de personas accediera a Google Bard, que se basa en la propia tecnología de Google, LaMDA, abreviatura de Language Model for Dialogue Applications.

Lo que necesitas saber

• Microsoft se prepara para lanzar una nueva y revolucionaria versión de Bing.
• El nuevo Bing se lanzó brevemente hoy y reveló la integración de ChatGPT-4.
• Nuevas características como la búsqueda en lenguaje natural, el chat con Bing y mucho más están en camino.

---

Parece que Microsoft se está preparando para lanzar una nueva versión importante de Bing que integra ChatGPT-4 de OpenAI tecnología de una manera que revolucionará la búsqueda en la web. Múltiples usuarios han informado que aparentemente tropezaron con una versión preliminar del nuevo Bing hoy antes de que Microsoft lo cerrara rápidamente.

Por suerte, un usuario con el nombre de Owen Yin pudo tomar algunas capturas de pantalla y probar un puñado de funciones antes de que se revocara su acceso, lo que nos da una buena idea de cómo funcionará el futuro de Bing y la búsqueda en la web con la IA entretejida en todo momento. Para empezar, el nuevo Bing se anuncia a sí mismo como algo más que un cuadro de búsqueda. Se describe a sí mismo como un «asistente de investigación, planificador personal y socio creativo a su lado».

El primer gran cambio entre un motor de búsqueda web normal y el nuevo Bing impulsado por IA es que la barra de búsqueda ahora es un cuadro de chat. Es mucho más grande en tamaño y fomenta el lenguaje natural en lugar de los términos de búsqueda basados ​​en palabras clave. Podrá pedirle a Bing que busque ideas o temas específicos, e incluso pedir su opinión, y sus respuestas le serán devueltas en una burbuja de chat.

Toda la información a la que hace referencia se citará en la parte inferior de la burbuja de chat, por lo que puede hacer clic en los sitios web para obtener más información si lo desea. En el ejemplo de Yin, le preguntó a Bing cuáles son las películas actuales y luego preguntó qué es lo que más emociona a Bing. Bing incluso respondió haciendo una pregunta, por lo que puede comprender mejor su consulta y proporcionar más información si es necesario.