GPT3.5 – Magazine Office

DesktopGPT lleva GPT-3.5 Turbo, GPT-4 y GPT-4 Turbo al patio trasero de Windows 11, lo que potencialmente le da a Copilot AI de Microsoft una oportunidad por su dinero como la mejor alternativa.

John — Wed, 08 May 2024 13:19:01 +0000

Lo que necesitas saber

Stardock ha presentado una nueva aplicación de escritorio de IA denominada DesktopGPT.
Se envía con acceso a varios modelos, incluidos GPT-3.5 Turbo, GPT-4 y GPT-4 Turbo.
DesktopGPT proporciona plantillas interesantes diseñadas para ayudar a los principiantes en los espacios de IA a interactuar fácilmente con los LLM.

Una nueva aplicación impulsada por IA en el bloque que podría competir con Copilot AI de Microsoft para Windows. Stardock, conocido por sus mejores aplicaciones alternativas a Windows 11 como Start11, WindowsBlinds 11 recientemente presentado DesktopGPT exclusivamente en su suite de productividad y personalización para Windows, Object Desktop.

Según Stardock, DesktopGPT «trae los últimos modelos de IA a Windows 10/11 para interacciones rápidas y potentes indicaciones con plantillas». La aplicación impulsada por IA incluye muchas funciones sofisticadas, lo que facilita la interacción con múltiples modelos de lenguaje grandes (LLM) directamente desde su teclado.

Además, se envía con acceso a varios modelos, incluidos GPT-3.5 Turbo, GPT-4 y GPT-4 Turbo. De esta forma, los usuarios pueden seleccionar cualquiera de los modelos que mejor se adapte a sus necesidades.

DesktopGPT presenta una experiencia de usuario única diseñada para mejorar su flujo de trabajo. Proporciona plantillas interesantes diseñadas para ayudar a los principiantes en los espacios de la IA a interactuar fácilmente con los LLM, incluida la traducción de texto a otro idioma y la redacción de cartas de presentación o correos electrónicos.

DesktopGPT es la evolución de una herramienta que usábamos internamente en Stardock para ayudarnos a ser más efectivos con nuestras interacciones con IA. Y en el corazón de DesktopGPT se encuentran las plantillas que son una forma poderosa de optimizar sus tareas repetitivas.
Brad Sams, director general de Stardock Software

DesktopGPT se une al conjunto de aplicaciones de productividad y personalización de Stardock diseñadas para mejorar y complementar el sistema operativo Windows. Vale la pena señalar que la inclusión de DesktopGPT en la suite Object Desktop no afectará su precio.

DesktopGPT está a punto de darle una oportunidad a Copilot en Windows

DesktopGPT ejecutándose en Windows 11 (Crédito de la imagen: Stardock)

Como sabrá, Windows 11 y Windows 10 se entregan con un asistente impulsado por inteligencia artificial denominado Microsoft Copilot (anteriormente Bing Chat). Microsoft se ha centrado completamente en integrar la IA en sus productos y servicios después realizar una inversión multimillonaria en la tecnología OpenAI.

En los últimos meses, los rumores que han llegado al molino de viento indican que Microsoft recientemente hizo la transición de algunos de sus empleados de la aplicación Teams Chat para ayudar con los proyectos de Copilot AIa pesar de que el organismo de control de la UE lo obligó a desagregar Teams para su paquete Office 365 a nivel mundial.

Según la reciente convocatoria de resultados, los esfuerzos de Microsoft en IA están dando sus frutos y se han clasificado como La empresa más valiosa del mundo por delante de Apple con más de 3 billones de dólares en capitalización de mercado.. Los mismos esfuerzos también contribuyeron al éxito general de Bing, que ha superado a más de 140 millones de usuarios activos diarios.

Por otro lado, los usuarios de Windows han recibido Copilot AI con sentimientos encontrados. Estos sentimientos fueron repetidos por una encuesta presentada en Windows Centralcon Más de la mitad de los participantes encuestados indicaron que nunca usan la herramienta.. Microsoft anunció recientemente que no impulsará nuevas experiencias de Copilot a Windowsy aprovecharemos este tiempo para perfeccionar los existentes en función de los comentarios de los usuarios.

Si DesktopGPT puede abordar algunos de los problemas críticos señalados por los usuarios sobre la IA en Windows, podría convertirse rápidamente en la mejor alternativa para Copilot en Windows. Además, ya viene con acceso a varios modelos que los usuarios pueden utilizar para generar los resultados deseados.

Source link-40

El nuevo modelo ligero de IA de Microsoft es tan capaz como GPT-3.5 a pesar de ser lo suficientemente pequeño como para ejecutarse en un teléfono inteligente

John — Wed, 24 Apr 2024 05:32:28 +0000

Lo que necesitas saber

Microsoft tiene un nuevo modelo ligero de IA llamado Phi-3 Mini.
Phi-3 Mini es uno de los tres modelos más pequeños que lanzará Microsoft, los otros dos son Phi-3 Small y Phi-3 Medium.
Microsoft entrenó a Phi-3 Mini utilizando un plan de estudios similar al que aprenden los niños escuchando historias.
Debido al hecho de que no hay suficientes cuentos infantiles para entrenar un modelo de IA, Microsoft tiene un LLM que crea libros infantiles para enseñar Phi-3 Mini.
Microsoft afirma que Phi-3 Mini es tan capaz como GPT-3.5 pero que tiene un factor de forma más pequeño.

Microsoft ha llegado a un nuevo modelo ligero de IA que promete ofrecer un nivel similar de capacidades al GPT-3.5 en algunas áreas a pesar de ser mucho más pequeño. Phi-3 Mini está entrenado con una cantidad de datos mucho menor que GPT-4 u otros modelos de lenguaje grandes (LLM), pero puede superar a modelos más grandes como Llama 2. El modelo, al ser más pequeño, también le permite funcionar en teléfonos y computadoras portátiles. en lugar de requerir la web.

Microsoft compartió detalles sobre Phi-3 en un trabajo de investigación. El borde Luego compartió información sobre el modelo y citas de Microsoft.

Phi-3 Mini es un modelo de lenguaje de 3.800 millones de parámetros que se entrenó en 3,3 billones de tokens. El artículo de investigación sobre Phi-3 Mini explica que una de las claves del modelo es su conjunto de datos para entrenamiento. Phi-3 Mini es una versión ampliada de Phi-2, que se lanzó en diciembre de 2023.

Según Microsoft, Phi-3 Mini puede competir con modelos 10 veces más grandes que el nuevo modelo ligero de IA.

Los modelos livianos no son exclusivos de Microsoft. Google, Anthropic y Meta tienen modelos más pequeños. Una cosa que destaca del Phi-3 Mini en comparación con otros modelos es cómo fue entrenado. Microsoft utilizó un «plan de estudios», dijo el vicepresidente de la plataforma Microsoft Azure AI, Eric Boyd, a The Verge. Microsoft se inspiró en cómo los niños aprenden escuchando cuentos antes de dormir, según el vicepresidente.

Un límite en el entrenamiento de Phi-3 Mini fue la cantidad de cuentos infantiles que había, por lo que Microsoft tuvo que crear algunos. «No hay suficientes libros para niños, así que tomamos una lista de más de 3.000 palabras y le pedimos a un LLM que hiciera ‘libros para niños’ para enseñar Phi», dijo Boyd a The Verge.

Un modelo como Phi-3 Mini no está destinado a reemplazar a GPT-4 o LLM. En cambio, los modelos pequeños pueden centrarse en tareas y casos de uso específicos. Los modelos pequeños también son útiles para empresas que utilizan datos internos para formación.

IA local

Algunas PC podrán ejecutar Microsoft Copilot localmente en lugar de a través de la nube. (Crédito de la imagen: Windows Central | Jez Corden)

Los LLM no van a ninguna parte, pero la IA local es la próxima evolución de la inteligencia artificial. Las PC con IA podrán ejecutar Microsoft Copilot localmente hasta cierto punto y las organizaciones están trabajando en formas de utilizar la IA sin necesidad de una conexión a la web. Los modelos más pequeños como el Phi-3 Mini son lo suficientemente pequeños como para funcionar en teléfonos, computadoras portátiles y otros dispositivos pequeños.

Cuando Intel reveló su CPU Lunar Lake de próxima generación, la compañía confirmó que los chips tendrán 100 TOPS (billones de operaciones por segundo) de rendimiento para tareas de IA y la NPU representará 45 TOPS. Esa cifra es significativa porque Copilot requiere al menos 40 TOPS de rendimiento de NPU para ejecutarse localmente. de Qualcomm Snapdragon X Elite tiene 45 TOPS de rendimiento NPUlo que significa que el procesador también puede alimentar a Copilot localmente.

Los gigantes tecnológicos se apresuraron a lanzar al público LLM y otros modelos de IA, pero recién estamos comenzando a ver hardware que puede aprovechar la tecnología de IA. Los modelos más pequeños como Phi-3 Mini desempeñarán un papel en casos especializados y en dispositivos que no cumplen con los requisitos de rendimiento para ejecutar Copilot y otras herramientas de inteligencia artificial localmente.

Source link-40

La última IA de Alibaba supera a GPT-3.5 y a Claude en múltiples pruebas de referencia

John — Wed, 07 Feb 2024 05:17:17 +0000

Esto no es un consejo de inversión. El autor no tiene posición en ninguna de las acciones mencionadas. Wccftech.com tiene una política de divulgación y ética.

Dado que 2024 marca un fuerte comienzo para la carrera mundial de la inteligencia artificial, el gigante tecnológico chino Alibaba Group también ha anunciado la última versión de su modelo de inteligencia artificial Qwen. Además de ChatGPT de OpenAI, que es el chatbot de IA más conocido del mundo, otros modelos como Llama de Meta y Claude de Anthropic, socio de Amazon, son varias opciones que tienen los consumidores y las empresas a la hora de elegir una plataforma de IA para sus necesidades.

La última versión de Qwen de Alibaba es Qwen 1.5 y, según los puntos de referencia compartidos en la plataforma de redes sociales X, el modelo supera tanto a ChatGPT como a Claude en algunos puntos de referencia.

Qwen 1.5 de Alibaba supera a Claude y ChatGPT en múltiples puntos de referencia que prueban la fluidez de la instrucción

Al igual que los sistemas operativos que se ejecutan en computadoras o teléfonos inteligentes, un modelo de inteligencia artificial también es una pieza de software. Esto permite a los ingenieros y analistas de software evaluar su rendimiento, y cuando se trata del último Qwen 1.5 de Alibaba, algunas puntuaciones muestran que supera a Claude de Anthropic y ChatGPT de OpenAI.

Los puntos de referencia que prueban los sistemas operativos evalúan su capacidad para procesar instrucciones y ejecutar aplicaciones, y los de los modelos de inteligencia artificial generalmente giran en torno a probar la capacidad de los modelos para generar resultados.

Dos de estos puntos de referencia son MT-bench y Alapaca-Eval, y las puntuaciones compartidas en X muestran que una variante del Qwen 1.5 de Alibaba ha superado a ChatGPT y Claude en ellos. MT-bench prueba la capacidad de un modelo para responder un conjunto de preguntas predefinidas que no solo buscan diferenciarlo del chatbot sino que también intentan determinar si el modelo puede «mantenerse firme» en un entorno de conversación difícil que involucra a dos partes que interactúan rápidamente. juntos.

Los puntajes de referencia muestran que Qwen fue el cuarto puntaje más alto en MT-bench, y solo quedó atrás de GPT-4 Turbo y los dos primeros lanzamientos de GPT-4, es decir, las versiones 0613 y 0314.

Alibaba lanza Qwen 1.5

demostración: https://t.co/goMcWMsIzT

El Qwen1.5-72B-Chat de código abierto más grande, exhibe un rendimiento superior, superando a Claude-2.1, GPT-3.5-Turbo-0613, tanto en MT-Bench como en Alpaca-Eval v2. pic.twitter.com/50dNuUpEBx

-AK (@_akhaliq) 5 de febrero de 2024

Alapaca-Eval es un punto de referencia que utiliza un modelo de referencia para emular las interacciones humanas y determinar en qué medida un modelo de IA que se está probando ofrece resultados en línea con la línea de base. También proporciona a los usuarios una tabla de clasificación para realizar un seguimiento de sus pruebas, y los puntos de referencia de hoy muestran que el rendimiento Alapaca-Eval de Qwen 1.5 solo está por detrás del GPT-4 Turbo y el Yi-34B de HuggingFace con sede en Nueva York.

Qwen1.5 es uno de los modelos de código abierto más grandes de su tipo y está respaldado por los enormes recursos informáticos de Alibaba. Una IA de código abierto, como el software de código abierto, pone su código a disposición de usuarios y desarrolladores para que puedan comprender el modelo y crear sus propias variantes. Meta’s Llama, también presente en las partituras de hoy, también es un modelo de código abierto.

El comienzo de 2024 ha visto un destacado enfoque por parte de Wall Street y las empresas en la IA. Los informes de ganancias de gigantes tecnológicos de mega capitalización como Meta, Microsoft y Alphabet se han centrado en la IA. El jefe de Meta, Mark Zuckerberg, tiene como objetivo comprar cientos de miles de GPU este año para alimentar Llama, y en la llamada sobre resultados de la empresa, el ejecutivo explicó que su decisión de reforzar la capacidad informática en Meta se debe a descuidos anteriores que llevaron a que la empresa estuviera por debajo de su capacidad.

De manera similar, las ganancias de los fabricantes y diseñadores de chips TSMC y AMD también han visto a sus gerencias expresar optimismo sobre el futuro de la IA. La gerencia de TSMC confía en que la empresa tiene una base estable para capturar cualquier demanda de IA, mientras que AMD opina que la IA puede terminar llegando a valer cientos de miles de millones de dólares al final de la década.

Source link-29

OpenAI reduce drásticamente el costo de GPT-3.5 Turbo mientras se prepara para enviar GPT-4 Turbo con visión

John — Sun, 28 Jan 2024 22:51:15 +0000

Lo que necesitas saber

OpenAI presenta una nueva generación de modelos de incrustación, un modelo de vista previa GPT-4 Turbo actualizado, un modelo GPT-3.5 Turbo actualizado y un modelo de moderación de texto actualizado.
También está reduciendo el precio de su modelo GPT-3.5 Turbo y promete respuestas mejores y más precisas.
La compañía también está lanzando un modelo preliminar del GPT-4 Turbo, que aprovechará las capacidades del GPT-4.
Se espera que GPT-4 Turbo con visión esté disponible para disponibilidad general en los próximos meses.

OpenAI recientemente desvelado una nueva generación de modelos de incrustación, un modelo de vista previa GPT-4 Turbo actualizado, un modelo GPT-3.5 Turbo actualizado y un modelo de moderación de texto actualizado. La compañía también indicó que está reduciendo el costo de su modelo GPT-3.5 Turbo.

Si utiliza ChatGPTprobablemente hayas interactuado con el modelo GPT-3.5 Turbo. Y ahora, por tercera vez en un año, OpenAI está ajustando el precio de este modelo. La compañía tiene como objetivo ayudar a los clientes a escalar reduciendo los precios de los insumos en un 50%, lo que se traduce en $0,0005/1K tokens. Los precios de producción también se han reducido en un 25%, lo que se traduce en 0,0015 dólares/1.000 tokens.

Además de la reducción de precios, Abierto AI promete que el modelo proporcionará a los usuarios respuestas mejores y más precisas. El modelo actualizado también incluye una solución para un error que anteriormente causaba un problema de codificación de texto para llamadas a funciones en idiomas distintos del inglés. La compañía indicó que los usuarios serán actualizados automáticamente al modelo GPT-3.5 actualizado dos semanas después de su envío.

OpenAI también está lanzando un modelo de vista previa GPT-4 Turbo actualizado, que complementará Límite de conocimiento actualizado de GPT -4 y ventanas de contexto más grandes de 128k, lo que en última instancia le permite manejar tareas complejas como la generación de código mejor y con mayor precisión.

Según la empresa, el modelo de vista previa está diseñado específicamente para reducir los casos de «pereza» que impiden que el modelo complete las tareas. Además, también viene con una solución para un error que afecta a las generaciones UTF-8 que no están en inglés.

OpenAI también presenta dos nuevos modelos de integración que prometen un rendimiento mejor y más potente que sus predecesores. Finalmente, se espera que GPT-4 Turbo con visión esté disponible de forma general «en los próximos meses», aunque está en versión preliminar.

Source link-40

Un Chatbot de la década de 1960 superó ampliamente al GPT-3.5 de OpenAI en una prueba de Turing, porque la gente pensó que era «una lástima» ser una IA real.

John — Thu, 07 Dec 2023 21:10:12 +0000

Un pequeño grupo de investigación examinó recientemente el desempeño de 25 «personas» de IA, utilizando dos grandes modelos de lenguaje creados por OpenAI, en una prueba de Turing en línea. Ninguno de los robots de IA pasó finalmente la prueba, pero todos los de GPT 3.5 lo hicieron tan mal que un chatbot de mediados de la década de 1960 tuvo casi el doble de éxito que hacerse pasar por un humano, aunque eso se debe principalmente a que la gente pensaba que el chatbot más antiguo era Qué lástima pretender ser humano para ser IA.

Ars Technica informó sobre el trabajo y es una historia fascinante. La prueba de Turing fue ideada por primera vez por el famoso matemático e informático Alan Turing en la década de 1950. La versión original de la prueba implica que una persona real, llamada evaluador, hable con otros dos participantes a través de una discusión basada en texto. El evaluador sabe que uno de los encuestados es una computadora pero no sabe cuál.

Si el evaluador no puede decir cuál es una computadora o determina que ambos deben ser humanos, entonces se puede decir que la máquina ha pasado la prueba de Turing.

Cameron Jones y Benjamin Bergen, de la Universidad de California en San Diego, idearon una versión para dos jugadores de la prueba de Turing, en la que un «interrogador» hace preguntas a un «testigo» y luego decide si el testigo es un ser humano o un chatbot de IA. Se crearon un total de 25 testigos de modelos de lenguaje grande (LLM), basados en los modelos GPT-4 y GPT-3.5 de OpenAI.

Para obtener algunos resultados básicos, también se incluyeron personas reales, al igual que uno de los primeros chatbots creados, ELIZA, a mediados de la década de 1960 (puedes probarlo tú mismo aquí). Se preguntó a los testigos de AI sobre la naturaleza de la discusión, junto con instrucciones sobre cómo debía responder. Estos incluían cosas como cometer errores de ortografía, cuánto tiempo debería tomar responder y si se trataba de un humano o una IA que pretendía ser una persona real.

En la prueba participaron poco más de 650 personas y se cotejaron alrededor de 1.400 ejecuciones para realizar el análisis. Cada testigo fue juzgado por su éxito en hacerse pasar por un ser humano; en otras palabras, si la decisión final del interrogador fue que el testigo era una persona real.

(Crédito de la imagen: Cameron Jones, Benjamin Bergen)

Los humanos tuvieron una tasa de éxito general del 63%, lo que significa que en el 43% de las pruebas, los interrogadores pensaron que la persona real que daba las respuestas era un chatbot de IA. El testigo LLM con mejor rendimiento, que utilizó GPT-4, tuvo una tasa de éxito general del 43%, mientras que el peor fue solo del 5% (un modelo GPT-3.5). Eso significó que ninguno de los robots de IA finalmente pasó la prueba de Turing e incluso obtuvo peores resultados que simplemente tener en cuenta el azar ciego (es decir, 50%).

Una gran sorpresa fue ELIZA. Creado en el Instituto Tecnológico de Massachusetts, se basó en la verificación de patrones y reglas estrictas para dar la impresión de que la computadora realmente entendía lo que se le pedía. En el estudio de Jones y Bergen, ELIZA logró una tasa de éxito general del 27%, casi el doble que la de los mejores testigos GPT-3.5 (14%).

¿Por qué le fue mucho mejor? Parte de la razón es que GPT-3.5 no está diseñado para parecer una persona real. Empresas como ChatGPT, que utiliza ese LLM en particular, están programadas para dar respuestas de una manera muy fija, en lugar de ofrecer una opinión y luego debatirla.

Pero el factor principal detrás del «éxito» de ELIZA es que sus respuestas no se parecen en nada a las de un LLM moderno, lo que llevó a algunos interrogadores a creer que era simplemente una lástima que fuera un robot de IA real, asumiendo por lo tanto que tenía que ser una persona.

Dado que las personas solo lograron parecer humanos reales con una tasa de éxito del 63%, quizás sea un poco injusto ser demasiado crítico con la humanidad de un LLM. Especialmente porque la prueba de Turing es menos un examen de la apariencia humana, sino más bien una prueba de qué tan bien algo puede engañar a una persona.

Todavía estamos en las primeras etapas de desarrollo de grandes modelos de lenguaje y quién sabe cómo será dentro de, digamos, diez o incluso cinco años. Quizás para entonces, los juegos los implementarán para desarrollar NPC en juegos de mundo abierto o dar más complejidad a las historias y ofrecer múltiples caminos u opciones.

No sé si da un poco de miedo reflexionar sobre eso mientras tomas el café de la mañana o no, pero ciertamente haría las cosas mucho más interesantes.

Source link-8

El chatbot ELIZA de los años 60 venció al GPT-3.5 de OpenAI en un reciente estudio de prueba de Turing

John — Mon, 04 Dec 2023 16:47:52 +0000

Agrandar / Representación artística de un ser humano y un robot hablando.

Imágenes falsas | Benj Edwards

En un artículo de investigación preimpreso titulado «¿GPT-4 pasa la prueba de Turing?», dos investigadores de UC San Diego compararon el modelo de lenguaje de IA GPT-4 de OpenAI con participantes humanos, GPT-3.5 y ELIZA para ver cuál podría engañar a los participantes para que piensen. fue humano con el mayor éxito. Pero en el camino, el estudio, que no ha sido revisado por pares, encontró que los participantes humanos identificaron correctamente a otros humanos en sólo el 63 por ciento de las interacciones, y que un programa informático de la década de 1960 superó el modelo de inteligencia artificial que impulsa la versión gratuita de ChatGPT.

Incluso con las limitaciones y advertencias, que cubriremos a continuación, el documento presenta una comparación que invita a la reflexión entre los enfoques de los modelos de IA y plantea más preguntas sobre el uso de la prueba de Turing para evaluar el rendimiento del modelo de IA.

El matemático e informático británico Alan Turing concibió por primera vez la prueba de Turing como «El juego de la imitación» en 1950. Desde entonces, se ha convertido en un punto de referencia famoso pero controvertido para determinar la capacidad de una máquina para imitar la conversación humana. En las versiones modernas de la prueba, un juez humano normalmente habla con otro humano o con un chatbot sin saber cuál es cuál. Si el juez no puede distinguir de manera confiable al chatbot del humano un cierto porcentaje de las veces, se dice que el chatbot ha pasado la prueba. El umbral para aprobar la prueba es subjetivo, por lo que nunca ha habido un consenso amplio sobre lo que constituiría una tasa de éxito.

En el estudio reciente, incluido en arXiv a finales de octubre, los investigadores de UC San Diego Cameron Jones (estudiante de doctorado en Ciencias Cognitivas) y Benjamin Bergen (profesor del Departamento de Ciencias Cognitivas de la universidad) crearon un sitio web llamado turingtest.live. , donde organizaron una implementación para dos jugadores de la prueba de Turing a través de Internet con el objetivo de ver qué tan bien GPT-4, cuando se le solicitaba de diferentes maneras, podía convencer a la gente de que era humano.

Agrandar / Un gráfico de barras de las tasas de éxito en la prueba de Turing realizada por Jones y Bergen, con los humanos en la parte superior y un modelo GPT-4 en el segundo puesto. ELIZA, basada en reglas antiguas, superó a GPT-3.5.

A través del sitio, los interrogadores humanos interactuaron con varios «testigos de IA» que representaban a otros humanos o modelos de IA que incluían los antes mencionados GPT-4, GPT-3.5 y ELIZA, un programa conversacional basado en reglas de la década de 1960. «A los dos participantes en encuentros humanos se les asignaron aleatoriamente los roles de interrogador y testigo», escriben los investigadores. «Los testigos recibieron instrucciones de convencer al interrogador de que eran humanos. Los jugadores emparejados con modelos de IA siempre fueron interrogadores».

En el experimento participaron 652 participantes que completaron un total de 1.810 sesiones, de las cuales 1.405 juegos fueron analizados después de excluir ciertos escenarios como juegos de IA repetidos (lo que lleva a la expectativa de interacciones del modelo de IA cuando otros humanos no estaban en línea) o conocidos personales entre los participantes y testigos, que a veces estaban sentados en la misma habitación.

Sorprendentemente, ELIZA, desarrollado a mediados de la década de 1960 por el informático Joseph Weizenbaum del MIT, obtuvo una puntuación relativamente buena durante el estudio, alcanzando una tasa de éxito del 27 por ciento. GPT-3.5, según la indicación, obtuvo una tasa de éxito del 14 por ciento, por debajo de ELIZA. GPT-4 logró una tasa de éxito del 41 por ciento, solo superada por los humanos reales.

GPT-3.5, el modelo base detrás de la versión gratuita de ChatGPT, ha sido condicionado por OpenAI específicamente para no presentarse como un ser humano, lo que puede explicar en parte su bajo rendimiento. En una publicación en X, el profesor de informática de Princeton, Arvind Narayanan, escribió: «Contexto importante sobre el artículo ‘ChatGPT no pasa la prueba de Turing’. Como siempre, el comportamiento de las pruebas no nos informa sobre la capacidad». En respuesta, continuó: «ChatGPT está ajustado para tener un tono formal, no expresar opiniones, etc., lo que lo hace menos humano. Los autores intentaron cambiar esto con el mensaje, pero tiene límites. La mejor manera de «Pretender ser un ser humano chateando es afinar los registros de chat humanos».

Además, los autores especulan sobre las razones del relativo éxito de ELIZA en el estudio:

«En primer lugar, las respuestas de ELIZA tienden a ser conservadoras. Si bien esto generalmente da la impresión de un interlocutor que no coopera, impide que el sistema proporcione señales explícitas como información incorrecta o conocimiento oscuro. En segundo lugar, ELIZA no muestra el tipo de señales que los interrogadores han llegado a asociarse con los asistentes de LLM, como ser servicial, amigable y detallado. Finalmente, algunos interrogadores informaron que pensaban que ELIZA era «una lástima» para ser un modelo de IA actual y, por lo tanto, era más probable que fuera un ser humano que intencionalmente no cooperaba. «.

Durante las sesiones, las estrategias más comunes utilizadas por los interrogadores incluyeron charlas triviales y preguntas sobre conocimientos y acontecimientos actuales. Las estrategias más exitosas implicaron hablar en un idioma distinto del inglés, preguntar sobre la hora o los acontecimientos actuales y acusar directamente al testigo de ser un modelo de IA.

Los participantes emitieron sus juicios basándose en las respuestas que recibieron. Curiosamente, el estudio encontró que los participantes basaron sus decisiones principalmente en el estilo lingüístico y los rasgos socioemocionales, en lugar de solo en la percepción de la inteligencia. Los participantes notaron cuando las respuestas eran demasiado formales o informales, o cuando las respuestas carecían de individualidad o parecían genéricas. El estudio también mostró que la educación y la familiaridad de los participantes con los modelos de lenguaje grandes (LLM) no predijeron significativamente su éxito en la detección de IA.

Agrandar / Instrucciones para el juego de evaluación de IA de la prueba de Turing de Jones y Bergen, 2023.

Jones y Bergen, 2023

Los autores del estudio reconocen las limitaciones del estudio, incluido el posible sesgo de la muestra al reclutar en las redes sociales y la falta de incentivos para los participantes, lo que puede haber llevado a que algunas personas no cumplieran el rol deseado. También dicen que sus resultados (especialmente el desempeño de ELIZA) pueden respaldar las críticas comunes a la prueba de Turing como una forma inexacta de medir la inteligencia de las máquinas. «Sin embargo», escriben, «sostenemos que la prueba sigue siendo relevante como marco para medir la interacción social fluida y el engaño, y para comprender las estrategias humanas para adaptarse a estos dispositivos».

Source link-49

OpenAI abre GPT-3.5 Turbo para ajustes personalizados

John — Tue, 22 Aug 2023 23:58:28 +0000

El ajuste fino permite a las empresas esencialmente perfeccionar ChatGPT para convertirlo en un modelo más enfocado que sea especialmente eficiente para ciertas tareas. La capacitación supervisada crearía un bot exclusivo de la empresa cliente para que ofrezca, por ejemplo, respuestas confiables en un idioma específico o con una redacción más concisa. Hasta ahora, los clientes empresariales eran limitado a variantes GPT-3 para esto, como davinci-002 o babbage-002.

El modelo vendría pre-entrenado, como GPT-4, hasta septiembre de 2021 antes de recibir datos de la empresa. OpenAI dice que ninguno de esos datos, ni ninguna entrada o salida, se utilizará para entrenar modelos fuera de la empresa cliente.

Otros usos incluyen garantizar que el bot esté capacitado para imitar las voces de la marca para que sean más consistentes: piense en el texto del anuncio o las comunicaciones internas escritas al menos parcialmente por IA (no es que no lo hagamos). ya veo mucho). Las empresas de software podrían usarlo para código de rutina, como llamadas API, o para formatear y completar fragmentos de código de manera confiable.

GPT-3.5 Turbo es un modelo de familia de la empresa debutó a principios de este año que dijo que era ideal para casos de uso que no son específicos del chat. Puede manejar 4.000 tokens a la vez, lo que, según OpenAI, es el doble de lo que podían interpretar los modelos ofrecidos anteriormente. La compañía agregó que los primeros evaluadores pudieron realizar indicaciones un 90 por ciento más cortas después de preparar GPT-3.5 con instrucciones ajustadas.

El precio de GPT-3.5 es de $0,0080 por 1000 tokens para capacitación, $0,0120 por 1000 tokens para uso de entrada y $0,0120 por 1000 tokens de salida del chatbot.

Microsoft también ofrece modelos refinables basados en GPT como parte de su Servicios AI Builder y Power Virtual Agents, destinado a estar conectado a los datos internos de una empresa para elaborar respuestas. Microsoft los presenta como una forma de resumir información o generar contenido para campañas de correo electrónico. Al igual que los robots de ajuste de OpenAI, los robots de IA personalizables de Microsoft pueden conectarse a los datos de la empresa para generar respuestas a partir de la base de conocimientos de una empresa.

Source link-37