{"id":737802,"date":"2023-07-20T11:38:48","date_gmt":"2023-07-20T11:38:48","guid":{"rendered":"https:\/\/magazineoffice.com\/los-investigadores-registran-una-disminucion-alarmante-en-la-calidad-de-respuesta-de-chatgpt\/"},"modified":"2023-07-20T11:38:52","modified_gmt":"2023-07-20T11:38:52","slug":"los-investigadores-registran-una-disminucion-alarmante-en-la-calidad-de-respuesta-de-chatgpt","status":"publish","type":"post","link":"https:\/\/magazineoffice.com\/los-investigadores-registran-una-disminucion-alarmante-en-la-calidad-de-respuesta-de-chatgpt\/","title":{"rendered":"Los investigadores registran una disminuci\u00f3n alarmante en la calidad de respuesta de ChatGPT"},"content":{"rendered":"<p> <br \/>\n<\/p>\n<div id=\"article-body\">\n<p>En los \u00faltimos meses ha habido una oleada de evidencia anecd\u00f3tica y murmullos generales sobre una disminuci\u00f3n en la calidad de las respuestas de ChatGPT.  Un equipo de investigadores de Stanford y UC Berkeley decidi\u00f3 determinar si efectivamente hab\u00eda degradaci\u00f3n y generar m\u00e9tricas para cuantificar la escala del cambio perjudicial.  Para acortar una larga historia, la inmersi\u00f3n en la calidad de ChatGPT ciertamente no fue imaginada.<\/p>\n<p>Tres distinguidos acad\u00e9micos, Matei Zaharia, Lingjiao Chen y James Zou, estuvieron detr\u00e1s del art\u00edculo de investigaci\u00f3n recientemente publicado \u00bfC\u00f3mo cambia el comportamiento de ChatGPT con el tiempo?  (PDF) Hoy temprano, el profesor de Ciencias de la Computaci\u00f3n en UC Berkeley, Zaharia, us\u00f3 Twitter para <a href=\"https:\/\/twitter.com\/matei_zaharia\/status\/1681467961905926144\" data-url=\"https:\/\/twitter.com\/matei_zaharia\/status\/1681467961905926144\" target=\"_blank\" rel=\"noopener\">compartir los hallazgos<\/a>.  Sorprendentemente, destac\u00f3 que \u00abla tasa de \u00e9xito de GPT -4 en &#8216;\u00bfes este n\u00famero primo? Piensa paso a paso&#8217; cay\u00f3 del 97,6 % al 2,4 % de marzo a junio\u00bb.<\/p>\n<aside class=\"hawk-nest\" data-render-type=\"fte\" data-skip=\"dealsy\" data-widget-type=\"seasonal\"\/>\n<p>GPT-4 estuvo disponible para el p\u00fablico en general hace unas dos semanas y fue defendido por OpenAI como su modelo m\u00e1s avanzado y capaz.  Se lanz\u00f3 r\u00e1pidamente a los desarrolladores de API que pagan, alegando que podr\u00eda impulsar una gama de nuevos productos innovadores de IA.  Por lo tanto, es triste y sorprendente que el nuevo estudio lo encuentre tan falto de respuestas de calidad frente a algunas consultas bastante sencillas.<\/p>\n<p>Ya hemos dado un ejemplo de la tasa de falla superlativa de GPT-4 en las consultas de n\u00fameros primos anteriores.  El equipo de investigaci\u00f3n dise\u00f1\u00f3 tareas para medir los siguientes aspectos cualitativos de los modelos de lenguaje extenso (LLM) subyacentes de ChatGPT, GPT-4 y GPT-3.5.  Las tareas se dividen en cuatro categor\u00edas, que miden una amplia gama de habilidades de IA y son relativamente simples de evaluar para el rendimiento.<\/p>\n<ul>\n<li>Resolver problemas de matematicas<\/li>\n<li>Respondiendo preguntas delicadas<\/li>\n<li>Codigo de GENERACION<\/li>\n<li>Razonamiento visual<\/li>\n<\/ul>\n<p>En el cuadro a continuaci\u00f3n se proporciona una descripci\u00f3n general del rendimiento de los LLM de Open AI.  Los investigadores cuantificaron los lanzamientos de GPT-4 y GPT-3.5 en sus lanzamientos de marzo de 2023 y junio de 2023.<\/p>\n<figure class=\"van-image-figure inline-layout\" data-bordeaux-image-check=\"\">\n<div class=\"image-full-width-wrapper\">\n<div class=\"image-widthsetter\" style=\"max-width:1035px;\">\n<p class=\"vanilla-image-block\" style=\"padding-top:77.00%;\"><picture><source type=\"image\/webp\" alt=\"ChatGPT quality research\" class=\"expandable lazy-image-van\" onerror=\"if(this.src &amp;&amp; this.src.indexOf('missing-image.svg') !== -1)return true;;this.parentNode.replaceChild(window.missingImage(),this)\" data-normal=\"https:\/\/vanilla.futurecdn.net\/tomshardware\/media\/img\/missing-image.svg\" data-srcset=\"https:\/\/cdn.mos.cms.futurecdn.net\/DJJskkiSdADukyKL8Ajpbi-320-80.jpg.webp 320w, https:\/\/cdn.mos.cms.futurecdn.net\/DJJskkiSdADukyKL8Ajpbi-480-80.jpg.webp 480w, https:\/\/cdn.mos.cms.futurecdn.net\/DJJskkiSdADukyKL8Ajpbi-650-80.jpg.webp 650w, https:\/\/cdn.mos.cms.futurecdn.net\/DJJskkiSdADukyKL8Ajpbi-970-80.jpg.webp 970w, https:\/\/cdn.mos.cms.futurecdn.net\/DJJskkiSdADukyKL8Ajpbi-1024-80.jpg.webp 1024w, https:\/\/cdn.mos.cms.futurecdn.net\/DJJskkiSdADukyKL8Ajpbi-1200-80.jpg.webp 1200w\" data-sizes=\"(min-width: 1000px) 970px, calc(100vw - 40px)\" data-original-mos=\"https:\/\/cdn.mos.cms.futurecdn.net\/DJJskkiSdADukyKL8Ajpbi.jpg\" data-pin-media=\"https:\/\/cdn.mos.cms.futurecdn.net\/DJJskkiSdADukyKL8Ajpbi.jpg\"\/><source type=\"image\/jpeg\" alt=\"ChatGPT quality research\" class=\"expandable lazy-image-van\" onerror=\"if(this.src &amp;&amp; this.src.indexOf('missing-image.svg') !== -1)return true;;this.parentNode.replaceChild(window.missingImage(),this)\" data-normal=\"https:\/\/vanilla.futurecdn.net\/tomshardware\/media\/img\/missing-image.svg\" data-srcset=\"https:\/\/cdn.mos.cms.futurecdn.net\/DJJskkiSdADukyKL8Ajpbi-320-80.jpg 320w, https:\/\/cdn.mos.cms.futurecdn.net\/DJJskkiSdADukyKL8Ajpbi-480-80.jpg 480w, https:\/\/cdn.mos.cms.futurecdn.net\/DJJskkiSdADukyKL8Ajpbi-650-80.jpg 650w, https:\/\/cdn.mos.cms.futurecdn.net\/DJJskkiSdADukyKL8Ajpbi-970-80.jpg 970w, https:\/\/cdn.mos.cms.futurecdn.net\/DJJskkiSdADukyKL8Ajpbi-1024-80.jpg 1024w, https:\/\/cdn.mos.cms.futurecdn.net\/DJJskkiSdADukyKL8Ajpbi-1200-80.jpg 1200w\" data-sizes=\"(min-width: 1000px) 970px, calc(100vw - 40px)\" data-original-mos=\"https:\/\/cdn.mos.cms.futurecdn.net\/DJJskkiSdADukyKL8Ajpbi.jpg\" data-pin-media=\"https:\/\/cdn.mos.cms.futurecdn.net\/DJJskkiSdADukyKL8Ajpbi.jpg\"\/><\/picture><\/p>\n<\/div>\n<\/div><figcaption itemprop=\"caption description\" class=\" inline-layout\"><span class=\"credit\" itemprop=\"copyrightHolder\">(Cr\u00e9dito de la imagen: Matei Zaharia, Lingjiao Chen, James Zou)<\/span><\/figcaption><\/figure>\n<p>Se ilustra claramente que el \u00abmismo\u00bb servicio LLM responde consultas de manera bastante diferente a lo largo del tiempo.  Se observan diferencias significativas durante este per\u00edodo relativamente corto.  No est\u00e1 claro c\u00f3mo se actualizan estos LLM y si los cambios para mejorar algunos aspectos de su desempe\u00f1o pueden afectar negativamente a otros.  Vea cu\u00e1nto \u00abpeor\u00bb es la versi\u00f3n m\u00e1s nueva de GPT-4 en comparaci\u00f3n con la versi\u00f3n de marzo en tres categor\u00edas de prueba.  Solo disfruta de una victoria de un peque\u00f1o margen en el razonamiento visual.<\/p>\n<figure class=\"van-image-figure inline-layout\" data-bordeaux-image-check=\"\">\n<div class=\"image-full-width-wrapper\">\n<div class=\"image-widthsetter\" style=\"max-width:1038px;\">\n<p class=\"vanilla-image-block\" style=\"padding-top:80.44%;\"><picture><source type=\"image\/webp\" alt=\"ChatGPT quality research\" class=\"expandable lazy-image-van\" onerror=\"if(this.src &amp;&amp; this.src.indexOf('missing-image.svg') !== -1)return true;;this.parentNode.replaceChild(window.missingImage(),this)\" data-normal=\"https:\/\/vanilla.futurecdn.net\/tomshardware\/media\/img\/missing-image.svg\" data-srcset=\"https:\/\/cdn.mos.cms.futurecdn.net\/4H5frfp9BFFMh4a248nJki-320-80.jpg.webp 320w, https:\/\/cdn.mos.cms.futurecdn.net\/4H5frfp9BFFMh4a248nJki-480-80.jpg.webp 480w, https:\/\/cdn.mos.cms.futurecdn.net\/4H5frfp9BFFMh4a248nJki-650-80.jpg.webp 650w, https:\/\/cdn.mos.cms.futurecdn.net\/4H5frfp9BFFMh4a248nJki-970-80.jpg.webp 970w, https:\/\/cdn.mos.cms.futurecdn.net\/4H5frfp9BFFMh4a248nJki-1024-80.jpg.webp 1024w, https:\/\/cdn.mos.cms.futurecdn.net\/4H5frfp9BFFMh4a248nJki-1200-80.jpg.webp 1200w\" data-sizes=\"(min-width: 1000px) 970px, calc(100vw - 40px)\" data-original-mos=\"https:\/\/cdn.mos.cms.futurecdn.net\/4H5frfp9BFFMh4a248nJki.jpg\" data-pin-media=\"https:\/\/cdn.mos.cms.futurecdn.net\/4H5frfp9BFFMh4a248nJki.jpg\"\/><source type=\"image\/jpeg\" alt=\"ChatGPT quality research\" class=\"expandable lazy-image-van\" onerror=\"if(this.src &amp;&amp; this.src.indexOf('missing-image.svg') !== -1)return true;;this.parentNode.replaceChild(window.missingImage(),this)\" data-normal=\"https:\/\/vanilla.futurecdn.net\/tomshardware\/media\/img\/missing-image.svg\" data-srcset=\"https:\/\/cdn.mos.cms.futurecdn.net\/4H5frfp9BFFMh4a248nJki-320-80.jpg 320w, https:\/\/cdn.mos.cms.futurecdn.net\/4H5frfp9BFFMh4a248nJki-480-80.jpg 480w, https:\/\/cdn.mos.cms.futurecdn.net\/4H5frfp9BFFMh4a248nJki-650-80.jpg 650w, https:\/\/cdn.mos.cms.futurecdn.net\/4H5frfp9BFFMh4a248nJki-970-80.jpg 970w, https:\/\/cdn.mos.cms.futurecdn.net\/4H5frfp9BFFMh4a248nJki-1024-80.jpg 1024w, https:\/\/cdn.mos.cms.futurecdn.net\/4H5frfp9BFFMh4a248nJki-1200-80.jpg 1200w\" data-sizes=\"(min-width: 1000px) 970px, calc(100vw - 40px)\" data-original-mos=\"https:\/\/cdn.mos.cms.futurecdn.net\/4H5frfp9BFFMh4a248nJki.jpg\" data-pin-media=\"https:\/\/cdn.mos.cms.futurecdn.net\/4H5frfp9BFFMh4a248nJki.jpg\"\/><img decoding=\"async\" alt=\"Investigaci\u00f3n de calidad de ChatGPT\" class=\"expandable lazy-image-van\" onerror=\"if(this.src &amp;&amp; this.src.indexOf('missing-image.svg') !== -1)return true;;this.parentNode.replaceChild(window.missingImage(),this)\" data-normal=\"https:\/\/vanilla.futurecdn.net\/tomshardware\/media\/img\/missing-image.svg\" data-srcset=\"https:\/\/cdn.mos.cms.futurecdn.net\/4H5frfp9BFFMh4a248nJki-320-80.jpg 320w, https:\/\/cdn.mos.cms.futurecdn.net\/4H5frfp9BFFMh4a248nJki-480-80.jpg 480w, https:\/\/cdn.mos.cms.futurecdn.net\/4H5frfp9BFFMh4a248nJki-650-80.jpg 650w, https:\/\/cdn.mos.cms.futurecdn.net\/4H5frfp9BFFMh4a248nJki-970-80.jpg 970w, https:\/\/cdn.mos.cms.futurecdn.net\/4H5frfp9BFFMh4a248nJki-1024-80.jpg 1024w, https:\/\/cdn.mos.cms.futurecdn.net\/4H5frfp9BFFMh4a248nJki-1200-80.jpg 1200w\" data-sizes=\"(min-width: 1000px) 970px, calc(100vw - 40px)\" src=\"https:\/\/cdn.mos.cms.futurecdn.net\/4H5frfp9BFFMh4a248nJki.jpg\" data-pin-media=\"https:\/\/cdn.mos.cms.futurecdn.net\/4H5frfp9BFFMh4a248nJki.jpg\"\/><\/picture><\/p>\n<\/div>\n<\/div><figcaption itemprop=\"caption description\" class=\" inline-layout\"><span class=\"credit\" itemprop=\"copyrightHolder\">(Cr\u00e9dito de la imagen: Matei Zaharia, Lingjiao Chen, James Zou)<\/span><\/figcaption><\/figure>\n<p>Es posible que a algunos no les moleste la calidad variable observada en las &#8216;mismas versiones&#8217; de estos LLM.  Sin embargo, los investigadores se\u00f1alan: \u00abDebido a la popularidad de ChatGPT, tanto GPT-4 como GPT-3.5 han sido ampliamente adoptados por usuarios individuales y varias empresas\u00bb.  Por lo tanto, no est\u00e1 m\u00e1s all\u00e1 de los l\u00edmites de la posibilidad de que alguna informaci\u00f3n generada por GPT pueda afectar <em>su<\/em> vida.<\/p>\n<p>Los investigadores han expresado su intenci\u00f3n de continuar evaluando las versiones de GPT en un estudio m\u00e1s extenso.  Quiz\u00e1s Open AI deber\u00eda monitorear y publicar sus propios controles de calidad regulares para sus clientes que pagan.  Si no puede ser m\u00e1s claro acerca de esto, puede ser necesario que las organizaciones comerciales o gubernamentales controlen algunas m\u00e9tricas de calidad b\u00e1sicas para estos LLM, que pueden tener impactos comerciales y de investigaci\u00f3n significativos.<\/p>\n<div class=\"see-more see-more--clipped\">\n<blockquote class=\"twitter-tweet hawk-ignore\" data-lang=\"en\">\n<p lang=\"en\" dir=\"ltr\">No, no hemos hecho que GPT-4 sea m\u00e1s tonto.  Todo lo contrario: hacemos que cada nueva versi\u00f3n sea m\u00e1s inteligente que la anterior. Hip\u00f3tesis actual: cuando lo usa con m\u00e1s frecuencia, comienza a notar problemas que no ve\u00eda antes.<a href=\"https:\/\/twitter.com\/npew\/status\/1679538687854661637\" data-url=\"https:\/\/twitter.com\/npew\/status\/1679538687854661637\" target=\"_blank\" rel=\"noopener\">13 de julio de 2023<\/a><\/p>\n<\/blockquote>\n<p><span class=\"see-more__button\" role=\"button\" tabindex=\"0\" aria-label=\"See more\">Ver m\u00e1s<\/span><\/p>\n<\/div>\n<p>La tecnolog\u00eda AI y LLM no es ajena a los problemas sorprendentes, y con las afirmaciones de robo de datos de la industria y otros atolladeros de relaciones p\u00fablicas, actualmente parece ser la \u00faltima frontera del \u00absalvaje oeste\u00bb en la vida y el comercio conectados.<\/p>\n<\/div>\n<p><script async src=\"\/\/platform.twitter.com\/widgets.js\" charset=\"utf-8\"><\/script><br \/>\n<br \/><br \/>\n<br \/><a href=\"https:\/\/magazineoffice.com\/\">Source link-41<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>En los \u00faltimos meses ha habido una oleada de evidencia anecd\u00f3tica y murmullos generales sobre una disminuci\u00f3n en la calidad de las respuestas de ChatGPT. Un equipo de investigadores de&hellip;<\/p>\n","protected":false},"author":1,"featured_media":737803,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[21980],"tags":[19195,10972,65604,18926,6514,8,15396,322,73],"_links":{"self":[{"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/posts\/737802"}],"collection":[{"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/comments?post=737802"}],"version-history":[{"count":1,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/posts\/737802\/revisions"}],"predecessor-version":[{"id":737804,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/posts\/737802\/revisions\/737804"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/media\/737803"}],"wp:attachment":[{"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/media?parent=737802"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/categories?post=737802"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/magazineoffice.com\/wp-json\/wp\/v2\/tags?post=737802"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}