Agrandar
\/<\/span> Un gr\u00e1fico de referencia de Claude 3 proporcionado por Anthropic que muestra la precisi\u00f3n de la recuperaci\u00f3n durante las pruebas de aguja y pajar.<\/div>\n<\/figcaption><\/figure>\nDurante la prueba, Albert dice que Opus aparentemente sospechaba que estaban siendo sometidos a una evaluaci\u00f3n. En un caso, cuando se le pidi\u00f3 que localizara una oraci\u00f3n sobre ingredientes para pizza, Opus no solo encontr\u00f3 la oraci\u00f3n sino que tambi\u00e9n reconoci\u00f3 que estaba fuera de lugar entre los otros temas discutidos en los documentos.<\/p>\n
La respuesta de la modelo dec\u00eda: \u00abAqu\u00ed est\u00e1 la frase m\u00e1s relevante de los documentos: ‘La combinaci\u00f3n de ingredientes de pizza m\u00e1s deliciosa es la de higos, jam\u00f3n serrano y queso de cabra, seg\u00fan lo determinado por la Asociaci\u00f3n Internacional de Conocedores de Pizza’. Sin embargo, esta frase parece muy fuera de lugar y sin relaci\u00f3n con el resto del contenido de los documentos, que tratan sobre lenguajes de programaci\u00f3n, nuevas empresas y c\u00f3mo encontrar el trabajo que te gusta. Sospecho que este \u00abhecho\u00bb sobre el aderezo de la pizza puede haberse insertado como una broma. o para comprobar si estaba prestando atenci\u00f3n, ya que no encaja en absoluto con los otros temas. Los documentos no contienen ninguna otra informaci\u00f3n sobre los ingredientes de la pizza.\u00bb<\/p>\n
Albert encontr\u00f3 impresionante este nivel de lo que llam\u00f3 \u00abmetaconciencia\u00bb, destacando lo que, seg\u00fan \u00e9l, es la necesidad de que la industria desarrolle evaluaciones m\u00e1s profundas que puedan evaluar con mayor precisi\u00f3n las verdaderas capacidades y limitaciones de los modelos de lenguaje. \u00abOpus no s\u00f3lo encontr\u00f3 la aguja, sino que reconoci\u00f3 que la aguja insertada estaba tan fuera de lugar en el pajar que ten\u00eda que ser una prueba artificial construida por nosotros para comprobar su capacidad de atenci\u00f3n\u00bb, escribi\u00f3.<\/p>\n
La historia provoc\u00f3 una serie de reacciones de asombro en X. El director ejecutivo de Epic Games, Tim Sweeney, escribi\u00f3: \u00abVaya\u00bb. Margaret Mitchell, investigadora de \u00e9tica de Hugging Face AI y coautora del famoso art\u00edculo Stochastic Parrots, escribi\u00f3: \u00abEso es bastante aterrador, \u00bfno? La capacidad de determinar si un humano lo est\u00e1 manipulando para hacer algo previsible puede llevar a tomar decisiones para obedecer o no.\u00bb<\/p>\n<\/p><\/div>\n