\n<\/p>\n
Archive este como inevitable pero hilarante. Mechanical Turk es un servicio que desde sus primeros d\u00edas parec\u00eda invitar a los chanchullos y, de hecho, los investigadores muestran que casi la mitad de sus \u00abturkers\u00bb parecen estar usando IA para realizar tareas que estaban espec\u00edficamente destinadas a ser realizadas por humanos porque la IA no pod\u00eda. Hemos cerrado el ciclo en este caso; gran trabajo a todos!<\/p>\n
Mechanical Turk de Amazon permite a los usuarios dividir tareas simples en cualquier cantidad de peque\u00f1as subtareas que toman solo unos segundos y que pagan centavos, pero los trabajadores dedicados por partes realizar\u00edan miles y, por lo tanto, ganar\u00edan un salario modesto pero confiable. Era, como dijo Jeff Bezos memorablemente en ese entonces, \u00abinteligencia artificial artificial\u00bb.<\/p>\n
Por lo general, estas eran tareas que luego eran dif\u00edciles de automatizar, como un CAPTCHA, o identificar el sentimiento de una oraci\u00f3n, o simplemente \u00abdibujar un c\u00edrculo alrededor del gato en esta imagen\u00bb, cosas que las personas pod\u00edan hacer de manera r\u00e1pida y confiable. Fue utilizado generosamente por personas que etiquetaban datos relativamente complejos e investigadores que buscaban obtener evaluaciones o decisiones humanas a escala.<\/p>\n
Lleva el nombre del famoso \u00abaut\u00f3mata\u00bb que jugaba al ajedrez y que en realidad usaba un escondite humano en su base para hacer sus jugadas: Poe escribi\u00f3 un gran derribo contempor\u00e1neo de \u00e9l. A veces, la automatizaci\u00f3n es dif\u00edcil o imposible, pero en esos casos puedes convertir a la humanidad en una especie de m\u00e1quina. Hay que tener cuidado al respecto, pero ha demostrado ser \u00fatil a lo largo de los a\u00f1os.<\/p>\n
Pero un estudio de investigadores de EPFL en Suiza muestra que los trabajadores de Mechanical Turk est\u00e1n automatizando su trabajo utilizando modelos de lenguaje grandes como ChatGPT: una serpiente que se muerde la cola o quiz\u00e1s se traga por completo.<\/p>\n
La pregunta surgi\u00f3 cuando consideraron usar un servicio como MTurk como un \u00abhumano en el circuito\u00bb para mejorar o verificar las respuestas de LLM, que b\u00e1sicamente no son confiables:<\/p>\n
\nEs tentador confiar en el crowdsourcing para validar los resultados de LLM o para crear datos humanos est\u00e1ndar de oro para comparar. Pero, \u00bfqu\u00e9 pasa si los propios trabajadores del crowdsourcing est\u00e1n utilizando LLM, por ejemplo, para aumentar su productividad y, por lo tanto, sus ingresos, en plataformas de crowdsourcing?<\/p>\n<\/blockquote>\n
Para tener una idea general del problema, asignaron una tarea de \u00abresumen abstracto\u00bb para que la completaran los turkers. Seg\u00fan varios an\u00e1lisis descritos en el documento (a\u00fan no publicado ni revisado por pares), \u00abestiman que entre el 33 % y el 46 % de los trabajadores de la multitud usaron LLM al completar la tarea\u00bb.<\/p>\n
Para algunos, esto no ser\u00e1 una sorpresa. Probablemente ha existido cierto nivel de automatizaci\u00f3n en turking desde que comenz\u00f3 la plataforma. Se incentivan la velocidad y la confiabilidad, y si pudiera escribir un gui\u00f3n que manejara ciertas solicitudes con un 90% de precisi\u00f3n, podr\u00eda ganar una buena cantidad de dinero. Con tan poca supervisi\u00f3n de los procesos de los contribuyentes individuales, era inevitable que algunas de estas tareas en realidad no fueran realizadas por humanos, como se anuncia. La integridad nunca ha sido el punto fuerte de Amazon, por lo que no ten\u00eda sentido confiar en ellos.<\/p>\n
Pero verlo presentado as\u00ed, y para una tarea que hasta hace poco parec\u00eda una que solo un ser humano pod\u00eda hacer (resumir adecuadamente el resumen de un art\u00edculo), no solo cuestiona el valor de Mechanical Turk, sino que expone otro frente en la crisis inminente de \u00bb Capacitaci\u00f3n de IA sobre datos generados por IA\u201d en otra situaci\u00f3n similar a la de Ouroboros.<\/p>\n
Los investigadores (Veniamin Veselovsky, Manoel Horta Ribeiro y Robert West) advierten que, a partir del advenimiento de los LLM modernos, esta tarea es particularmente adecuada para la automatizaci\u00f3n subrepticia y, por lo tanto, es particularmente probable que sea v\u00edctima de estos m\u00e9todos. Pero el estado del arte avanza constantemente:<\/p>\n
\nLos LLM se est\u00e1n volviendo m\u00e1s populares cada d\u00eda, y los modelos multimodales, que admiten no solo texto, sino tambi\u00e9n entrada y salida de im\u00e1genes y videos, est\u00e1n en aumento. Con esto, nuestros resultados deben considerarse el ‘canario en la mina de carb\u00f3n’ que debe recordar a las plataformas, investigadores y trabajadores de la multitud que encuentren nuevas formas de garantizar que los datos humanos sigan siendo humanos.<\/p>\n<\/blockquote>\n
La amenaza de que la IA se coma a s\u00ed misma se ha teorizado durante muchos a\u00f1os y se convirti\u00f3 en realidad casi instant\u00e1neamente tras el despliegue generalizado de LLM: ChatGPT, la mascota de Bing, cit\u00f3 su propia informaci\u00f3n err\u00f3nea como apoyo para nueva informaci\u00f3n err\u00f3nea sobre una conspiraci\u00f3n de COVID.<\/p>\n
Si no puede estar 100% seguro de que algo fue hecho por un humano, probablemente sea mejor que asuma que no fue as\u00ed. Ese es un principio deprimente al que hay que adherirse, pero aqu\u00ed estamos.<\/p>\n<\/p><\/div>\n