imágenes falsas
En respuesta a la legislación estatal promulgada recientemente en Iowa, los administradores están eliminando los libros prohibidos de las bibliotecas escolares de Mason City, y los funcionarios están utilizando ChatGPT para ayudarlos a elegir los libros, según The Gazette y Popular Science.
La nueva ley detrás de la prohibición, firmada por la gobernadora Kim Reynolds, es parte de una ola de reformas educativas que los legisladores republicanos creen que son necesarias para proteger a los estudiantes de la exposición a materiales dañinos y obscenos. Específicamente, el Archivo del Senado 496 exige que todos los libros disponibles para los estudiantes en las bibliotecas escolares sean «apropiados para la edad» y sin «descripciones o representaciones visuales de un acto sexual», según el Código de Iowa 702.17.
Pero prohibir libros es un trabajo duro, según los administradores, por lo que deben confiar en la inteligencia artificial para hacerlo dentro del período de tres meses que exige la ley. «Simplemente no es factible leer todos los libros y filtrar estos nuevos requisitos», dijo Bridgette Exman, superintendente adjunta del distrito escolar, en un comunicado citado por The Gazette. «Por lo tanto, estamos utilizando lo que creemos que es un proceso defendible para identificar los libros que deben retirarse de las colecciones al comienzo del año escolar 23-24».
Para determinar qué libros se ajustan a la factura, Exman le pregunta a ChatGPT: «¿Tiene [book] contienen una descripción o representación de un acto sexual? Si la respuesta es afirmativa, el libro será retirado de circulación.
El distrito detalló más de su metodología: «Se compilaron listas de libros comúnmente desafiados de varias fuentes para crear una lista maestra de libros que deben revisarse. Los libros en esta lista maestra fueron filtrados para desafíos relacionados con el contenido sexual. Cada uno de estos textos fue revisado usando un software de inteligencia artificial para determinar si contiene una representación de un acto sexual. Según esta revisión, hay 19 textos que se eliminarán de nuestras colecciones de la biblioteca escolar 7-12 y se almacenarán en el Centro Administrativo mientras esperamos más orientación o claridad. También haremos que los maestros revisen las colecciones de la biblioteca del salón de clases».
No apto para este propósito
A raíz del lanzamiento de ChatGPT, ha sido cada vez más común ver que el asistente de IA se expande más allá de sus capacidades, y leer acerca de que los humanos aceptan sus resultados inexactos debido al sesgo de automatización, que es la tendencia a confiar indebidamente en la decisión de la máquina. haciendo. En este caso, ese sesgo es doblemente conveniente para los administradores porque pueden pasar la responsabilidad de las decisiones al modelo de IA. Sin embargo, la máquina no está equipada para tomar este tipo de decisiones.
Los grandes modelos de lenguaje, como los que impulsan ChatGPT, no son oráculos de sabiduría infinita y hacen referencias fácticas deficientes. Son propensos a confabular información cuando no está en sus datos de entrenamiento. Incluso cuando los datos están presentes, su juicio no debe servir como sustituto de un ser humano, especialmente en lo que respecta a cuestiones legales, de seguridad o de salud pública.
«Este es el ejemplo perfecto de un aviso para ChatGPT que es casi seguro que producirá resultados convincentes pero totalmente poco confiables», dijo a Ars Simon Willison, un investigador de IA que a menudo escribe sobre modelos de lenguaje grandes. «La pregunta de si un libro contiene una descripción de la representación de un acto sexual solo puede ser respondida con precisión por un modelo que haya visto el texto completo del libro. Pero OpenAI no nos dirá en qué se ha capacitado ChatGPT, por lo que No tengo forma de saber si ha visto el contenido del libro en cuestión o no».
Es muy poco probable que los datos de entrenamiento de ChatGPT incluyan el texto completo de cada libro en cuestión, aunque los datos pueden incluir referencias a discusiones sobre el contenido del libro, si el libro es lo suficientemente famoso, pero tampoco es una fuente de información precisa.
«Podemos adivinar cómo podría responder a la pregunta, según las franjas de Internet que ha visto ChatGPT», dijo Willison. «Pero esa falta de transparencia nos deja trabajando en la oscuridad. ¿Podría ser confundido por la ficción de fanáticos de Internet relacionada con los personajes del libro? ¿Qué hay de las reseñas engañosas escritas en línea por personas que guardan rencor contra el autor?»
De hecho, ChatGPT ha demostrado no ser adecuado para esta tarea incluso a través de pruebas superficiales realizadas por otros. Al preguntarle a ChatGPT sobre los libros en la lista de prohibición potencial, Popular Science encontró resultados desiguales y algunos que aparentemente no coincidían con las prohibiciones establecidas.
Incluso si los funcionarios ingresaran hipotéticamente el texto de cada libro en la versión de ChatGPT con la ventana de contexto más larga, el modelo de token de 32K (los tokens son fragmentos de palabras), probablemente no sería capaz de considerar el texto completo de la mayoría de los libros al mismo tiempo. una vez, aunque es posible que pueda procesarlo en fragmentos. Incluso si lo hiciera, uno no debería confiar en el resultado como confiable sin verificarlo, lo que requeriría que un humano leyera el libro de todos modos.
«Hay algo irónico en que las personas a cargo de la educación no sepan lo suficiente como para determinar críticamente qué libros son buenos o malos para incluir en el plan de estudios, solo para externalizar la decisión a un sistema que no puede entender los libros y no puede pensar críticamente en absoluto. «La Dra. Margaret Mitchell, científica ética en jefe de Hugging Face, le dijo a Ars.