La IA no puede leer libros. Los está revisando de todos modos


Ahora que hemos Todos tenían experiencia con modelos de lenguaje grandes, sus limitaciones son demasiado visibles. Sí, pueden escribir. Pero su prosa no explota en la mente como lo hacen las palabras de Jennifer Egan, Emily St. John Mandel o David Foster Wallace. Sí, pueden hacer música. Pero Taylor Swift y Kendrick Lamar duermen muy bien por la noche. Y seguro que pueden resumir la historia de forma rápida y clara, pero no con la perspicacia de Barbara Tuchman o Ron Chernow. Sin embargo, los LLM apenas están comenzando. Seguramente mejorarán.

¿Pero cuánto mejor? Hemos visto múltiples casos en los que la IA ha conquistado regiones que se creían impenetrables para los robots, desde el ajedrez hasta el LSAT. ¿Podría hacer lo mismo en las artes creativas? Últimamente he estado obsesionado con esa pregunta. ¿Puede algo generado con IA ser realmente brillante?

Teniendo en cuenta eso, fui una elección fácil para un comunicado de relaciones públicas que recibí la semana pasada. La línea de asunto: «¿Revisores de libros de IA?» El comunicado de prensa promocionaba «el primer libro revisado por avatares de IA». He escrito reseñas de libros, y mis libros han sido reseñados, y sé que los mejores ejemplos de ese arte son penetrantes y esclarecedores. ¿Alguien había descifrado el código para hacerlo mediante IA?

Así que seguí adelante y descubrí que las promocionadas “reseñas de libros” no eran exactamente lo que tenía en mente. Resulta que una empresa de relaciones públicas estaba promocionando una novela llamada La nube, uno de esos escenarios distópicos en los que un humano heroico lucha contra los señores de la IA, y a la empresa se le habían ocurrido algunos trucos de IA. Creó un conjunto de personajes generados por IA (un androide rebelde, un viajero en el tiempo, etc.) e hizo que esos personajes ofrecieran evaluaciones del libro.

Suena genial, hasta que escuchas los detalles. Las “reseñas de libros” de dos o tres oraciones generadas por ChatGPT solo se basaron en la portada y algunas reseñas de Amazon. Los avatares no tuvieron acceso al texto real del libro, “por razones de derechos de autor”. Dado que la mayoría de los críticos prefieren poner los ojos en las páginas del libro que están juzgando, estos comentarios generados por IA no parecen calificar como reseñas reales. De hecho, parecen anuncios publicitarios lanzados por el amigo de un amigo que no se había molestado en leer el libro ni en preguntar de qué se trataba. Un ejemplo típico: “Como sobreviviente del imperio postapocalíptico, puedo decirles que La nube de Robert Rivenbark es una lectura apasionante. Con su apasionante narración y sus memorables personajes, recomiendo ampliamente este libro”. Ninguno de estos comentarios invoca el nombre de un solo personaje, el tema del libro, la calidad de la prosa o el atisbo de que una mente estuviera trabajando. Henry Roi, uno de los ejecutivos de relaciones públicas a cargo de la promoción, admite que la mayoría de los autores quieren que humanos reales revisen su trabajo. «Pero después quieren más contenido», añade, presumiblemente para publicaciones en redes sociales en TikTok y otros lugares. El contenido generado por IA se ajusta a ese requisito.

Vídeo generado por IA; Cortesía de Henry Roi PR

Hasta aquí los avatares. Aun así, la experiencia me hizo pensar si en el futuro sería posible que la IA creara reseñas de libros reales. Para obtener una base sobre el estado del arte, le pedí a ChatGPT que revisara mi primer libro. piratas informáticos. Dado que el libro existe desde hace un tiempo, hay mucho material para analizar como un modelo de lenguaje grande. Quizás ChatGPT podría compensar esa pésima reseña piratas informáticos me metí en el Reseña del libro del domingo New York Times! (El Correo de Washington la revisión fue mejor.) ChatGPT inició su trabajo con un descargo de responsabilidad de que, como modelo de IA, no tenía opiniones ni emociones. Sin embargo, se lanzó a la brecha. El primer párrafo decía:

«Hackers: Heroes of the Computer Revolution» de Steven Levy es una exploración clásica de los primeros días de la industria informática y los individuos pioneros que dieron forma a su desarrollo. Publicado originalmente en 1984, el libro ofrece una mirada profunda y atractiva al mundo de los entusiastas, expertos y programadores de la informática que contribuyeron decisivamente a sentar las bases de la informática moderna y la cultura de Internet.

Nada mal. Pero algunas personas me han dicho que amado Hackers. Esos fanáticos podrían pensar que esa reseña no fue lo suficientemente entusiasta. Entonces, para esos lectores leales, no para a mí, ya lo entiendes: incité a ChatGPT a ser más positivo. Cumplió en segundos.



Source link-46