\n<\/p>\n
Las alucinaciones (las mentiras que dicen, b\u00e1sicamente, los modelos de IA generativa) son un gran problema para las empresas que buscan integrar la tecnolog\u00eda en sus operaciones.<\/p>\n
Debido a que los modelos no tienen inteligencia real y simplemente predicen palabras, im\u00e1genes, discursos, m\u00fasica y otros datos de acuerdo con un esquema privado, a veces se equivocan. Muy mal. En un art\u00edculo reciente en The Wall Street Journal, una fuente relata un caso en el que la IA generativa de Microsoft invent\u00f3 a los asistentes a la reuni\u00f3n e insinu\u00f3 que las conferencias telef\u00f3nicas eran sobre temas que en realidad no se discutieron en la llamada.<\/p>\n
Como escrib\u00ed hace un tiempo, las alucinaciones pueden ser un problema irresoluble con las arquitecturas de modelos actuales basadas en transformadores. Pero varios proveedores de IA generativa sugieren que poder<\/em> eliminarse, m\u00e1s o menos, mediante un enfoque t\u00e9cnico llamado recuperaci\u00f3n de generaci\u00f3n aumentada, o RAG.<\/p>\n As\u00ed es como lo presenta un proveedor, Squirro:<\/p>\n En el centro de la oferta se encuentra el concepto de Retrieval Augmented LLM o Retrieval Augmented Generation (RAG) integrado en la soluci\u00f3n… [our generative AI] es \u00fanico en su promesa de cero alucinaciones. Cada pieza de informaci\u00f3n que genera se puede rastrear hasta una fuente, lo que garantiza credibilidad.<\/p>\n<\/blockquote>\n Aqu\u00ed hay un discurso similar de SiftHub:<\/p>\n Utilizando la tecnolog\u00eda RAG y grandes modelos de lenguaje ajustados con capacitaci\u00f3n en conocimientos espec\u00edficos de la industria, SiftHub permite a las empresas generar respuestas personalizadas sin alucinaciones. Esto garantiza una mayor transparencia y un riesgo reducido e inspira confianza absoluta para utilizar la IA para todas sus necesidades.<\/p>\n<\/blockquote>\n RAG fue iniciado por el cient\u00edfico de datos Patrick Lewis, investigador de Meta y University College London, y autor principal del art\u00edculo de 2020 que acu\u00f1\u00f3 el t\u00e9rmino. Aplicado a un modelo, RAG recupera documentos posiblemente relevantes para una pregunta (por ejemplo, una p\u00e1gina de Wikipedia sobre el Super Bowl) utilizando lo que es esencialmente una b\u00fasqueda de palabras clave y luego le pide al modelo que genere respuestas dado este contexto adicional.<\/p>\n \u201cCuando interact\u00faas con un modelo de IA generativa como ChatGPT o Llama y haces una pregunta, lo predeterminado es que el modelo responda desde su ‘memoria param\u00e9trica’, es decir, desde el conocimiento almacenado en sus par\u00e1metros como resultado de capacitaci\u00f3n sobre datos masivos de la web\u201d, explic\u00f3 David Wadden, cient\u00edfico investigador de AI2, la divisi\u00f3n de investigaci\u00f3n centrada en IA del Instituto Allen, una organizaci\u00f3n sin fines de lucro. \u00abPero, al igual que es probable que des respuestas m\u00e1s precisas si tienes una referencia [like a book or a file] Frente a ti, lo mismo ocurre en algunos casos con los modelos\u201d.<\/p>\n RAG es innegablemente \u00fatil: permite atribuir cosas que genera un modelo a documentos recuperados para verificar su veracidad (y, como beneficio adicional, evitar regurgitaciones potencialmente infractoras de derechos de autor). RAG tambi\u00e9n permite a las empresas que no quieren que sus documentos se utilicen para entrenar un modelo (por ejemplo, empresas en industrias altamente reguladas como la atenci\u00f3n m\u00e9dica y el derecho) permitir que los modelos se basen en esos documentos de una manera m\u00e1s segura y temporal.<\/p>\n Pero RAG ciertamente no poder<\/em> evitar que un modelo tenga alucinaciones. Y tiene limitaciones que muchos proveedores pasan por alto.<\/p>\n Wadden dice que RAG es m\u00e1s eficaz en escenarios de \u00abconocimiento intensivo\u00bb en los que un usuario quiere utilizar un modelo para abordar una \u00abnecesidad de informaci\u00f3n\u00bb (por ejemplo, para saber qui\u00e9n gan\u00f3 el Super Bowl el a\u00f1o pasado). En estos escenarios, es probable que el documento que responde a la pregunta contenga muchas de las mismas palabras clave que la pregunta (por ejemplo, \u201cSuper Bowl\u201d, \u201cel a\u00f1o pasado\u201d), lo que hace que sea relativamente f\u00e1cil de encontrar mediante una b\u00fasqueda de palabras clave.<\/p>\n Las cosas se vuelven m\u00e1s complicadas con tareas de \u201crazonamiento intensivo\u201d como codificaci\u00f3n y matem\u00e1ticas, donde es m\u00e1s dif\u00edcil especificar en una consulta de b\u00fasqueda basada en palabras clave los conceptos necesarios para responder una solicitud, y mucho menos identificar qu\u00e9 documentos podr\u00edan ser relevantes.<\/p>\n Incluso con preguntas b\u00e1sicas, los modelos pueden \u201cdistraerse\u201d con el contenido irrelevante de los documentos, especialmente en documentos largos donde la respuesta no es obvia. O pueden, por razones a\u00fan desconocidas, simplemente ignorar el contenido de los documentos recuperados y optar por confiar en su memoria param\u00e9trica.<\/p>\n RAG tambi\u00e9n es costoso en t\u00e9rminos del hardware necesario para aplicarlo a escala.<\/p>\n Esto se debe a que los documentos recuperados, ya sea de la web, de una base de datos interna o de otro lugar, deben almacenarse en la memoria (al menos temporalmente) para que el modelo pueda consultarlos. Otro gasto es calcular el contexto aumentado que un modelo tiene que procesar antes de generar su respuesta. Para una tecnolog\u00eda que ya es famosa por la cantidad de computaci\u00f3n y electricidad que requiere incluso para operaciones b\u00e1sicas, esto equivale a una consideraci\u00f3n seria.<\/p>\n Eso no quiere decir que RAG no pueda mejorarse. Wadden destac\u00f3 muchos esfuerzos en curso para entrenar modelos para hacer un mejor uso de los documentos recuperados del RAG.<\/p>\n Algunos de estos esfuerzos involucran modelos que pueden \u201cdecidir\u201d cu\u00e1ndo hacer uso de los documentos, o modelos que pueden optar por no realizar la recuperaci\u00f3n en primer lugar si lo consideran innecesario. Otros se centran en formas de indexar de manera m\u00e1s eficiente conjuntos de datos masivos de documentos y en mejorar la b\u00fasqueda a trav\u00e9s de mejores representaciones de los documentos, representaciones que van m\u00e1s all\u00e1 de las palabras clave.<\/p>\n \u00abSomos bastante buenos recuperando documentos basados \u200b\u200ben palabras clave, pero no tan buenos recuperando documentos basados \u200b\u200ben conceptos m\u00e1s abstractos, como una t\u00e9cnica de prueba necesaria para resolver un problema matem\u00e1tico\u00bb, dijo Wadden. \u201cSe necesita investigaci\u00f3n para construir representaciones de documentos y t\u00e9cnicas de b\u00fasqueda que puedan identificar documentos relevantes para tareas de generaci\u00f3n m\u00e1s abstractas. Creo que en este momento esta es una pregunta abierta\u201d.<\/span><\/p>\n Entonces, RAG puede ayudar a reducir las alucinaciones de un modelo, pero no es la respuesta a todos los problemas alucinatorios de la IA. Tenga cuidado con cualquier proveedor que intente afirmar lo contrario.<\/p>\n<\/p><\/div>\n\n
\n