Nvidia es el gigante tecnológico detrás de las GPU que impulsan nuestros juegos, ejecutan nuestras suites creativas y, últimamente, desempeñan un papel crucial en el entrenamiento de los modelos generativos de IA detrás de chatbots como ChatGPT. La compañía se ha sumergido más profundamente en el mundo de la IA con el anuncio de un nuevo software que podría resolver un gran problema que tienen los chatbots: descarrilarse y ser un poco… extraños.
Las recientemente anunciadas ‘NeMo Guardrails’ (se abre en una pestaña nueva) es una pieza de software diseñada para garantizar que las aplicaciones inteligentes impulsadas por modelos de lenguaje extenso (LLM) como los chatbots de IA sean «precisas, apropiadas, sobre el tema y seguras». Esencialmente, las medidas de protección están ahí para eliminar la información inapropiada o inexacta generada por el chatbot, evitar que llegue al usuario e informar al bot que la salida específica fue incorrecta. Será como una capa adicional de precisión y seguridad, ahora sin necesidad de corrección por parte del usuario.
Los desarrolladores de IA pueden usar el software de código abierto para establecer tres tipos de límites para los modelos de IA: Pautas de actualidad, seguridad y protección. Desglosará los detalles de cada uno y por qué este tipo de software es tanto una necesidad como una responsabilidad.
¿Qué son las barandillas?
Las barandillas tópicas evitarán que el bot de IA se sumerja en temas en áreas que no están relacionadas o no son necesarias para el uso o la tarea. En el comunicado de Nvidia, se nos da el ejemplo de un bot de servicio al cliente que no responde preguntas sobre el clima. Si está hablando de la historia de las bebidas energéticas, no querrá que ChatGPT comience a hablarle sobre el mercado de valores. Básicamente, manteniendo todo en el tema.
Esto sería útil en grandes modelos de IA como Bing Chat de Microsoft, que se sabe que a veces se desvía un poco, y definitivamente podría garantizar que evitemos más berrinches e inexactitudes.
La barandilla de seguridad abordará la desinformación y las «alucinaciones», sí, alucinaciones, y garantizará que la IA responda con información precisa y adecuada. Esto significa que prohibirá el lenguaje inapropiado, reforzará las citas de fuentes creíbles y evitará el uso de fuentes ficticias o ilegítimas. Esto es especialmente útil para ChatGPT, ya que hemos visto muchos ejemplos en Internet de bots que inventan citas cuando se les pregunta.
Y para las medidas de seguridad, estas simplemente evitarán que el bot acceda a aplicaciones externas que se «consideren inseguras»; en otras palabras, cualquier aplicación o software para el que no se le haya dado permiso explícito y propósito para interactuar, como una aplicación bancaria o sus archivos personales. Esto significa que obtendrá información optimizada, precisa y segura cada vez que use el bot.
Policía de la moralidad
Nvidia dice que prácticamente todos los desarrolladores de software pueden usar NeMo Guardrails, ya que son fáciles de usar y funcionan con una amplia gama de aplicaciones habilitadas para LLM, por lo que esperamos comenzar a verlo en más chatbots en el futuro cercano.
Si bien esta no es solo una «actualización» integral que estamos recibiendo en el frente de la IA, también es increíblemente impresionante. El software dedicado a monitorear y corregir modelos como ChatGPT dictado por estrictas pautas de los desarrolladores es la mejor manera de mantener las cosas bajo control sin preocuparse por hacerlo usted mismo.
Dicho esto, dado que no existen pautas de gobierno firmes, estamos en deuda con la moralidad y las prioridades de los desarrolladores en lugar de ser impulsados por preocupaciones reales de bienestar. Nvidia, tal como está, parece tener la seguridad y protección de los usuarios en el corazón del software, pero no hay garantía de que esas prioridades no cambien, o que los desarrolladores que usan el software puedan tener diferentes pautas morales o preocupaciones.