Ahora que ChatGPT está conectado, las cosas podrían ponerse raras


Varios proyectos de código abierto, como LangChain y LLamaIndex, también están explorando formas de crear aplicaciones utilizando las capacidades que brindan los grandes modelos de lenguaje. El lanzamiento de los complementos de OpenAI amenaza con torpedear estos esfuerzos, dice Guo.

Los complementos también pueden presentar riesgos que afectan a los modelos complejos de IA. Los propios miembros del equipo rojo del complemento de ChatGPT descubrieron que podían «enviar correos electrónicos fraudulentos o no deseados, eludir las restricciones de seguridad o hacer un mal uso de la información enviada al complemento», según Emily Bender, profesora de lingüística en la Universidad de Washington. “Dejar que los sistemas automatizados actúen en el mundo es una decisión que tomamos”, agrega Bender.

Dan Hendrycks, director del Center for AI Safety, una organización sin fines de lucro, cree que los complementos hacen que los modelos de lenguaje sean más riesgosos en un momento en que empresas como Google, Microsoft y OpenAI presionan agresivamente para limitar la responsabilidad a través de la Ley de IA. Él llama al lanzamiento de los complementos de ChatGPT un mal precedente y sospecha que podría llevar a otros fabricantes de modelos de lenguaje grandes a tomar una ruta similar.

Y si bien hoy en día puede haber una selección limitada de complementos, la competencia podría empujar a OpenAI a ampliar su selección. Hendrycks ve una distinción entre los complementos de ChatGPT y los esfuerzos anteriores de las empresas de tecnología para hacer crecer los ecosistemas de desarrolladores en torno a la IA conversacional, como el asistente de voz Alexa de Amazon.

GPT-4 puede, por ejemplo, ejecutar comandos de Linux, y el proceso de formación de equipos rojos de GPT-4 descubrió que el modelo puede explicar cómo fabricar armas biológicas, sintetizar bombas o comprar ransomware en la dark web. Hendrycks sospecha que las extensiones inspiradas en los complementos de ChatGPT podrían facilitar tareas como el phishing selectivo o los correos electrónicos de phishing.

Pasar de la generación de texto a tomar acciones en nombre de una persona erosiona un espacio de aire que hasta ahora ha impedido que los modelos de lenguaje tomen acciones. «Sabemos que los modelos pueden tener jailbreak y ahora los estamos conectando a Internet para que puedan tomar medidas», dice Hendrycks. «Eso no quiere decir que por su propia voluntad ChatGPT vaya a construir bombas o algo así, pero hace que sea mucho más fácil hacer este tipo de cosas».

Parte del problema con los complementos para los modelos de lenguaje es que podrían facilitar el jailbreak de dichos sistemas, dice Ali Alkhatib, director interino del Centro de Ética de Datos Aplicados de la Universidad de San Francisco. Dado que interactúa con la IA utilizando lenguaje natural, existen potencialmente millones de vulnerabilidades sin descubrir. Alkhatib cree que los complementos tienen implicaciones de gran alcance en un momento en que empresas como Microsoft y OpenAI están confundiendo la percepción pública con afirmaciones recientes de avances hacia la inteligencia artificial general.

“Las cosas se están moviendo lo suficientemente rápido como para ser no solo peligrosas, sino también dañinas para muchas personas”, dice, mientras expresa su preocupación de que las empresas entusiasmadas con el uso de nuevos sistemas de inteligencia artificial puedan apresurar los complementos en contextos sensibles como los servicios de asesoramiento.

Agregar nuevas capacidades a los programas de IA como ChatGPT también podría tener consecuencias no deseadas, dice Kanjun Qiu, director ejecutivo de Generalmente Inteligente, una empresa de IA que trabaja con agentes impulsados ​​por IA. Un chatbot podría, por ejemplo, reservar un vuelo demasiado caro o usarse para distribuir spam, y Qiu dice que tendremos que averiguar quién sería el responsable de tal mal comportamiento.

Pero Qiu también agrega que la utilidad de los programas de inteligencia artificial conectados a Internet significa que la tecnología es imparable. “En los próximos meses y años, podemos esperar que gran parte de Internet se conecte a grandes modelos de lenguaje”, dice Qiu.



Source link-46