Krishnan dice que el creador del sistema publicó un video que parecía mostrar el chatbot operando y generando un correo electrónico fraudulento. También estaban tratando de vender el acceso al sistema por $200 por mes, o un costo anual de $1,700. Krishnan dice que en conversaciones con el desarrollador detrás de FraudGPT, afirmaron tener unos cientos de suscriptores e impulsaron una venta, mientras que el creador de WormGPT parecía haber recibido pagos en una dirección de billetera de criptomonedas que compartieron. “Todos estos proyectos están en su infancia”, dice Krishnan. Agrega, “no tenemos mucha retroalimentación” sobre si la gente está comprando o usando los sistemas.
Si bien quienes promocionan los chatbots afirman que existen, es difícil verificar la composición y la legitimidad de los sistemas. Se sabe que los estafadores ciberdelincuentes estafan a otros estafadores, con investigaciones anteriores que muestran que con frecuencia intentan estafarse unos a otros, no proporcionan lo que dicen que están vendiendo y ofrecen un mal servicio al cliente. Sergey Shykevich, gerente del grupo de inteligencia de amenazas en la firma de seguridad Check Point, dice que hay algunos indicios de que las personas están usando WormGTP. “Parece que hay una herramienta real”, dice Shykevich. El vendedor detrás de la herramienta es «relativamente confiable» y tiene un historial en foros de delitos cibernéticos, dice.
Hay más de 100 respuestas a una publicación sobre WormGPT, dice Shykevich, aunque algunas de ellas dicen que el vendedor no responde muy bien a sus consultas y otras «no estaban muy entusiasmadas» con el sistema. Shykevich está menos convencido de la autenticidad de FraudGPT: el vendedor también afirmó tener sistemas llamados DarkBard y DarkBert. Shykevich dice que algunas de las publicaciones del vendedor fueron eliminadas de los foros. De cualquier manera, el investigador de Check Point dice que no hay señales de que ninguno de los sistemas sea más capaz que ChatGPT, Bard u otros LLM comerciales.
Kelly dice que cree que las afirmaciones sobre los LLM maliciosos creados hasta ahora son «ligeramente exageradas». Pero agrega, “esto no es necesariamente diferente de lo que hacen las empresas legítimas en el mundo real”.
A pesar de las dudas sobre los sistemas, no sorprende que los ciberdelincuentes quieran participar en el auge de LLM. El FBI advirtió que los ciberdelincuentes están considerando el uso de IA generativa en su trabajo, y la agencia europea de aplicación de la ley, Europol, emitió una advertencia similar. Las agencias de aplicación de la ley dicen que los LLM podrían ayudar a los ciberdelincuentes con el fraude, la suplantación de identidad y otras ingenierías sociales más rápido que antes y también mejorar su inglés escrito.
Cada vez que un nuevo producto, servicio o evento llama la atención del público, desde el Barbie película a la pandemia de Covid-19: los estafadores se apresuran a incluirla en su artillería de piratería. Hasta ahora, los estafadores han engañado a las personas para que descarguen malware para robar contraseñas a través de anuncios falsos de ChatGPT, Bard, Midjourney y otros sistemas generativos de IA en Facebook.
Investigadores de la empresa de seguridad Sophos han descubierto que los operadores de estafas románticas y de matanza de cerdos incluyen accidentalmente texto generado en sus mensajes: «Como un modelo de lenguaje de ‘yo’, no tengo sentimientos ni emociones como los humanos», decía un mensaje. Y los piratas informáticos también han estado robando tokens para brindarles acceso a la API de OpenAI y acceso al chatbot a escala.
En su informe WormGPT, Kelly señala que los ciberdelincuentes a menudo comparten jailbreaks que permiten a las personas eludir las restricciones de seguridad establecidas por los creadores de los populares LLM. Pero incluso las versiones sin restricciones de estos modelos pueden, afortunadamente, no ser tan útiles para los ciberdelincuentes en su forma actual.
Shykevich, el investigador de Check Point, dice que incluso cuando ha visto a los ciberdelincuentes intentar usar modelos públicos, no han sido efectivos. Pueden «crear cepas de ransomware, ladrones de información, pero no mejor que un desarrollador promedio», dice. Sin embargo, aquellos en los foros de ciberdelincuencia todavía están hablando de hacer sus propios clones, dice Shykevich, y solo van a mejorar en el uso de los sistemas. Así que ten cuidado con lo que haces clic.