Todav\u00eda estamos en las primeras etapas del efecto de bola de nieve desatado por el lanzamiento de modelos de lenguaje grande (LLM) como ChatGPT en la naturaleza. Junto con el c\u00f3digo abierto de otros modelos GPT (Transformador preentrenado generativo), la cantidad de aplicaciones que emplean IA se est\u00e1 disparando; y como sabemos, el mismo ChatGPT se puede utilizar para crear malware muy avanzado.<\/p>\n
A medida que pasa el tiempo, los LLM aplicados solo aumentar\u00e1n, cada uno especializado en su propia \u00e1rea, capacitado en datos cuidadosamente seleccionados para un prop\u00f3sito espec\u00edfico. Y una de esas aplicaciones acaba de salir, una que fue entrenada con datos de la web oscura. DarkBERT, como lo llamaron sus creadores de Corea del Sur, ha llegado: siga ese enlace para ver el documento de lanzamiento, que brinda una introducci\u00f3n general a la web oscura.<\/p>\n
DarkBERT se basa en la arquitectura RoBERTa, un enfoque de IA desarrollado en 2019. Ha experimentado una especie de renacimiento, y los investigadores descubrieron que en realidad ten\u00eda m\u00e1s rendimiento que el que se pod\u00eda extraer de \u00e9l en 2019. Parece que el modelo estaba muy poco entrenado. cuando se libera, muy por debajo de su m\u00e1xima eficiencia.<\/p>\n
Para entrenar el modelo, los investigadores rastrearon la Dark Web a trav\u00e9s del cortafuegos an\u00f3nimo de la red Tor y luego filtraron los datos sin procesar (aplicando t\u00e9cnicas como deduplicaci\u00f3n, equilibrio de categor\u00edas y preprocesamiento de datos) para generar una base de datos de la Dark Web. DarkBERT es el resultado de que esa base de datos se utilice para alimentar el modelo de lenguaje grande Roberta, un modelo que puede analizar una nueva pieza de contenido de Dark Web, escrita en sus propios dialectos y mensajes fuertemente codificados, y extraer informaci\u00f3n \u00fatil de ella.<\/p>\n
Decir que el ingl\u00e9s es el idioma de negocios de la Dark Web no ser\u00eda del todo correcto, pero es un brebaje lo suficientemente espec\u00edfico como para que los investigadores crean que un LLM espec\u00edfico tuvo que ser capacitado en \u00e9l. Al final, ten\u00edan raz\u00f3n: los investigadores demostraron que DarkBERT super\u00f3 a otros grandes modelos de lenguaje, lo que deber\u00eda permitir a los investigadores de seguridad y a las fuerzas del orden penetrar m\u00e1s profundamente en los recovecos de la web. Ah\u00ed es, despu\u00e9s de todo, donde est\u00e1 la mayor parte de la acci\u00f3n.<\/p>\n
Al igual que con otros LLM, eso no significa que DarkBERT est\u00e9 terminado, y la capacitaci\u00f3n y el ajuste adicionales pueden continuar para mejorar sus resultados. Queda por ver c\u00f3mo se usar\u00e1 y qu\u00e9 conocimiento se puede obtener.<\/p>\n<\/div>\n