James Marshall/Getty Images
Soheil Feizi se considera una persona optimista. Pero el profesor de informática de la Universidad de Maryland es directo cuando resume el estado actual de las imágenes de IA con marcas de agua. «No tenemos ninguna marca de agua fiable en este momento», afirma. «Los rompimos todos».
Para uno de los dos tipos de marcas de agua de IA que probó para un nuevo estudio (marcas de agua de «baja perturbación», que son invisibles a simple vista), es aún más directo: «No hay esperanza».
Feizi y sus coautores analizaron lo fácil que es para los malos actores evadir los intentos de poner marcas de agua. (Él lo llama «lavar» la marca de agua). Además de demostrar cómo los atacantes pueden eliminar las marcas de agua, el estudio muestra cómo es posible agregar marcas de agua a imágenes generadas por humanos, lo que genera falsos positivos. Publicado en línea esta semana, el artículo preimpreso aún no ha sido revisado por pares; Feizi ha sido una figura destacada en el examen de cómo podría funcionar la detección de IA, por lo que vale la pena prestar atención a una investigación, incluso en esta etapa inicial.
Es una investigación oportuna. La marca de agua se ha convertido en una de las estrategias más prometedoras para identificar imágenes y texto generados por IA. Así como las marcas de agua físicas están incrustadas en billetes y sellos para demostrar su autenticidad, las marcas de agua digitales están destinadas a rastrear los orígenes de imágenes y textos en línea, ayudando a las personas a detectar videos falsificados y libros escritos por robots. Con las elecciones presidenciales de Estados Unidos en el horizonte en 2024, la preocupación por la manipulación de los medios es alta, y algunas personas ya están dejándose engañar. El expresidente estadounidense Donald Trump, por ejemplo, compartió un vídeo falso de Anderson Cooper en su plataforma social Truth Social; La voz de Cooper había sido clonada por IA.
Este verano, OpenAI, Alphabet, Meta, Amazon y varios otros actores importantes de la IA se comprometieron a desarrollar tecnología de marcas de agua para combatir la desinformación. A finales de agosto, DeepMind de Google lanzó una versión beta de su nueva herramienta de marca de agua, SynthID. La esperanza es que estas herramientas marquen el contenido de IA a medida que se genera, de la misma manera que las marcas de agua físicas autentican los dólares a medida que se imprimen.
Es una estrategia sólida y sencilla, pero puede que no sea ganadora. Este estudio no es el único trabajo que señala las principales deficiencias de las marcas de agua. «Está bien establecido que las marcas de agua pueden ser vulnerables a los ataques», afirma Hany Farid, profesor de la Escuela de Información de UC Berkeley.
En agosto de este año, investigadores de la Universidad de California en Santa Bárbara y Carnegie Mellon escribieron en coautoría otro artículo que describe hallazgos similares, después de realizar sus propios ataques experimentales. «Todas las marcas de agua invisibles son vulnerables», se lee. Este nuevo estudio va aún más allá. Si bien algunos investigadores han mantenido la esperanza de que se puedan desarrollar marcas de agua visibles (“de alta perturbación”) para resistir los ataques, Feizi y sus colegas dicen que incluso este tipo más prometedor puede manipularse.
Los fallos en las marcas de agua no han disuadido a los gigantes tecnológicos de ofrecerlas como solución, pero las personas que trabajan en el espacio de detección de IA se muestran cautelosas. “Al principio, las marcas de agua parecen una solución noble y prometedora, pero sus aplicaciones en el mundo real fallan desde el principio cuando pueden falsificarse, eliminarse o ignorarse fácilmente”, dice Ben Colman, director ejecutivo de la startup de detección de inteligencia artificial Reality Defender.
«Las marcas de agua no son efectivas», añade Bars Juhasz, cofundador de Undetectable, una startup dedicada a ayudar a las personas a evadir los detectores de IA. «Han surgido industrias enteras, como la nuestra, para asegurarse de que no sea eficaz». Según Juhasz, empresas como la suya ya son capaces de ofrecer servicios rápidos de eliminación de marcas de agua.
Otros sí piensan que las marcas de agua tienen un lugar en la detección de IA, siempre y cuando comprendamos sus limitaciones. «Es importante entender que nadie piensa que la marca de agua por sí sola será suficiente», dice Farid. «Pero creo que unas marcas de agua sólidas son parte de la solución». Él piensa que mejorar las marcas de agua y luego usarlas en combinación con otras tecnologías hará que sea más difícil para los malos actores crear falsificaciones convincentes.
Algunos de los colegas de Feizi creen que las marcas de agua también tienen su lugar. «Que esto sea un golpe para las marcas de agua depende en gran medida de las suposiciones y esperanzas puestas en las marcas de agua como solución», dice Yuxin Wen, estudiante de doctorado en la Universidad de Maryland y coautora de un artículo reciente que sugiere una nueva técnica de marcas de agua. Para Wen y sus coautores, incluido el profesor de informática Tom Goldstein, este estudio es una oportunidad para reexaminar las expectativas puestas en las marcas de agua, en lugar de una razón para descartar su uso como una herramienta de autenticación entre muchas.
«Siempre habrá actores sofisticados que sean capaces de evadir la detección», afirma Goldstein. «Está bien tener un sistema que sólo pueda detectar algunas cosas». Considera que las marcas de agua son una forma de reducción de daños y que valen la pena para detectar intentos de falsificación de IA de nivel inferior, incluso si no pueden prevenir ataques de alto nivel.
Es posible que esta moderación de las expectativas ya esté ocurriendo. En su publicación de blog anunciando SynthID, DeepMind tiene cuidado de cubrir sus apuestas, señalando que la herramienta «no es infalible» y «no es perfecta».
Feizi se muestra muy escéptico respecto de que las marcas de agua sean un buen uso de los recursos para empresas como Google. «Quizás deberíamos acostumbrarnos al hecho de que no vamos a poder marcar de forma fiable imágenes generadas por IA», afirma.
Aún así, su artículo es un poco más alegre en sus conclusiones. «Según nuestros resultados, diseñar una marca de agua robusta es una tarea desafiante pero no necesariamente imposible», se lee.
Esta historia apareció originalmente en wired.com.