En cambio, ese eslogan dice menos sobre lo que hace la empresa y más sobre por qué lo hace. Los anuncios de trabajo de Helsing rebosan de idealismo, llamando a personas con la convicción de que “vale la pena proteger los valores democráticos”.
Los tres fundadores de Helsing hablan de la invasión rusa de Crimea en 2014 como una llamada de atención de que toda Europa necesitaba estar preparada para responder a la agresión rusa. “Cada vez me preocupó más que nos estamos quedando atrás de las tecnologías clave en nuestras sociedades abiertas”, dice Reil. Ese sentimiento creció cuando vio, en 2018, a los empleados de Google protestar contra un acuerdo con el Pentágono, en el que Google habría ayudado a los militares a usar IA para analizar imágenes de drones. Más de 4000 empleados firmaron una carta argumentando que era moral y éticamente irresponsable que Google ayudara a la vigilancia militar y sus resultados potencialmente letales. En respuesta, Google dijo que no renovaría el contrato.
“Simplemente no entendía la lógica de esto”, dice Reil. “Si queremos vivir en sociedades abiertas y libres, ser quienes queremos ser y decir lo que queremos decir, necesitamos poder protegerlos. No podemos darlos por sentado”. Le preocupaba que si se disuadía a las grandes tecnológicas, con todos sus recursos, de trabajar con la industria de defensa, Occidente inevitablemente se quedaría atrás. “Sentí que si no lo están haciendo, si los mejores ingenieros de Google no están preparados para trabajar en esto, ¿quién lo está?”.
Por lo general, es difícil saber si los productos de defensa funcionan de la manera en que sus creadores dicen que lo hacen. Las empresas que los venden, incluida Helsing, afirman que comprometer la eficacia de sus herramientas para ser transparentes sobre los detalles. Pero mientras hablamos, los fundadores intentan proyectar una imagen de lo que hace que su IA sea compatible con los regímenes democráticos a los que quiere vender. “Realmente valoramos mucho la privacidad y la libertad, y nunca haríamos cosas como el reconocimiento facial”, dice Scherf, afirmando que la compañía quiere ayudar a los militares a reconocer objetos, no personas. «Hay ciertas cosas que no son necesarias para la misión de defensa».
Pero la creciente automatización en una industria mortal como la defensa aún plantea problemas espinosos. Si todo lo que ofrecen los sistemas de Helsing es una mayor conciencia del campo de batalla que ayuda a los militares a comprender dónde están los objetivos, eso no plantea ningún problema, dice Herbert Lin, investigador principal del Centro para la Seguridad y Cooperación Internacional de la Universidad de Stanford. Pero una vez que este sistema esté en su lugar, cree, los tomadores de decisiones se verán presionados para conectarlo con armas autónomas. “Los formuladores de políticas tienen que resistirse a la idea de hacer eso”, dice Lin, y agrega que los humanos, no las máquinas, deben ser responsables cuando ocurren errores. Si la IA “mata un tractor en lugar de un camión o un tanque, eso es malo. ¿Quién va a ser responsable de eso?”.
Riel insiste en que Helsing no fabrica armas autónomas. “Hacemos lo contrario”, dice. “Hacemos sistemas de inteligencia artificial que ayudan a los humanos a comprender mejor la situación”.
Aunque los operadores pueden usar la plataforma de Helsing para derribar un dron, en este momento es un ser humano el que toma esa decisión, no la IA. Pero hay dudas sobre cuánta autonomía tienen realmente los humanos cuando trabajan en estrecha colaboración con las máquinas. “Cuanto menos haces que los usuarios entiendan las herramientas con las que están trabajando, las tratan como magia”, dice Jensen del Centro de Estudios Estratégicos e Internacionales, afirmando que esto significa que los usuarios militares pueden confiar demasiado o demasiado poco en la IA.