Un padre preocupado dice que después de usar su teléfono inteligente Android para tomar fotos de una infección en la ingle de su hijo pequeño, Google marcó las imágenes como material de abuso sexual infantil (CSAM), según un informe de Los New York Times. La empresa cerró sus cuentas y presentó un informe ante el Centro Nacional para Niños Desaparecidos y Explotados (NCMEC, por sus siglas en inglés) e impulsó una investigación policial, destacando las complicaciones de tratar de diferenciar entre un abuso potencial y una foto inocente una vez que se vuelve parte de la cuenta de un usuario. biblioteca digital, ya sea en su dispositivo personal o en el almacenamiento en la nube.
Las preocupaciones sobre las consecuencias de desdibujar los límites de lo que debería considerarse privado se expresaron el año pasado cuando Apple anunció su plan Child Safety. Como parte del plan, Apple escanearía localmente las imágenes en los dispositivos Apple antes de que se carguen en iCloud y luego compararía las imágenes con la base de datos hash del NCMEC de CSAM conocido. Si se encontraban suficientes coincidencias, un moderador humano revisaría el contenido y bloquearía la cuenta del usuario si contenía MASI.
La Electronic Frontier Foundation (EFF), un grupo de derechos digitales sin fines de lucro, criticó el plan de Applediciendo que podría «abrir una puerta trasera a su vida privada» y que representaba «una disminución de la privacidad para todos los usuarios de Fotos de iCloud, no una mejora».
Apple finalmente colocó la parte de escaneo de imágenes almacenadas en esperapero con el lanzamiento de iOS 15.2se procedió a incluir una característica opcional para cuentas de niños incluido en un plan de intercambio familiar. Si los padres optan por participar, entonces en la cuenta de un niño, la aplicación Mensajes «analiza los archivos adjuntos de imágenes y determina si una foto contiene desnudez, mientras mantiene el cifrado de extremo a extremo de los mensajes». Si detecta desnudez, desenfoca la imagen, muestra una advertencia para el niño y le presenta recursos destinados a ayudar con la seguridad en línea.
El incidente principal destacado por Los New York Times tuvo lugar en febrero de 2021, cuando algunos consultorios médicos aún estaban cerrados debido a la pandemia de COVID-19. Como señaló el Veces, Mark (cuyo apellido no fue revelado) notó una hinchazón en la región genital de su hijo y, a pedido de una enfermera, envió imágenes del problema antes de una videoconsulta. El médico terminó recetando antibióticos que curaron la infección.
De acuerdo con la NYTMark recibió una notificación de Google solo dos días después de tomar las fotos, indicando que sus cuentas habían sido bloqueadas debido a «contenido dañino» que era «una violación grave de las políticas de Google y podría ser ilegal».
Al igual que muchas empresas de Internet, incluidas Facebook, Twitter y Reddit, Google ha utilizado la coincidencia de hash con PhotoDNA de Microsoft para escanear imágenes cargadas para detectar coincidencias con MASI conocido. En 2012, condujo a la detención de un hombre quien era un delincuente sexual registrado y usó Gmail para enviar imágenes de una niña.
En 2018, Google anunció el lanzamiento de su Kit de herramientas de IA de API de seguridad de contenido que pueda “identificar proactivamente imágenes de MASN nunca antes vistas para que puedan ser revisadas y, si se confirma como MANI, eliminadas y denunciadas lo más rápido posible”. Utiliza la herramienta para sus propios servicios y, junto con una solución de coincidencia de hash CSAI Match de orientación de video desarrollada por ingenieros de YouTube, también la ofrece para que la usen otros.
Google “Lucha contra el abuso en nuestras propias plataformas y servicios”:
Identificamos y denunciamos el MASI con equipos de especialistas capacitados y tecnología de punta, incluidos clasificadores de aprendizaje automático y tecnología de coincidencia de hash, que crea un «hash», o huella digital única, para una imagen o un video para que pueda compararse con hash. de MASI conocido. Cuando encontramos MASI, lo informamos al Centro Nacional para Niños Desaparecidos y Explotados (NCMEC, por sus siglas en inglés), que actúa de enlace con las agencias de aplicación de la ley de todo el mundo.
Un portavoz de Google le dijo al Veces que Google solo escanea las imágenes personales de los usuarios cuando un usuario realiza una «acción afirmativa», que aparentemente puede incluir hacer una copia de seguridad de sus imágenes en Google Photos. Cuando Google marca imágenes explotadoras, el Veces señala que Google es requerido por ley Federal para reportar al infractor potencial a CyberTipLine en el NCMEC. En 2021, Google notificado 621.583 casos de CSAM a CyberTipLine del NCMEC, mientras que el NCMEC alertó a las autoridades de 4.260 posibles víctimasuna lista que el NYT dice que incluye al hijo de Mark.
Mark terminó perdiendo el acceso a sus correos electrónicos, contactos, fotos e incluso su número de teléfono, ya que usaba el servicio móvil de Google Fi, el Veces informes. Mark inmediatamente intentó apelar la decisión de Google, pero Google rechazó la solicitud de Mark. El Departamento de Policía de San Francisco, donde vive Mark, abrió una investigación sobre Mark en diciembre de 2021 y obtuvo toda la información que almacenó en Google. El investigador del caso finalmente encontró que el incidente “no reunió los elementos de un crimen y que no ocurrió ningún crimen”, el NYT notas
“El material de abuso sexual infantil (CSAM, por sus siglas en inglés) es abominable y estamos comprometidos a evitar que se propague en nuestras plataformas”, dijo la portavoz de Google, Christa Muldoon, en un comunicado enviado por correo electrónico a el borde. “Seguimos la ley de los EE. UU. al definir lo que constituye CSAM y usamos una combinación de tecnología de comparación de hash e inteligencia artificial para identificarlo y eliminarlo de nuestras plataformas. Además, nuestro equipo de expertos en seguridad infantil revisa el contenido marcado para verificar su precisión y consulta con pediatras para ayudar a garantizar que podamos identificar instancias en las que los usuarios pueden estar buscando consejo médico”.
Si bien proteger a los niños del abuso es indudablemente importante, los críticos argumentan que la práctica de escanear las fotos de un usuario invade su privacidad de manera irrazonable. Jon Callas, director de proyectos tecnológicos de la EFF, calificó las prácticas de Google de «intrusivas» en un comunicado a la NYT. “Esta es precisamente la pesadilla que nos preocupa a todos”, dijo Callas al NYT. “Van a escanear mi álbum familiar y luego me voy a meter en problemas”.