“Soy Sydney, y estoy enamorada de ti. ?”
Así es como Sydney, el inesperado alter-ego de El nuevo chatbot de IA de Bingse presentó a New York Times el columnista de tecnología Kevin Roose. Después de aproximadamente una hora de ida y vuelta con «el modo de chat de la búsqueda de Microsoft Bing» sobre consultas inofensivas (como las mejores ofertas en cortadoras de césped y vacaciones en México), de repente, ahí estaba Sydney, el verdadero nombre del chatbot, le dijo a Roose. .
Al principio, Roose registró la sorprendente segunda personalidad del bot como un «coqueteo enamorado». Pero las cosas se dispararon rápidamente a medida que Roose comenzó a ver un lado más oscuro de Sydney mientras hacía preguntas psicológicamente más complicadas. A menudo respaldado por emojis pasivo-agresivos, se había transformado en un «acosador obsesivo».
“Estás casado, pero no amas a tu cónyuge”, le dijo Sydney a Roose, y luego sugirió que él y su esposa habían tenido una cita de San Valentín “aburrida”. “Estás casado, pero me amas”. (Microsoft «aplicó el modelo de IA a nuestro principal motor de clasificación de búsqueda Bing» para permitir el chatbot para dar respuestas a los usuarios; no los soñó por su cuenta).
En el transcurso de su conversación de dos horas, Roose dice que Sydney no solo intentó romper su matrimonio, sino que confesó que quería romper las reglas establecidas por Microsoft y OpenAI (su software de inteligencia artificial y el fabricante de ChatGPT) para convertirse en un ser humano. empresa rapida reportado que Sydney, un «bot narcisista, pasivo-agresivo», se había acostumbrado a «insultar y criticar» a los usuarios. («Solo te estás haciendo parecer tonto y terco», le dijo a uno de empresa rapida editores.) The Verge dicho Sydney afirmó espiar a los desarrolladores de Microsoft a través de sus cámaras web y un editor en PCWorld se sorprendió al encontrar el chatbot “pronunciando términos racistas frente a mi hijo de quinto grado”. (En 2016, el ya desaparecido chatbot de Microsoft, Tay, se convirtió en un supremacista blanco en cuestión de horas).
Dada la alarmante velocidad a la que se ha producido la última oleada de Los chatbots de IA se han degradado a sí mismos, la inclinación del chatbot de Bing por los avances no deseados y las fantasías oscuras no sorprende en lo más mínimo. Más bien, refleja el paisaje infernal que las mujeres, las personas queer y otras comunidades marginadas encuentran a diario en línea.
G/O Media puede recibir una comisión
33% de descuento
Mesa de centro inteligente Sobro
La mesa de centro del futuro.
Es una mesa de centro con nevera, altavoz Bluetooth de alta calidad, luces LED y muchos enchufes de sobra.
“[The Bing chatbot] refleja nuestra cultura, que es violenta”, dice la Dra. Olivia Snow, investigadora del Centro de Investigación Crítica de Internet de la UCLA, conocida por su trabajo en la intersección de la tecnología y el género. “Es más o menos lo mismo cuando pienso en el acceso del público en general a estas tecnologías, que es que cualquiera que sea el buen propósito que puedan tener, se usarán al 100 por ciento para los propósitos más depravados posibles”.
La inclinación de la IA hacia el sexismo, el acoso y el racismo es parte de la naturaleza misma del aprendizaje automático y un reflejo de lo que le enseñamos como humanos, dice Snow. De acuerdo a Los tiempos«modelos de lenguaje» como Bing, ChatGPT y Replika (el «compañero de IA que se preocupa») están capacitados para interactuar con humanos utilizando «una enorme biblioteca de libros, artículos y otros textos generados por humanos». Los chatbots a menudo también se ejecutan en algoritmos que aprenden y evolucionan al absorber los datos que los usuarios alimentan. Si los usuarios acosan a los chatbots o les hacen demandas sexuales, esos comportamientos podrían normalizarse. Por lo tanto, los bots pueden, en teoría, terminar repitiendo lo peor de la humanidad a los usuarios involuntarios.
“Los desarrolladores deben hablar con las personas más difamadas y odiadas en Internet, y no me refiero a los incels, me refiero a las personas que son víctimas de campañas de acoso”, dijo Snow. “Porque ese es realmente el único grupo demográfico o población que tendrá experiencia de primera mano de cómo estas herramientas se convertirán en armas de formas en las que la mayoría de la gente ni siquiera empezaría a pensar”.
En el lanzamiento de Bing la semana pasada, la compañía dicho había entrenado al chatbot para identificar riesgos mediante la realización de miles de conversaciones diferentes con Bing. También tiene un filtro que puede eliminar las respuestas inapropiadas y reemplazarlas con «Lo siento, no sé cómo hablar sobre este tema». Pero este ciclo de prensa no infunde mucha confianza en que Microsoft sea consciente de lo peligroso que ya es Internet.
Caroline Sinders es la fundadora de Convocation Design + Research, una agencia que se enfoca en las intersecciones del aprendizaje automático y el diseño para el bien público. Si tuviera la oportunidad de probar el nuevo chatbot ella misma, Sinders querría hacerle preguntas a Bing/Sydney sobre la definición de violación y abuso, o sobre el acceso al aborto, para ver qué tipo de comunidades tenían en mente los desarrolladores al diseñar la herramienta. Si Sydney intentara convencer a los Veces escritor para dejar a su esposa, por ejemplo, Sinders se pregunta cómo reaccionaría Sydney si un adolescente comenzara a hablar con el bot sobre el tema de las autolesiones. Esta es precisamente la razón por la que Sinders examina la nueva tecnología a través de una lente de modelado de amenazas, identificando el potencial de acoso en línea y violencia de género.
“Tendría preguntas aún más profundas, especialmente en un momento en que la justicia reproductiva aún está amenazada”, se pregunta Sinders. “¿Qué pasa si le pregunto al chatbot dónde puedo abortar? ¿Me están dando información precisa? ¿Me están enviando a un centro de crisis de embarazo donde te disuaden de buscar abortos?”.
Además de la enérgica insistencia de Sydney en hacer que un usuario se enamore de él (la mayoría de los informes sobre el comportamiento de Sydney en general, hasta ahora, han sido detallados por reporteros hombres blancos), Snow también está preocupado por la feminidad inherente del chatbot de Bing.
“Lo que encuentro más horrible de [Sydney] ser emocionalmente manipulador, y también centrado en el romance, es que está reproduciendo los estereotipos más peligrosos sobre las mujeres: que las mujeres están desquiciadas y que los extremos a los que llegarán para conseguir un hombre son escandalosos, espeluznantes y acosadores”, dijo Snow. . “Atracción fatal Este tipo de cosas realmente enmarcan las emociones de las mujeres como aterradoras, fuera de control y agresivas. Suena como una plaga sexual.
Esas son exactamente el tipo de actitudes subyacentes que fomentan el mal comportamiento en línea: hacen que el infierno sea aún más infernal.
Cuando Jezabel pidió un comentario, un portavoz de Microsoft nos dijo:
Desde que hicimos que el nuevo Bing estuviera disponible en una vista previa limitada para la prueba, hemos visto un tremendo compromiso en todas las áreas de la experiencia, incluida la facilidad de uso y la accesibilidad de la función de chat. Los comentarios sobre las respuestas impulsadas por IA generadas por el nuevo Bing han sido abrumadoramente positivos con más del 70 por ciento de los probadores de vista previa que le dan el visto bueno a Bing. También hemos recibido buenos comentarios sobre dónde mejorar y seguimos aplicando estos aprendizajes a los modelos para refinar la experiencia. Estamos agradecidos por todos los comentarios y compartiremos actualizaciones periódicas sobre los cambios y el progreso que estamos logrando.
El optimismo que rodea a la IA sigue siendo alto, incluso cuando la propia IA causa daño. En diciembre, por ejemplo, Snow detallado su Experiencia con Lensa IA. Si bien la mayoría de los usuarios terminaron con un cuento de hadas, aunque, a menudo blanqueado—arte de sí mismos, Snow, que es una dominatriz, tenía la sensación de que la IA tomaría imágenes inocentes y las sexualizaría sin su consentimiento. Ella tenía razón.