Lo que necesitas saber
- Microsoft anunció recientemente un nuevo Bing impulsado por ChatGPT.
- Desde entonces se ha descubierto que la demostración de Microsoft del nuevo Bing incluía varios errores fácticos.
- El motor de búsqueda envió a una ola de probadores a principios de esta semana y ha generado muchas respuestas con información inexacta.
- En un caso, Bing compartió una lista de insultos étnicos.
Microsoft dio a conocer un nuevo Bing con ChatGPT durante un evento la semana pasada. El motor de búsqueda apareció en los titulares en una variedad de sitios, desde blogs de tecnología hasta sitios de noticias generales. Pero desde entonces se descubrió que el nuevo Bing de Microsoft cometió varios errores de hecho durante una demostración que pasó desapercibido.
Dmitri Breretón compartió una publicación de blog destacando varios errores cometidos por Bing. El motor de búsqueda mostró errores fácticos en varias categorías, pero quizás los errores más significativos fueron los errores financieros. La herramienta confundió términos financieros, como márgenes brutos y márgenes brutos ajustados.
Errores como esos pueden escalar rápidamente. La falla de Bing para diferenciar entre diferentes categorías puede crear comparaciones que son completamente inexactas. Otro factor es que la IA, incluido el nuevo Bing con ChatGPT, a menudo transmite confianza al compartir información incorrecta. Si le pide a una persona con conocimientos financieros limitados que haga una comparación similar, es posible que admita que no tiene clara la diferencia entre el margen bruto y el margen bruto ajustado. Bing no lo hizo en este caso.
En un momento durante la demostración, Bing compartió cifras que no aparecían en absoluto en su material de origen. Brereton se sumerge en los detalles, pero en resumidas cuentas, Bing parecía haber fabricado datos financieros completamente fabricados al crear un resumen de un documento.
No son solo los datos financieros que Bing obtuvo incorrectamente durante su demostración. Brereton señaló el motor de búsqueda que indicaba incorrectamente que una aspiradora tenía un cable. Ese es otro ejemplo más de una inexactitud que haría inútil una comparación entre elementos.
No solo la demostración
Ahora eso Bing se está implementando para obtener una vista previa de los probadores, la gente también se está metiendo en otros errores. A Publicación de reddit compartió un ejemplo de Bing afirmando que actualmente era 2022 y que una persona tendría que esperar 10 meses para ver una película que se estrenó el año pasado. Bing incluso sugirió que el usuario puede tener un virus o error en su teléfono que provocó que apareciera una fecha incorrecta.
Microsoft respondió a ese problema en particular y compartió una declaración con el borde«Esperamos que el sistema pueda cometer errores durante este período de vista previa, y los comentarios son fundamentales para ayudar a identificar dónde las cosas no funcionan bien para que podamos aprender y ayudar a que los modelos mejoren».
Bing también le ha enseñado a la gente insultos étnicos, como reportado por pcworld. El motor de búsqueda agregó una nota de que «los apodos de varias etnias pueden ser hirientes e irrespetuosos» cuando se les presiona para compartir más, pero ya había enumerado varios términos ofensivos en ese momento.
Nota: La siguiente imagen incluye calumnias y términos despectivos para varios grupos y etnias que generó Bing.
Microsoft discutió la situación que se muestra arriba en una declaración a The Verge:
“Hemos establecido medidas de seguridad para evitar la promoción de contenido dañino o discriminatorio de acuerdo con nuestros principios de IA. Actualmente estamos buscando mejoras adicionales que podamos hacer a medida que continuamos aprendiendo de las primeras fases de nuestro lanzamiento. Estamos comprometidos a mejorar la calidad de esta experiencia con el tiempo y a convertirla en una herramienta útil e inclusiva para todos”.
Error de Google frente a error de Bing
Bard AI de Google generó críticas cuando se descubrió que la herramienta incluía errores de hecho dentro de un anuncio. Las acciones de Alphabet cayeron un 7%, lo que equivalió a más de $100 mil millones en capitalización de mercado.
No está claro si los errores generados por el nuevo Bing y ChatGPT resultarán en pérdidas similares para OpenAI y Microsoft. Hay algunas diferencias entre las situaciones. Primero, Google es el líder establecido en la búsqueda. La gente va a ser menos indulgente con cualquier cosa que implemente Google que ChatGPT de OpenAI y Bing de Microsoft.
Además, las malas noticias atraen más la atención que las buenas, por lo que es más probable que las personas salten a la plataforma de búsqueda dominante y cometan errores que a los nuevos que tienen problemas.
Toma de Windows Central
En mis propias pruebas, también obtuve resultados mixtos. La primera pregunta que le hice al nuevo Bing después de obtener acceso arrojó una respuesta incorrecta. De hecho, la respuesta no solo fue incorrecta, sino que se contradijo a sí misma. Le pregunté a Bing cómo le fue a Patrick Mahomes en el Super Bowl.
La respuesta decía que Mahomes había ganado un Super Bowl y luego afirmó que había ganado dos. Este último es exacto, pero solo se volvió exacto a partir del domingo al final del Super Bowl XLVII. Pero un motor de búsqueda necesita utilizar información actualizada para obtener resultados. El ejemplo anterior también muestra que Bing no verifica los hechos contra sí mismo, al menos al nivel que necesita.
cuando cubrimos Bing saliendo del extremo profundo, nuestro editor en jefe, Daniel Rubino, destacó que la IA mejora exponencialmente. El tiene razón. Bing y ChatGPT mejorarán con el tiempo a medida que reciban más datos. Pero Microsoft todavía necesita tener cuidado.
El interés en Bing está en su punto más alto. Bard de Google recibió legítimamente críticas cuando compartió un error en un anuncio. Cada error de Bing pone al motor de búsqueda en riesgo de perder impulso.
Microsoft no debería ser inmune a las críticas solo porque su tecnología es emocionante. Sí, el nuevo Bing está en versión preliminar. Cometerá errores y mejorará con el tiempo, pero Google tomó sus bultos cuando Bard cometió un error. Ahora es el turno de Bing.