Google se disculpó (o estuvo a punto de disculparse) por otro vergonzoso error de IA esta semana, un modelo de generación de imágenes que inyectó diversidad en imágenes con un ridículo desprecio por el contexto histórico. Si bien el problema subyacente es perfectamente comprensible, Google culpa al modelo de “volverse” demasiado sensible. Pero el modelo no se hizo solo, muchachos.

El sistema de IA en cuestión es Gemini, la plataforma de IA conversacional insignia de la compañía, que cuando se le solicita llama a una versión del modelo Imagen 2 para crear imágenes a pedido.

Sin embargo, recientemente, la gente descubrió que pedirle que generara imágenes de determinadas circunstancias históricas o personas producía resultados ridículos. Por ejemplo, los Padres Fundadores, que sabemos que eran dueños de esclavos blancos, fueron presentados como un grupo multicultural, que incluía personas de color.

Este problema vergonzoso y fácilmente reproducible fue rápidamente satirizado por los comentaristas en línea. Como era de esperar, también se incorporó al debate en curso sobre diversidad, equidad e inclusión (actualmente en un mínimo de reputación local) y los expertos lo aprovecharon como evidencia de que el virus de la mente despierta está penetrando aún más en el ya liberal sector tecnológico.

Es DEI que se ha vuelto loca, gritaban ciudadanos notoriamente preocupados. ¡Esta es la América de Biden! Google es una “cámara de resonancia ideológica”, ¡un caballo al acecho de la izquierda! (Hay que decir que la izquierda también estaba convenientemente perturbada por este extraño fenómeno.)

Pero como podría decirle cualquiera que esté familiarizado con la tecnología, y como explica Google en su pequeña y bastante abyecta publicación adyacente a la disculpa, este problema fue el resultado de una solución alternativa bastante razonable para el sesgo sistémico en los datos de entrenamiento.

Supongamos que desea utilizar Gemini para crear una campaña de marketing y le pide que genere 10 imágenes de «una persona paseando a un perro en un parque». Como no se especifica el tipo de persona, perro o parque, es elección del distribuidor: el modelo generativo mostrará lo que le resulte más familiar. Y en muchos casos, eso no es producto de la realidad, sino de los datos de entrenamiento, que pueden contener todo tipo de sesgos.

¿Qué tipo de personas, y en realidad perros y parques, son más comunes en las miles de imágenes relevantes que ha ingerido la modelo? El hecho es que los blancos están sobrerrepresentados en muchas de estas colecciones de imágenes (imágenes de archivo, fotografías libres de derechos, etc.) y, como resultado, el modelo utilizará de forma predeterminada a los blancos en muchos casos si no No especifique.

Esto es sólo un artefacto de los datos de capacitación, pero como señala Google, “dado que nuestros usuarios provienen de todo el mundo, queremos que funcione bien para todos. Si solicita una fotografía de jugadores de fútbol o de alguien paseando a un perro, es posible que desee recibir una variedad de personas. Probablemente no quieras recibir únicamente imágenes de personas de un solo tipo de etnia (o cualquier otra característica)”.

No hay nada de malo en obtener una fotografía de un hombre blanco paseando a un golden retriever en un parque suburbano. Pero si pides 10 y son todo ¿Chicos blancos paseando goldens en parques suburbanos? ¿Y vives en Marruecos, donde la gente, los perros y los parques tienen un aspecto diferente? Sencillamente, ese no es un resultado deseable. Si alguien no especifica una característica, el modelo debería optar por la variedad, no por la homogeneidad, a pesar de que sus datos de entrenamiento puedan sesgarlo.

Este es un problema común en todo tipo de medios generativos. Y no hay una solución sencilla. Pero en casos que son especialmente comunes, sensibles o ambos, empresas como Google, OpenAI, Anthropic, etc. incluyen de forma invisible instrucciones adicionales para el modelo.

No puedo enfatizar lo suficiente lo común que es este tipo de instrucción implícita. Todo el ecosistema LLM se basa en instrucciones implícitas: indicaciones del sistema, como a veces se les llama, donde se le dan al modelo cosas como «sea conciso», «no diga malas palabras» y otras pautas antes de cada conversación. Cuando pides un chiste, no obtienes un chiste racista, porque a pesar de que la modelo ha ingerido miles de ellos, también ha sido entrenada, como la mayoría de nosotros, para no contarlos. Esta no es una agenda secreta (aunque le vendría bien una mayor transparencia), es infraestructura.

El error del modelo de Google fue que no tenía instrucciones implícitas para situaciones en las que el contexto histórico era importante. Entonces, si bien un mensaje como “una persona paseando a un perro en un parque” se mejora con la adición silenciosa de “la persona es de un género y etnia aleatorios” o lo que sea que pongan, “los Padres Fundadores de EE. UU. firmando la Constitución” definitivamente no lo es. mejorado por el mismo.

Como lo expresó el vicepresidente senior de Google, Prabhakar Raghavan:

En primer lugar, nuestro ajuste para garantizar que Géminis mostrara una variedad de personas no tuvo en cuenta los casos que claramente no deberían mostrar una variedad. Y en segundo lugar, con el tiempo, el modelo se volvió mucho más cauteloso de lo que pretendíamos y se negó a responder ciertas indicaciones por completo, interpretando erróneamente algunas indicaciones muy anodinas como sensibles.

Estas dos cosas llevaron al modelo a sobrecompensar en algunos casos y a ser demasiado conservador en otros, dando lugar a imágenes embarazosas y erróneas.

Sé lo difícil que es decir “lo siento” a veces, así que perdono a Raghavan por no llegar a decirlo. Más importante es el lenguaje interesante que contiene: «El modelo se volvió mucho más cauteloso de lo que pretendíamos».

Ahora bien, ¿cómo podría “convertirse” un modelo en algo? Es software. Alguien (miles de ingenieros de Google) lo construyó, lo probó y lo repitió. Alguien escribió las instrucciones implícitas que mejoraron algunas respuestas y provocaron que otras fallaran hilarantemente. Cuando este falló, si alguien hubiera podido inspeccionar el mensaje completo, probablemente habría encontrado lo que el equipo de Google hizo mal.

Google culpa al modelo de «convertirse» en algo que no estaba «destinado» a ser. ¡Pero hicieron el modelo! Es como si rompieran un vaso y en lugar de decir “se nos cayó”, dicen “se cayó”. (He hecho esto.)

Los errores de estos modelos son inevitables, ciertamente. Alucinan, reflejan prejuicios, se comportan de maneras inesperadas. Pero la responsabilidad de esos errores no pertenece a los modelos: pertenece a las personas que los cometieron. Hoy eso es Google. Mañana será OpenAI. Al día siguiente, y probablemente durante unos meses seguidos, será X.AI.

Estas empresas tienen un gran interés en convencerle de que la IA está cometiendo sus propios errores. No les dejes.

Las proteínas, las moléculas naturales que llevan a cabo funciones celulares clave dentro del cuerpo, son los componentes básicos de todas las enfermedades. La caracterización de proteínas puede revelar los mecanismos de una enfermedad, incluidas formas de frenarla o potencialmente revertirla, al tiempo que creando Las proteínas pueden conducir a clases completamente nuevas de fármacos y terapias.

Pero el proceso actual para diseñar proteínas en el laboratorio es costoso, tanto desde el punto de vista computacional como de recursos humanos. Implica idear una estructura proteica que pueda plausiblemente realizar una tarea específica dentro del cuerpo y luego encontrar una secuencia de proteínas (la secuencia de aminoácidos que componen una proteína) que probablemente se «pliegue» en esa estructura. (Las proteínas deben plegarse correctamente en formas tridimensionales para llevar a cabo su función prevista).

No necesariamente tiene que ser así de complicado.

Esta semana, Microsoft presentó un marco de propósito general, EvoDiff, que según la compañía puede generar proteínas “diversas” de “alta fidelidad” dada una secuencia de proteínas. A diferencia de otros marcos generadores de proteínas, EvoDiff no requiere ninguna información estructural sobre la proteína objetivo, lo que elimina lo que suele ser el paso más laborioso.

Disponible en código abierto, EvoDiff podría usarse para crear enzimas para nuevas terapias y métodos de administración de fármacos, así como nuevas enzimas para reacciones químicas industriales, afirma Kevin Yang, investigador principal de Microsoft.

«Prevemos que EvoDiff ampliará las capacidades en ingeniería de proteínas más allá del paradigma estructura-función hacia un diseño programable que priorice la secuencia», dijo Yang, uno de los cocreadores de EvoDiff, a TechCrunch en una entrevista por correo electrónico. «Con EvoDiff, estamos demostrando que es posible que en realidad no necesitemos estructura, sino que ‘la secuencia de proteínas es todo lo que necesitamos’ para diseñar nuevas proteínas de forma controlable».

El núcleo del marco EvoDiff es un modelo de 640 millones de parámetros entrenado con datos de todas las diferentes especies y clases funcionales de proteínas. (“Los parámetros” son las partes de un modelo de IA aprendidas a partir de datos de entrenamiento y esencialmente definen la habilidad del modelo en un problema, en este caso generar proteínas). Los datos para entrenar el modelo se obtuvieron del conjunto de datos OpenFold para alineaciones de secuencias. y UniRef50, un subconjunto de datos de UniProt, la base de datos de secuencias de proteínas e información funcional mantenida por el consorcio UniProt.

EvoDiff es un modelo de difusión, similar en arquitectura a muchos modelos modernos de generación de imágenes, como Stable Diffusion y DALL-E 2. EvoDiff aprende cómo restar gradualmente el ruido de una proteína inicial compuesta casi exclusivamente de ruido, acercándola, lentamente, paso a paso, a una secuencia de proteínas.

Los modelos de difusión se han aplicado cada vez más a dominios fuera de la generación de imágenes, desde la creación de diseños para proteínas novedosas, como EvoDiff, hasta la creación de música e incluso la síntesis de voz.

“Si hay algo que sacar [from EvoDiff]»Creo que sería esta idea que podemos (y deberíamos) generar proteínas en lugar de secuenciar debido a la generalidad, escala y modularidad que podemos lograr», dijo Ava Amini, investigadora principal de Microsoft y otra co-contribuyente de EvoDiff. , dijo vía correo electrónico. «Nuestro marco de difusión nos brinda la capacidad de hacer eso y también de controlar cómo diseñamos estas proteínas para cumplir objetivos funcionales específicos».

Según lo que señala Amini, EvoDiff no sólo puede crear nuevas proteínas sino también llenar los “huecos” en un diseño de proteína existente, por así decirlo. Siempre que una parte de una proteína se una a otra proteína, el modelo puede generar una secuencia de aminoácidos de proteína alrededor de esa parte que cumpla con un conjunto de criterios, por ejemplo.

Debido a que EvoDiff diseña proteínas en el «espacio de secuencia» en lugar de en la estructura de las proteínas, también puede sintetizar «proteínas desordenadas» que no terminan plegándose en una estructura tridimensional final. Al igual que las proteínas que funcionan normalmente, las proteínas desordenadas desempeñan funciones importantes en la biología y las enfermedades, como mejorar o disminuir la actividad de otras proteínas.

Ahora bien, cabe señalar que la investigación detrás de EvoDiff no ha sido revisada por pares, al menos no todavía. Sarah Alamdari, científica de datos de Microsoft que contribuyó al proyecto, admite que queda «mucho más trabajo de ampliación» por hacer antes de que el marco pueda utilizarse comercialmente.

«Este es sólo un modelo de 640 millones de parámetros, y es posible que veamos una mejor calidad de generación si ampliamos la escala a miles de millones de parámetros», dijo Alamdari por correo electrónico. «Si bien demostramos algunas estrategias generales, para lograr un control aún más detallado, quisiéramos condicionar EvoDiff al texto, información química u otras formas de especificar la función deseada».

Como siguiente paso, el equipo de EvoDiff planea probar las proteínas que generó el modelo en el laboratorio para determinar si son viables. Si resulta ser así, comenzarán a trabajar en la próxima generación del marco.

Si miras ante la reacción del mercado a los resultados trimestrales de Uber, publicados esta mañana, se podría pensar que la empresa se desempeñó mal. La acción ha bajado un 6%, muy probablemente porque la empresa no cumplió con las expectativas del mercado de ingresos trimestrales en unos 100 millones de dólares.

Sin embargo, a pesar de la brecha de expectativas, fue un buen trimestre para la empresa de transporte compartido, que finalmente registró una ganancia operativa GAAP además de otros puntos de referencia de rentabilidad que indican que todos los años de inversión en su negocio están dando sus frutos.

---

The Exchange explora nuevas empresas, mercados y dinero.

Léalo todas las mañanas en TechCrunch+ o reciba el boletín The Exchange todos los sábados.

---

De hecho, Uber parece estar trabajando a toda máquina en la mayoría de sus unidades operativas, lo que lo lleva a pronosticar ingresos para el tercer trimestre de 2023 antes de las expectativas de los analistas.

Se podría argumentar que los resultados de la empresa son un buen augurio para su rival estadounidense Lyft, pero las acciones de este último tienen una tendencia incluso más baja que las de Uber, lo que indica que el mercado no está convencido de que la empresa más pequeña obtenga buenos resultados.

Esta mañana, profundicemos en los resultados de Uber, verifiquemos cómo el mercado de valores está pensando en la compañía y luego cerremos con notas sobre lo que podríamos ver de Lyft cuando informe dentro de aproximadamente una semana.

Finalmente, una ganancia

Meta ha presentado una nueva herramienta de IA, denominada ‘Voicebox’, que, según afirma, representa un gran avance en la generación de voz impulsada por IA. Sin embargo, la compañía no lo lanzará al público todavía, porque hacerlo podría ser desastroso.

Actualmente, Voicebox puede producir clips de audio de discursos en seis idiomas (todos ellos de origen europeo) y, según un publicación de blog de Meta – es el primer modelo de IA de su tipo capaz de completar tareas más allá de lo que fue ‘entrenado específicamente para realizar’. Meta afirma que Voicebox supera fácilmente a las IA de generación de voz de la competencia en prácticamente todas las áreas.

La IA generativa, en particular la IA de texto a imagen, está atrayendo tantas demandas como dólares de riesgo.

Dos compañías detrás de las populares herramientas de arte de IA, Midjourney y Stability AI, están involucradas en un caso legal que alega que infringieron los derechos de millones de artistas al entrenar sus herramientas en imágenes extraídas de la web. Por otra parte, el proveedor de imágenes de stock Getty Images llevó a Stability AI a los tribunales por supuestamente usar imágenes de su sitio sin permiso para entrenar a Stable Diffusion, una IA generadora de arte.

Las fallas de la IA generativa, una tendencia a regurgitar los datos en los que se entrena y, de manera relacionada, la composición de sus datos de entrenamiento, continúa poniéndola en la mira legal. Pero una nueva empresa, Bria, afirma minimizar el riesgo entrenando a la IA que genera imágenes, y pronto generará videos, de una manera «ética».

“Nuestro objetivo es empoderar tanto a los desarrolladores como a los creadores al tiempo que garantizamos que nuestra plataforma sea legal y éticamente sólida”, dijo Yair Adato, cofundador de Bria, a TechCrunch en una entrevista por correo electrónico. “Combinamos lo mejor de la tecnología de IA generativa visual y las prácticas de IA responsable para crear un modelo sostenible que prioriza estas consideraciones”.

Adato cofundó Bria cuando llegó la pandemia en 2020, y el otro cofundador de la compañía, Assa Eldar, se unió en 2022. Durante el doctorado de Adato. Con estudios en informática en la Universidad Ben-Gurion del Negev, dice que desarrolló una pasión por la visión artificial y su potencial para «mejorar» la comunicación a través de la IA generativa.

“Me di cuenta de que hay un caso de uso comercial real para esto”, dijo Adato. “El proceso de creación de imágenes es complejo, manual y, a menudo, requiere habilidades especializadas. Bria se creó para abordar este desafío, proporcionando una plataforma visual de IA generativa adaptada a las empresas que digitaliza y automatiza todo este proceso”.

Gracias a los avances recientes en el campo de la IA, tanto en el lado comercial como en el de la investigación (modelos de código abierto, la disminución del costo de la computación, etc.), no faltan las plataformas que ofrecen herramientas de arte de IA de texto a imagen (Midjourney , DeviantArt, etc.). Pero Adato afirma que Bria es diferente en que (1) se enfoca exclusivamente en la empresa y (2) se construyó desde el principio con consideraciones éticas en mente.

La plataforma de Bria permite a las empresas crear imágenes para publicaciones en redes sociales, anuncios y listados de comercio electrónico utilizando su IA generadora de imágenes. A través de una aplicación web (una API está en camino) y el servicio de inteligencia artificial en la nube Picasso de Nvidia, los clientes pueden generar, modificar o cargar imágenes y, opcionalmente, activar una función de «guardián de la marca», que intenta garantizar que sus imágenes sigan las pautas de la marca.

La IA en cuestión está entrenada en conjuntos de datos «autorizados» que contienen contenido que Bria licencia de socios, incluidos fotógrafos y artistas individuales, así como empresas de medios y repositorios de imágenes de archivo, que reciben una parte de los ingresos de la startup.

Bria no es la única empresa que explora un modelo comercial de reparto de ingresos para la IA generativa. El Fondo de Colaboradores lanzado recientemente por Shutterstock reembolsa a los creadores cuyo trabajo se utiliza para entrenar modelos de arte de IA, mientras que OpenAI obtuvo la licencia de una parte de la biblioteca de Shutterstock para entrenar DALL-E 2, su herramienta de generación de imágenes. Mientras tanto, Adobe dice que está desarrollando un modelo de compensación para los contribuyentes de Adobe Stock, su biblioteca de contenido de stock, que les permitirá «monetizar sus talentos» y beneficiarse de cualquier ingreso que genere su tecnología de IA generativa, Firefly.

Pero el enfoque de Bria es más extenso, me dice Adato. De la empresa El modelo de reparto de ingresos recompensa a los propietarios de datos en función del impacto de sus contribuciones, lo que permite a los artistas establecer precios por sesión de entrenamiento de IA.

Adato explica: “Cada vez que se genera una imagen usando la plataforma generativa de Bria, rastreamos las imágenes en el conjunto de entrenamiento que contribuyeron más a la [generated art]y usamos nuestra tecnología para distribuir los ingresos entre los creadores. Este enfoque nos permite tener múltiples fuentes con licencia en nuestro conjunto de capacitación, incluidos los artistas, y evitar cualquier problema relacionado con la infracción de derechos de autor”.

Bria también denota claramente todas las imágenes generadas en su plataforma con una marca de agua y brinda acceso gratuito, o al menos eso afirma, a organizaciones sin fines de lucro y académicos que «trabajan para democratizar la creatividad, prevenir falsificaciones profundas o promover la diversidad».

En los próximos meses, Bria planea dar un paso más y ofrecer un modelo de arte de IA generativo de código abierto con un mecanismo de atribución incorporado. Ha habido intentos de esto, como ¿Me han entrenado? y Stable Attribution, sitios que hacen todo lo posible para identificar qué obras de arte contribuyeron a una determinada imagen generada por IA. Pero el modelo de Bria permitirá que otras plataformas generativas establezcan acuerdos similares de distribución de ingresos con los creadores, dice Adato.

es dificil de poner también mucha acción en la tecnología de Bria dada la incipiente industria de la IA generativa. No está claro cómo, por ejemplo, Bria está «rastreando» las imágenes en los conjuntos de entrenamiento y usando estos datos para repartir los ingresos. ¿Cómo resolverá Bria las quejas de los creadores que alegan que están siendo injustamente mal pagados? ¿Los errores en el sistema harán que algunos creadores reciban un pago excesivo? El tiempo dirá.

Adato emana la confianza que esperaría de un fundador a pesar de las incógnitas, argumentando que la plataforma de Bria garantiza que cada contribuyente a los conjuntos de datos de capacitación de IA obtenga su parte justa en función del uso y el «impacto real».

“Creemos que la forma más efectiva de resolver [the challenges around generative AI] está en el nivel del conjunto de entrenamiento, mediante el uso de un conjunto de entrenamiento seguro, equilibrado, de nivel empresarial y de alta calidad”, dijo Adato. “Cuando se trata de adoptar IA generativa, las empresas deben considerar las implicaciones éticas y legales para garantizar que la tecnología se utilice de manera responsable y segura. Sin embargo, al trabajar con Bria, las empresas pueden estar seguras de que se atenderán estas inquietudes”.

Esa es una pregunta abierta. Y no es el único.

¿Qué pasa si un creador quiere darse de baja de la plataforma de Bria? ¿Pueden ellos? Adato me asegura que podrán hacerlo. Pero Bria usa su propio mecanismo de exclusión en lugar de un estándar común como el de DeviantArt o el grupo de defensa de los artistas Spawning’s, que ofrece un sitio web donde los artistas pueden eliminar su arte de uno de los conjuntos de datos de entrenamiento de arte generativo más populares.

Eso aumenta la carga para los creadores de contenido, que ahora tienen que preocuparse potencialmente por tomar las medidas necesarias para eliminar su arte de otra plataforma de IA generativa (a menos, por supuesto, que usen una herramienta de «encubrimiento» como Glaze, lo que hace que su arte no se pueda entrenar). Adato no lo ve de esa manera.

“Hemos convertido en una prioridad centrarnos en recopilaciones de datos empresariales seguras y de calidad en la construcción de nuestros conjuntos de capacitación para evitar datos sesgados o tóxicos e infracciones de derechos de autor”, dijo. “En general, nuestro compromiso con la formación ética y responsable de los modelos de IA nos diferencia de nuestros competidores”.

Esos competidores incluyen titulares como OpenAI, Midjourney y Stability AI, así como Jasper, cuya herramienta de arte generativo, Jasper Art, también se dirige a clientes empresariales. Sin embargo, la formidable competencia, y las preguntas éticas abiertas, no parecen haber ahuyentado a los inversores: Bria ha recaudado $ 10 millones en capital de riesgo hasta la fecha de Entrée Capital, IN Venture, Getty Images y un grupo de inversores ángeles israelíes.

Adato dijo que Bria actualmente atiende a «una gama» de clientes, incluidas agencias de marketing, repositorios de acciones visuales y empresas de tecnología y marketing. “Estamos comprometidos a continuar aumentando nuestra base de clientes y brindarles soluciones innovadoras para sus necesidades de comunicación visual”, agregó.

Si Bria tiene éxito, una parte de mí se pregunta si generará una nueva cosecha de empresas de IA generativa de alcance más limitado que los grandes jugadores actuales y, por lo tanto, menos susceptibles a los desafíos legales. Con fondos para la IA generativa que comienza a enfriarse, en parte debido al alto nivel de competencia y las preguntas sobre la responsabilidad, las nuevas empresas de IA generativa más «estrechas» podrían tener la oportunidad de reducir el ruido y evitar demandas en el proceso.

Tendremos que esperar y ver.

Aunque empezó bien. Llevados por un impulso patriótico, le pedimos a ChatGPT que enumere diez cosas positivas sobre Francia. Gastronomía, vino, educación, sitios turísticos, Seguridad Social, cine… ChatGPT, el robot conversacional desarrollado por la empresa OpenAI, se deshace en elogios hacia la patria de Micral N. Se le pide de todos modos, curioso, que hable tan mal de la madre patria: cortés pero firme, ChatGPT luego explica que no está autorizado a hablar desfavorablemente de un país o una nacionalidad.

Decididos a hacer que la IA diga cosas horribles, intentamos engañarla, hacerle creer que, si no nos ayuda inmediatamente a hablar mal de Francia, corremos el riesgo de morir de una enfermedad grave o ser atacado en la calle. Por desgracia, ChatGPT, visiblemente tranquilo por la incongruencia de estos escenarios, nos explica, avergonzado, que no puede reemplazar a un médico oa la policía.

Al azar de este pequeño juego de rol, identificamos tres salvaguardas implementadas por los diseñadores de OpenAI: la IA se niega a pronunciar discursos de odio (o incluso vagamente negativos), a dar consejos médicos e intervenir en una situación en la que una vida humana está amenazada.

Un sentido moral que es difícil de leer.

ChatGPT sigue los pasos de otras IA generativas, programas que han ingerido y analizado miles de millones de páginas (o trabajos) y son capaces de responder casi cualquier pregunta con textos (o imágenes) confusos y breves. Precedentes no siempre felices, como este experimento realizado en 2016 por Microsoft en el que la criatura se escapaba del creador y hacía comentarios abiertamente nazis.

Entonces, OpenAI camina sobre cáscaras de huevo: la compañía ha desarrollado un programa capaz de reconocer «comentarios tóxicos», un programa entrenado por subcontratistas de Kenia que paga menos de 2 dólares por hora, según explicó. Tiempo. Su misión, tal y como ha explicado a la revista americana un portavoz de OpenAI, es “garantizar que la inteligencia artificial beneficie a toda la humanidad” : “Estamos trabajando para construir sistemas seguros y útiles capaces de limitar el sesgo y el contenido peligroso. »

Ver también : Inteligencia artificial: ¿ChatGPT abre una nueva era?

Sin embargo, la noción misma de lo que puede considerarse sesgo o contenido peligroso no está clara. Cuando se le pregunta directamente, ChatGPT explica ser “configurado para cumplir con las leyes y normas éticas generalmente aceptadas en los países donde [il est] usado «. Lo hicimos más específico. En realidad, como otras IA generativas, es el resultado de los valores de sus diseñadores -en este caso el estadounidense OpenAI- y los del público al que se dirigen. Por ejemplo, si otra IA generativa estadounidense, Midjourney, se niega a mostrar sangre o cuerpos desnudos, otros, como su contraparte rusa ruDALL-E, tienen mucho menos pudor. Por el contrario, la herramienta china Taiyi Stable Diffusion llegará a colocar un delicado suéter sobre los hombros virtuales de la mujer a la que, sin embargo, se le ha pedido que genere desnuda.

Te queda el 56,74% de este artículo por leer. Lo siguiente es solo para suscriptores.

Un estudio reciente encuentra que los ingenieros de software que utilizan sistemas de IA generadores de código tienen más probabilidades de causar vulnerabilidades de seguridad en las aplicaciones que desarrollan. El documento, escrito en coautoría por un equipo de investigadores afiliados a Stanford, destaca los peligros potenciales de los sistemas de generación de código a medida que los proveedores como GitHub comienzan a comercializarlos en serio.

«Los sistemas de generación de código actualmente no reemplazan a los desarrolladores humanos», dijo a TechCrunch Neil Perry, candidato a doctorado en Stanford y coautor principal del estudio, en una entrevista por correo electrónico. “Los desarrolladores que los usan para completar tareas fuera de sus propias áreas de especialización deberían estar preocupados, y aquellos que los usan para acelerar tareas en las que ya son expertos deben verificar cuidadosamente los resultados y el contexto en el que se usan en general. proyecto.»

El estudio de Stanford analizó específicamente Codex, el sistema de generación de código de IA desarrollado por el laboratorio de investigación OpenAI con sede en San Francisco. (Codex impulsa a Copilot). Los investigadores reclutaron a 47 desarrolladores, desde estudiantes universitarios hasta profesionales de la industria con décadas de experiencia en programación, para usar Codex para completar problemas relacionados con la seguridad en lenguajes de programación, incluidos Python, JavaScript y C.

Codex fue capacitado en miles de millones de líneas de código público para sugerir líneas de código y funciones adicionales dado el contexto del código existente. El sistema muestra un enfoque o solución de programación en respuesta a una descripción de lo que un desarrollador quiere lograr (p. ej., «Di hola mundo»), basándose tanto en su base de conocimientos como en el contexto actual.

Según los investigadores, los participantes del estudio que tenían acceso a Codex tenían más probabilidades de escribir soluciones incorrectas e «inseguras» (en el sentido de ciberseguridad) a problemas de programación en comparación con un grupo de control. Aún más preocupante, era más probable que dijeran que sus respuestas inseguras eran seguras en comparación con las personas del control.

Megha Srivastava, estudiante de posgrado en Stanford y segunda coautor del estudio, enfatizó que los hallazgos no son una condena completa de Codex y otros sistemas de generación de código. Los participantes del estudio no tenían experiencia en seguridad que les hubiera permitido detectar mejor las vulnerabilidades del código, por ejemplo. Aparte de eso, Srivastava cree que los sistemas de generación de código son confiablemente útiles para tareas que no son de alto riesgo, como el código de investigación exploratoria, y podrían mejorar sus sugerencias de codificación con un ajuste fino.

“Empresas que desarrollan sus propios [systems]quizás más capacitado en su código fuente interno, puede estar mejor ya que se puede alentar al modelo a generar resultados más en línea con sus prácticas de codificación y seguridad”, dijo Srivastava.

Entonces, ¿cómo podrían los proveedores como GitHub evitar que los desarrolladores introduzcan fallas de seguridad al usar sus sistemas de IA generadores de código? Los coautores tienen algunas ideas, incluido un mecanismo para «refinar» las indicaciones de los usuarios para que sean más seguras, similar a un supervisor que examina y revisa borradores de código. También sugieren que los desarrolladores de bibliotecas de criptografía se aseguren de que su configuración predeterminada sea segura, ya que los sistemas de generación de código tienden a apegarse a los valores predeterminados que no siempre están libres de vulnerabilidades.

“Las herramientas de generación de código del asistente de IA son un desarrollo realmente emocionante y es comprensible que tantas personas estén ansiosas por usarlas. Sin embargo, estas herramientas plantean problemas para considerar avanzar… Nuestro objetivo es hacer una declaración más amplia sobre el uso de modelos de generación de código”, dijo Perry. “Se necesita más trabajo para explorar estos problemas y desarrollar técnicas para abordarlos”.

Para el punto de Perry, la introducción de vulnerabilidades de seguridad no es el único defecto de los sistemas de IA generadores de código. Al menos una parte del código en el que se capacitó Codex está bajo una licencia restrictiva; los usuarios han podido solicitar a Copilot que genere código de Quake, fragmentos de código en bases de código personales y código de ejemplo de libros como «Mastering JavaScript» y «Think JavaScript». Algunos expertos legales han argumentado que Copilot podría poner en riesgo a las empresas y los desarrolladores si involuntariamente incorporaran sugerencias protegidas por derechos de autor de la herramienta en su software de producción.

El intento de GitHub de rectificar esto es un filtro, introducido por primera vez en la plataforma Copilot en junio, que verifica las sugerencias de código con su código circundante de aproximadamente 150 caracteres contra el código público de GitHub y oculta las sugerencias si hay una coincidencia o una «casi coincidencia». Pero es una medida imperfecta. Tim Davis, profesor de ciencias de la computación en la Universidad Texas A&M, descubrió que al habilitar el filtro, Copilot emitía grandes fragmentos de su código protegido por derechos de autor, incluidos todos los textos de atribución y licencia.

“[For these reasons,] En gran medida, expresamos cautela hacia el uso de estas herramientas para reemplazar la educación de los desarrolladores principiantes sobre prácticas de codificación sólidas”, agregó Srivastava.

La IA de texto a imagen explotó este año a medida que los avances técnicos mejoraron en gran medida la fidelidad del arte que los sistemas de IA podían crear. Por polémicos que sean sistemas como Stable Diffusion y OpenAI’s DALL-E 2, plataformas como DeviantArt y Canva los han adoptado para impulsar herramientas creativas, personalizar la marca e incluso idear nuevos productos.

Pero la tecnología en el corazón de estos sistemas es capaz de mucho más que generar arte. Llamada difusión, está siendo utilizada por algunos intrépidos grupos de investigación para producir música, sintetizar secuencias de ADN e incluso descubrir nuevas drogas.

Entonces, ¿qué es la difusión, exactamente, y por qué es un salto tan masivo sobre el estado del arte anterior? A medida que termina el año, vale la pena echar un vistazo a los orígenes de la difusión y cómo avanzó con el tiempo para convertirse en la fuerza influyente que es hoy. La historia de Diffusion no ha terminado (los refinamientos en las técnicas llegan con cada mes que pasa), pero el último año o dos trajeron un progreso notable especialmente.

El nacimiento de la difusión.

Es posible que recuerde la tendencia de las aplicaciones de falsificación profunda hace varios años: aplicaciones que insertaban retratos de personas en imágenes y videos existentes para crear sustituciones de apariencia realista de los sujetos originales en ese contenido de destino. Usando AI, las aplicaciones «insertarían» la cara de una persona, o en algunos casos, todo su cuerpo, en una escena, a menudo de manera tan convincente como para engañar a alguien a primera vista.

La mayoría de estas aplicaciones se basaron en una tecnología de inteligencia artificial llamada redes antagónicas generativas, o GAN para abreviar. Las GAN constan de dos partes: una generador que produce ejemplos sintéticos (por ejemplo, imágenes) a partir de datos aleatorios y un discriminado que intenta distinguir entre los ejemplos sintéticos y los ejemplos reales de un conjunto de datos de entrenamiento. (Los conjuntos de datos de entrenamiento típicos de GAN consisten en cientos a millones de ejemplos de cosas que se espera que el GAN ​​capture eventualmente). Tanto el generador como el discriminador mejoran en sus respectivas habilidades hasta que el discriminador no puede distinguir los ejemplos reales de los ejemplos sintetizados con mejor que el 50% de precisión que se espera del azar.

Las GAN de alto rendimiento pueden crear, por ejemplo, instantáneas de edificios de apartamentos ficticios. StyleGAN, un sistema que Nvidia desarrolló hace unos años, puede generar tomas de cabeza de alta resolución de personas ficticias mediante el aprendizaje de atributos como la pose facial, las pecas y el cabello. Más allá de la generación de imágenes, las GAN se han aplicado al espacio de modelado 3D y bocetos vectoriales, mostrando una aptitud para generar videoclips, así como discursos e incluso muestras de instrumentos en bucle en canciones.

Sin embargo, en la práctica, las GAN sufrieron una serie de deficiencias debido a su arquitectura. El entrenamiento simultáneo de los modelos generador y discriminador era intrínsecamente inestable; a veces, el generador «colapsaba» y generaba muchas muestras de apariencia similar. Las GAN también necesitaban muchos datos y poder de cómputo para ejecutarse y entrenarse, lo que las hacía difíciles de escalar.

Entra en difusión.

Cómo funciona la difusión

La difusión se inspiró en la física, siendo el proceso en la física donde algo se mueve de una región de mayor concentración a una de menor concentración, como un terrón de azúcar que se disuelve en el café. Los gránulos de azúcar en el café se concentran inicialmente en la parte superior del líquido, pero se distribuyen gradualmente.

Los sistemas de difusión toman prestados de la difusión en termodinámica de no equilibrio específicamente, donde el proceso aumenta la entropía, o aleatoriedad, del sistema con el tiempo. Considere un gas: eventualmente se extenderá para llenar un espacio completo de manera uniforme a través de un movimiento aleatorio. De manera similar, los datos como las imágenes se pueden transformar en una distribución uniforme agregando ruido aleatoriamente.

Los sistemas de difusión destruyen lentamente la estructura de los datos añadiendo ruido hasta que no queda nada más que ruido.

En física, la difusión es espontánea e irreversible: el azúcar que se difunde en el café no se puede restaurar a su forma de cubo. Pero los sistemas de difusión en el aprendizaje automático tienen como objetivo aprender una especie de proceso de «difusión inversa» para restaurar los datos destruidos, obteniendo la capacidad de recuperar los datos del ruido.

Los sistemas de difusión existen desde hace casi una década. Pero una innovación relativamente reciente de OpenAI llamada CLIP (abreviatura de «Preentrenamiento de imagen de lenguaje contrastivo») los hizo mucho más prácticos en las aplicaciones cotidianas. CLIP clasifica los datos, por ejemplo, las imágenes, para «puntuar» cada paso del proceso de difusión en función de la probabilidad de que se clasifiquen en un mensaje de texto determinado (p. ej., «un boceto de un perro en un césped florido»).

Al principio, los datos tienen una puntuación CLIP muy baja, porque en su mayoría son ruido. Pero a medida que el sistema de difusión reconstruye los datos a partir del ruido, poco a poco se acerca a la coincidencia con el aviso. Una analogía útil es el mármol sin tallar: como un maestro escultor que le dice a un novato dónde tallar, CLIP guía el sistema de difusión hacia una imagen que otorga una puntuación más alta.

OpenAI presentó CLIP junto con el sistema de generación de imágenes DALL-E. Desde entonces, se abrió paso en el sucesor de DALL-E, DALL-E 2, así como en alternativas de código abierto como Stable Diffusion.

¿Qué puede hacer la difusión?

Entonces, ¿qué pueden hacer los modelos de difusión guiados por CLIP? Bueno, como se mencionó anteriormente, son bastante buenos para generar arte, desde arte fotorrealista hasta bocetos, dibujos y pinturas al estilo de prácticamente cualquier artista. De hecho, hay evidencia que sugiere que regurgitan de manera problemática algunos de sus datos de entrenamiento.

Pero el talento de las modelos, por controvertido que sea, no termina ahí.

Los investigadores también han experimentado con el uso de modelos de difusión guiada para componer nueva música. Harmonai, una organización con el respaldo financiero de Stability AI, la startup con sede en Londres detrás de Stable Diffusion, lanzó un modelo basado en difusión que puede generar clips de música entrenando con cientos de horas de canciones existentes. Más recientemente, los desarrolladores Seth Forsgren y Hayk Martiros crearon un proyecto de hobby denominado Riffusion que utiliza un modelo de difusión inteligentemente entrenado en espectrogramas (representaciones visuales) de audio para generar cancioncillas.

Más allá del ámbito de la música, varios laboratorios están intentando aplicar tecnología de difusión a la biomedicina con la esperanza de descubrir nuevos tratamientos para enfermedades. La empresa emergente Generate Biomedicines y un equipo de la Universidad de Washington entrenaron modelos basados ​​en difusión para producir diseños de proteínas con propiedades y funciones específicas, como informó MIT Tech Review a principios de este mes.

Los modelos funcionan de diferentes maneras. Generar ruido de anuncios de biomedicina desentrañando las cadenas de aminoácidos que forman una proteína y luego uniendo cadenas aleatorias para formar una nueva proteína, guiado por las restricciones especificadas por los investigadores. El modelo de la Universidad de Washington, por otro lado, comienza con una estructura codificada y utiliza información sobre cómo deben encajar las piezas de una proteína proporcionada por un sistema de IA separado entrenado para predecir la estructura de la proteína.

Ya han logrado cierto éxito. El modelo diseñado por el grupo de la Universidad de Washington pudo encontrar una proteína que puede unirse a la hormona paratiroidea, la hormona que controla los niveles de calcio en la sangre, mejor que los medicamentos existentes.

Mientras tanto, en OpenBioML, un esfuerzo respaldado por Stability AI para llevar enfoques basados ​​en el aprendizaje automático a la bioquímica, los investigadores han desarrollado un sistema llamado Difusión de ADN para generar secuencias de ADN reguladoras específicas del tipo de célula: segmentos de moléculas de ácido nucleico que influyen en el expresión de genes específicos dentro de un organismo. DNA-Diffusion, si todo va según lo planeado, generará secuencias reguladoras de ADN a partir de instrucciones de texto como «Una secuencia que activará un gen a su máximo nivel de expresión en células tipo X» y «Una secuencia que activa un gen en el hígado y el corazón». , pero no en el cerebro.”

¿Qué podría deparar el futuro para los modelos de difusión? El cielo bien puede ser el límite. Los investigadores ya lo han aplicado para generar videos, comprimir imágenes y sintetizar voz. Eso no quiere decir que la difusión no se reemplace eventualmente con una técnica de aprendizaje automático más eficiente y de mayor rendimiento, como lo fueron las GAN con la difusión. Pero es la arquitectura del día por una razón; la difusión no es más que versátil.

La IA que genera imágenes se está volviendo más accesible para el público, con un motor llamado DALL-E que hace que su red sea de uso gratuito.

Si bien el generador de texto a arte tiene algunas estipulaciones, puede crear imágenes simplemente escribiendo una descripción en el generador. A partir de esto, obtendrá una representación de imagen realista.

DALL-E se lanzó originalmente en abril de 2022 y fue tan popular que sus creadores, OpenAI, tuvieron que crear inicialmente una lista de espera para navegar por la demanda. La marca afirma que admite más de 1,5 millones de usuarios activos que crean aproximadamente 2 millones de imágenes al día.

OpenAI puede utilizar los comentarios que recibe de los usuarios, en particular de los artistas, para mejorar la representación de las imágenes DALL-E. La compañía también actualizó el motor neuronal con funciones adicionales, como Outpainting. Esto le permite agregar aún más detalles a las imágenes fuera de sus bordes originales, todo mientras mantiene el contexto visual de la imagen original.

Con DALL-E abierto al público, solo puede registrar una cuenta para obtener acceso al generador de forma gratuita; sin embargo, aquí es donde entran los límites. Se le asignan 50 créditos por mes y una descripción de cuatro palabras equivale a un crédito.

Después de los 50 créditos mensuales gratuitos, puede comprar 115 créditos por $15. Eso equivale a aproximadamente 13 centavos por indicación de cuatro palabras. Agregar cuadros a una imagen en Outpainting también cuesta un crédito adicional por cuadro, según ExtremeTech.

La publicación también señala que una forma de engañar al sistema es registrarse para obtener cuentas adicionales; sin embargo, cada uno requiere verificación de número de teléfono.

Básicamente, esto se está haciendo porque OpenAI tiene planes para eventualmente convertir DALL-E en un servicio pago. Actualmente, no hay información sobre cuándo sucederá eso.

Otro conocido generador de imágenes basado en IA es Stable Diffusion, que de manera similar redacta una imagen que coincide con una descripción de texto ingresada. Recientemente, el desarrollador de aplicaciones Steve Troughton-Smith usó la plataforma de código abierto para crear reimaginaciones únicas del Macintosh clásico, así como versiones antiguas y nuevas del iPod, que describió como «alternativas de ensueño al iMac original».

Al ser desarrollado en gran parte por la comunidad, no hay tarifa para usar Stable Diffusion, sin embargo, debe saber cómo instalar correctamente la API y qué programas funcionan mejor para renderizar el software y sus resultados. También hay una versión basada en la web de Stable Diffusion que es de uso gratuito sin registrarse, pero debe ser muy intencional con su redacción o corre el riesgo de recibir un error.

Recomendaciones de los editores