Amazon está lanzando su sombrero en el anillo generativo de IA. Pero en lugar de crear modelos de IA completamente por sí mismo, está reclutando a terceros para alojar modelos en AWS.
AWS presentó hoy Amazon Bedrock, que proporciona una manera de crear aplicaciones impulsadas por IA generativa a través de modelos previamente entrenados de nuevas empresas, incluidas AI21 Labs, Anthropic y Stability AI. Disponible en una «vista previa limitada», Bedrock también ofrece acceso a Titan FM (modelos básicos), una familia de modelos capacitados internamente por AWS.
“Aplicar el aprendizaje automático al mundo real, resolver problemas comerciales reales a escala, es lo que mejor hacemos”, dijo Vasi Philomin, vicepresidente de IA generativa en AWS, a TechCrunch en una entrevista telefónica. “Creemos que todas las aplicaciones que existen pueden reinventarse con IA generativa”.
El debut de Bedrock fue algo telegrafiado por las asociaciones recientemente firmadas de AWS con nuevas empresas de IA generativa en los últimos meses, además de sus crecientes inversiones en la tecnología necesaria para crear aplicaciones de IA generativa.
En noviembre pasado, Stability AI seleccionó a AWS como su proveedor de nube preferido y, en marzo, Hugging Face y AWS colaboraron para llevar los modelos de generación de texto del primero a la plataforma de AWS. Más recientemente, AWS lanzó un acelerador de inteligencia artificial generativa para nuevas empresas y dijo que trabajaría con Nvidia para construir una infraestructura de «próxima generación» para entrenar modelos de inteligencia artificial.
Bedrock y modelos personalizados
Bedrock es la jugada más contundente de Amazon hasta ahora para el mercado de IA generativa, que podría valer cerca de $110 mil millones para 2030, según estimaciones de Grand View Research.
Con Bedrock, los clientes de AWS pueden optar por aprovechar los modelos de IA de una variedad de proveedores diferentes, incluido AWS, a través de una API. Los detalles son un poco confusos: Amazon no ha anunciado un precio formal, por ejemplo. pero la empresa hizo enfatice que Bedrock está dirigido a grandes clientes que crean aplicaciones de IA de «escala empresarial», diferenciándolo de algunos de los servicios de alojamiento de modelos de IA que existen, como Replicate (más los rivales actuales Google Cloud y Azure).
Uno supone que los proveedores de modelos de IA generativa fueron incentivados por el alcance de AWS o el posible reparto de ingresos para unirse a Bedrock. Sin embargo, Amazon no reveló los términos de los acuerdos de alojamiento o licencia del modelo.
Los modelos de terceros alojados en Bedrock incluyen la familia Jurassic-2 de AI21 Labs, que son multilingües y pueden generar texto en español, francés, alemán, portugués, italiano y holandés. Claude, el modelo de Anthropic en Bedrock, puede realizar una variedad de tareas de conversación y procesamiento de texto. Mientras tanto, el conjunto de modelos alojados en Bedrock de texto a imagen de Stability AI, incluida Stable Diffusion, puede generar imágenes, arte, logotipos y diseños gráficos.
Créditos de imagen: Amazonas
En cuanto a las ofertas a medida de Amazon, la familia Titan FM comprende dos modelos en la actualidad, y presumiblemente habrá más en el futuro: un modelo de generación de texto y un modelo de integración. El modelo de generación de texto, similar al GPT-4 de OpenAI (pero no necesariamente a la par en cuanto a rendimiento), puede realizar tareas como escribir publicaciones de blog y correos electrónicos, resumir documentos y extraer información de bases de datos. El modelo de incrustación traduce entradas de texto como palabras y frases en representaciones numéricas, conocidas como incrustaciones, que contienen el significado semántico del texto. Philomin afirma que es similar a uno de los modelos que impulsa las búsquedas en Amazon.com.
Los clientes de AWS pueden personalizar cualquier modelo de Bedrock señalando el servicio en algunos ejemplos etiquetados en Amazon S3, el plan de almacenamiento en la nube de Amazon; tan solo 20 son suficientes. No se utilizan datos de clientes para entrenar los modelos subyacentes, dice Amazon.
“En AWS… hemos jugado un papel clave en la democratización del aprendizaje automático y en hacerlo accesible para cualquiera que quiera usarlo”, dijo Philomin. “Amazon Bedrock es la forma más fácil de crear y escalar aplicaciones de IA generativa con modelos básicos”.
Por supuesto, dadas las preguntas legales sin respuesta que rodean a la IA generativa, uno se pregunta exactamente cuántos clientes morderán.
Microsoft ha tenido éxito con su conjunto de modelos de IA generativa, Azure OpenAI Service, que agrupa los modelos de OpenAI con características adicionales orientadas a los clientes empresariales. Hasta marzo, más de 1000 clientes usaban Azure OpenAI Service, dijo Microsoft en una publicación de blog.
Pero hay varias demandas pendientes sobre la tecnología de IA generativa de empresas como OpenAI y Stability AI, presentadas por demandantes que alegan que los datos protegidos por derechos de autor, en su mayoría arte, se usaron sin permiso para entrenar los modelos generativos. (Los modelos de IA generativa “aprenden” a crear arte, código y más al “entrenarse” en imágenes y texto de muestra, generalmente extraídos indiscriminadamente de la web). Otro caso que se abre paso en los tribunales busca establecer si los modelos generadores de código que no No dar atribución o crédito puede ser comercializado, y un alcalde australiano ha amenazado con demandar por difamación a OpenAI por las inexactitudes vertidas por su modelo generativo ChatGPT.
Philomin no infundió mucha confianza, francamente, negándose a decir con qué datos se entrenó exactamente la familia Titan FM de Amazon. En cambio, enfatizó que los modelos Titan se crearon para detectar y eliminar contenido «dañino» en los datos que los clientes de AWS brindan para la personalización, rechazar el contenido «inapropiado» que ingresan los usuarios y filtrar las salidas que contienen expresiones de odio, blasfemias y violencia.
Por supuesto, incluso los mejores sistemas de filtrado se pueden eludir, como lo demuestra ChatGPT. Los llamados ataques de inyección rápida contra ChatGPT y modelos similares se han utilizado para escribir malware, identificar exploits en código fuente abierto y generar contenido abominablemente sexista, racista y desinformativo. (Los modelos de IA generativa tienden a amplificar los sesgos en los datos de entrenamiento o, si se quedan sin datos de entrenamiento relevantes, simplemente inventan cosas).
Pero Philomin dejó de lado esas preocupaciones.
“Estamos comprometidos con el uso responsable de estas tecnologías”, dijo. «Estamos monitoreando el panorama regulatorio por ahí… tenemos muchos abogados que nos ayudan a ver qué datos podemos usar y cuáles no».
Dejando a un lado los intentos de seguridad de Philomin, es posible que las marcas no quieran estar en el anzuelo por todo lo que podría salir mal. (En el caso de una demanda, no está del todo claro si los clientes de AWS, el propio AWS o el creador del modelo infractor serían responsables). Pero los clientes individuales podrían hacerlo, especialmente si no hay ningún cargo por el privilegio.
Lanzamiento de CodeWhisperer, Trainium e Inferentia2 en GA
Sobre el tema y coincidiendo con su gran impulso generativo de IA hoy, Amazon hizo CodeWhisperer, su servicio de generación de código impulsado por IA, de forma gratuita para los desarrolladores sin restricciones de uso.
El movimiento sugiere que CodeWhisperer no ha visto la aceptación que Amazon esperaba. Su principal rival, Copilot de GitHub, tenía más de un millón de usuarios en enero, miles de los cuales son clientes empresariales. CodeWhisperer tiene terreno que recuperar, sin duda, lo que pretende hacer en el lado corporativo con el lanzamiento simultáneo de CodeWhisperer Professional Tier. CodeWhisperer Professional Tier agrega el inicio de sesión único con la integración de AWS Identity and Access Management, así como límites más altos en el análisis de vulnerabilidades de seguridad.
CodeWhisperer se lanzó a fines de junio como parte de las extensiones AWS IDE Toolkit y AWS Toolkit IDE como una especie de respuesta al mencionado Copilot. Entrenado en miles de millones de líneas de código fuente abierto disponible públicamente y la propia base de código de Amazon, así como documentación y código en foros públicos, CodeWhisperer puede autocompletar funciones completas en lenguajes como Java, JavaScript y Python con solo un comentario o unas pocas pulsaciones de teclas.
Créditos de imagen: Amazonas
CodeWhisperer ahora es compatible con varios lenguajes de programación adicionales, específicamente Go, Rust, PHP, Ruby, Kotlin, C, C++, Shell scripting, SQL y Scala, y, como antes, resalta y, opcionalmente, filtra la licencia asociada con las funciones que sugiere que se parecen. a los fragmentos existentes que se encuentran en sus datos de entrenamiento.
El resaltado es un intento de evitar los desafíos legales que enfrenta GitHub con Copilot. El tiempo dirá si tiene éxito.
“Los desarrolladores pueden volverse mucho más productivos con estas herramientas”, dijo Philomin. “Es difícil para los desarrolladores estar al día en todo… herramientas como esta les ayudan a no tener que preocuparse por eso”.
En un territorio menos controvertido, Amazon anunció hoy que es lanzamiento de instancias Inf2 de Elastic Cloud Compute (EC2) en disponibilidad general, impulsadas por los chips AWS Inferentia2 de la compañía, que se presentaron el año pasado en la conferencia re:Invent de Amazon. Las instancias de Inf2 están diseñadas para acelerar los tiempos de ejecución de IA, lo que ofrece un rendimiento ostensiblemente mejor y una latencia más baja para mejorar el rendimiento general del precio de inferencia.
Además, las instancias Amazon EC2 Trn1n con tecnología de AWS Trainium, el chip diseñado a medida de Amazon para el entrenamiento de IA, también está disponible para los clientes a partir de hoy, anunció Amazon. Ofrecen hasta 1600 Gbps de ancho de banda de red y están diseñados para ofrecer hasta un 20 % más de rendimiento que Trn1 para modelos grandes con uso intensivo de redes, dice Amazon.
Tanto Inf2 como Trn1n compiten con ofertas rivales de Google y Microsoft, como los chips de TPU de Google para entrenamiento de IA.
“AWS ofrece la infraestructura en la nube más efectiva para la IA generativa”, dijo Philomin con confianza. “Una de las necesidades de los clientes son los costos correctos para manejar estos modelos… Es una de las razones por las que muchos clientes no han puesto estos modelos en producción”.
Las palabras de lucha de Them: el crecimiento de la IA generativa supuestamente puso de rodillas a Azure. ¿Correrá Amazon la misma suerte? Eso está por determinar.