A medida que la noción de agente de IA comience a afianzarse y se completen más tareas sin la participación de un humano, se requerirá un nuevo tipo de autenticación para garantizar que solo los agentes con la aprobación adecuada puedan acceder a recursos particulares. Anon, una startup en etapa inicial, está ayudando a los desarrolladores a agregar autenticación automatizada de una manera segura.

El miércoles, la compañía anunció una inversión de 6,5 millones de dólares y que el producto ahora está disponible para todos.

A los fundadores se les ocurrió la idea de esta empresa por necesidad. En realidad, su primera idea fue crear un agente de inteligencia artificial, pero el director ejecutivo, Daniel Mason, dice que rápidamente se toparon con un problema relacionado con la autenticación; en pocas palabras, cómo ingresar un nombre de usuario y contraseña de forma automática y segura. «Seguimos encontrándonos con esta situación de clientes que querían que hiciéramos X, pero no podíamos hacer X a menos que tuviéramos este sistema de autenticación delegado», dijo Mason a TechCrunch.

Comenzó a preguntar cómo otras nuevas empresas de inteligencia artificial manejaban la autenticación y descubrió que en realidad no había buenas respuestas. “De hecho, muchas de las soluciones que la gente estaba usando eran en realidad bastante menos seguras. En su mayoría heredaban credenciales de autenticación de la máquina local de un usuario o permisos basados ​​en el navegador”, dijo.

Y a medida que exploraron este problema más en profundidad, se dieron cuenta de que, de hecho, era una mejor idea para una empresa que su idea original de agente de IA. En este punto, pasaron a convertirse en una herramienta de desarrollo para crear una capa de autenticación automatizada diseñada para aplicaciones y flujos de trabajo basados ​​en IA. La solución se entrega en forma de kit de desarrollo de software (SDK) y permite a los desarrolladores incorporar autenticación para un servicio específico con unas pocas líneas de código. «Queremos situarnos en ese nivel de autenticación y realmente crear permisos de acceso, y nuestros clientes son específicamente los desarrolladores», dijo Mason.

La compañía está abordando las preocupaciones de seguridad sobre una herramienta de autenticación automatizada trabajando para construir una arquitectura de confianza cero en la que protejan las credenciales de algunas maneras clave. Para empezar, ellos mismos nunca controlan las credenciales; estos están en manos del usuario final. También hay una capa de cifrado, donde la mitad de la clave está en manos del usuario y la otra mitad de Anon, y se requieren ambas para desbloquear el cifrado. Por último, el usuario siempre tiene el máximo control.

“Nuestra plataforma es tal que, como usuario, cuando otorgo acceso, sigo manteniendo el control de esa sesión (soy el poseedor final de la contraseña, el nombre de usuario, 2FA) y, por lo tanto, incluso en el caso de que nuestro sistema, o incluso Si el sistema del cliente se ve comprometido, no tiene acceso a esas credenciales raíz”, dijo el cofundador y director de tecnología de la empresa, Kai Aichholz.

Los fundadores reconocen que otras empresas, grandes y pequeñas, probablemente intentarán resolver este problema, pero cuentan con una ventaja inicial y una visión amplia que les ayude a evitar posibles competidores. «Básicamente, buscamos convertirnos en una plataforma de integración integral donde usted pueda venir y desarrollar estas acciones y desarrollar la automatización y saber que lo está haciendo de una manera segura y que sus credenciales de usuario final están seguras y las automatizaciones son va a suceder”, dijo Mason.

La inversión de 6,5 millones de dólares se divide en dos tramos: una pre-semilla de alrededor de 2 millones de dólares en el lanzamiento y una semilla que se cerró a finales del año pasado por alrededor de 4,5 millones de dólares. Los inversores incluyen Union Square Ventures y Abstract Ventures, que lideraron la semilla, e Impatient Ventures y ex/ante, que lideraron la pre-semilla, junto con varios ángeles de la industria.

Intel acaba de publicar sus últimas cifras de rendimiento de MLPerf v4.0 que cubren los aceleradores Gaudi 2 y las CPU Xeon «Emerald Rapids» de quinta generación; el primero muestra sólidos valores de rendimiento por dólar en comparación con la GPU H100 de NVIDIA.

El acelerador Intel Gaudi 2 AI es la única «alternativa comparada» a las GPU H100 de NVIDIA para GenAI, fuerte rendimiento/$ en resultados de MLPerf v4.0

Intel ha estado ajustando el rendimiento de su línea de aceleradores Gaudí en cargas de trabajo de IA utilizando su marco OneAPI desde hace algún tiempo. El resultado de este trabajo de software continuo se mostró en las últimas cifras de rendimiento de MLPerf v4.0 que muestran las capacidades de GenAI en cargas de trabajo como Llama-70B y Stable Diffusion XL, donde las soluciones de Intel ofrecen un rendimiento competitivo frente a los chips rivales. Más recientemente, la compañía mostró cómo los aceleradores Gaudi 2 eran más rápidos en comparación con las soluciones de NVIDIA en las últimas cargas de trabajo GenAI, como Stable Diffusion y Llama 2 LLM. Más sobre eso aquí.

Para realizar comparaciones, Intel utilizó una configuración de acelerador Gaudi 2 x8 frente a GPU NVIDIA H100 x8 para realizar evaluaciones comparativas de rendimiento de FP8 e INT8. En rendimiento relativo, la NVIDIA H100 sin duda está muy por delante de los aceleradores Intel Gaudi 2, ofreciendo mejoras de hasta 3,35 veces en servidor y hasta 2,76 veces en generación fuera de línea. Pero donde el juego cambia completamente a favor de Intel es en el rendimiento/$ donde los aceleradores Gaudi 2 se convierten en un producto con una posición muy competitiva y lo que Intel denomina Gaudi 2 como la única «alternativa comparada» al H100 de NVIDIA para cargas de trabajo GenAI.

Entonces, en términos de rendimiento por dólar, el acelerador Intel Gaudi 2 AI ofrece un valor 33 % mejor que la solución NVIDIA H100; NVIDIA H100 solo supera a Gaudi 2 en Llama-70B (servidor). Intel también se ha asociado recientemente con Qualcomm y Google para abordar el dominio CUDA de NVIDIA en IA a través de oneAPI, lo que puede conducir a mayores mejoras en el futuro. Los aceleradores de IA Gaudi 3 y Falcon Shores de próxima generación tendrán un sólido marco de software que los respalde en el momento de su lanzamiento.

Intel también comparte los resultados de MLPerf v4.0 para su familia escalable Xeon de quinta generación con nombre en código Emerald Rapids. Al comparar los chips con la familia «Sapphire Rapids» de cuarta generación, puede ver ganancias de hasta 1,9 veces y una ganancia promedio del 42 % con respecto a la generación anterior en cargas de trabajo como 3dUnet, BERT, RNN-T, ResNet50, RetinaNet, DLRMv2, GPT-J. Además, los socios OEM de Intel también han estado enviando sus resultados para CPU Xeon de quinta generación en una variedad de cargas de trabajo mixtas. Estos socios incluyen Dell Technologies, Quanta Computer, Supermicro, Wiwynn y CISCO.

Los aspectos más destacados de estos puntos de referencia son:

Aceleradores Intel Gaudí 2

• La ÚNICA alternativa comparada al H100 para GenAI
• Los puntos de referencia Stable Diffusion y Llama-70B muestran las ventajas de precio-rendimiento de Gaudí2 frente al H100
• La cobertura del modelo Intel Guadi continúa avanzando y emplea enfoques de desarrollo SOTA como TGI, utilizado en el envío de Llama.

Procesadores Xeon de quinta generación

• Intel sigue siendo el único proveedor de CPU para servidores que envía resultados de MLPerf
• Los resultados de 5.ª generación Xeon mejoraron en una media geométrica de 1,42 veces en comparación con los resultados de 4.ª generación Xeon en MLPerf Inference v3.1
• El número cada vez mayor de presentaciones y la creciente lista de socios son indicadores claros de que los clientes finales quieren maximizar la utilización de su infraestructura de CPU existente.

Estos puntos de referencia de MLPerf v4.0 muestran que Intel se toma muy en serio su ecosistema de IA y el trabajo que han estado realizando ha comenzado a dar frutos. La IA está exclusivamente dominada por NVIDIA en este momento, pero con los esfuerzos de Intel, el espacio puede volverse mucho más intenso en los próximos años.

NVIDIA continúa ampliando los límites de la IA con su sólida suite TensorRT-LLM, impulsando las GPU H200 a nuevas alturas en los últimos resultados de MLPerf v4.0.

Blackwell ya está aquí, pero NVIDIA continúa impulsando las GPU Hopper H100 y H200 AI con nuevas optimizaciones TensorRT-LLM para obtener una ganancia de hasta 3 veces en MLPerf v4.0

La IA generativa o GenAI es un mercado emergente y todos los fabricantes de hardware están tratando de quedarse con su porción del pastel. Pero a pesar de sus mejores esfuerzos, es NVIDIA la que hasta ahora se ha llevado la mayor parte de la participación y no hay nada que pueda detener al gigante verde, ya que ha mostrado algunos puntos de referencia y registros absolutamente sólidos dentro de los resultados de inferencia de MLPerf v4.0.

El ajuste de TensorRT-LLM ha estado en curso desde que se lanzó el paquete de software AI el año pasado. Vimos un aumento importante en el rendimiento con los resultados anteriores de MLPerf v3.1 y ahora, con MLPerf v4.0, NVIDIA está potenciando el rendimiento de Hopper. La razón por la que la inferencia es importante es porque representa el 40% de los ingresos del centro de datos (generados el año pasado). Las cargas de trabajo de inferencia van desde LLM (modelos de lenguajes grandes), contenido visual y recomendadores. A medida que estos modelos aumentan de tamaño, aumenta la complejidad y la necesidad de contar con hardware y software potentes.

Es por eso que TensorRT-LLM existe como un compilador de inferencia de última generación diseñado conjuntamente con las arquitecturas de GPU de NVIDIA. Algunas características de TensorRT-LLM incluyen:

• Procesamiento por lotes de secuencias en vuelo (optimiza la utilización de la GPU)
• Gestión de caché KV (mayor utilización de memoria de GPU)
• Atención generalizada (kernel XQA)
• Multi-GPU Multi-Nodo (Tensor y Pipeline Paralelo)
• Cuantización FP8 (mayor rendimiento y ajuste a modelos más grandes)

Utilizando las últimas optimizaciones de TensorRT-LLM, NVIDIA ha logrado obtener un rendimiento adicional de 2,9 veces para sus GPU Hopper (como la H100) en MLPerf v4.0 frente a MLPerf v3.1. En los resultados de referencia de hoy, NVIDIA ha establecido nuevos récords de rendimiento en MLPerf Llama 2 (70 mil millones) con hasta 31,712 tokens generados por segundo en el H200 (vista previa) y 21,806 tokens generados por segundo en el H100.

Cabe mencionar que la GPU H200 fue evaluada hace aproximadamente un mes, por lo que se menciona en el estado de vista previa, pero NVIDIA ha declarado que ya están probando las GPU a los clientes y las enviarán en el segundo trimestre.

La GPU NVIDIA H200 logra ofrecer una ganancia de rendimiento adicional del 45 % en Llama 2 en comparación con las GPU H100 gracias a su mayor configuración de memoria de 141 GB HBM3E y un ancho de banda más rápido de hasta 4,8 TB/s. Mientras tanto, el H200 es un gigante frente al Gaudi 2 de Intel, la única otra solución de la competencia presentada dentro de los puntos de referencia MLPerf v4.0, mientras que el H100 también tiene una ganancia masiva de 2,7 veces.

Además de estos, un sistema de GPU NVIDIA HGX H200 de 8 GPU superó el punto de referencia Stable Diffusion XL, logrando 13,8 consultas/segundo y 13,7 muestras/segundo en escenarios de servidor y fuera de línea, respectivamente.

La cosa no termina ahí, si bien el H200 es compatible con las plataformas H100, también existe una variante de diseño térmico personalizado del H200 en forma de plataforma MGX (GPU+CPU+DPU) que puede aumentar el TDP hasta 1000W. para un rendimiento hasta un 14 % mayor que la variante estándar refrigerada por aire. Las soluciones personalizadas están disponibles en fabricantes de equipos originales como ASRock Rack, ASUS, Gigabyte, Pegatron, QCT y Supermicro. Además, también se espera que las GPU H200 AI estén disponibles en una amplia lista de socios CSP y OEM de NVIDIA.

Las GPU Hopper H200 de NVIDIA se entregan con TDP base de 700 W y diseños personalizados de hasta 1000 W. Las GPU Blackwell vienen en configuraciones de 700W (B100) y 1000/1200W (B200). Hablando de las GPU Blackwell, NVIDIA confirmó que solo las GPU B100 serán compatibles con los sistemas Hopper, mientras que las GPU B200 requerirán un chasis y un diseño de sistema completamente diferentes. Los primeros sistemas Blackwell se enviarán al mercado a finales de este año, por lo que podemos esperar resultados en MLPerf en futuras presentaciones.

Las CPU Ryzen AI de AMD eclipsan a los chips Core Ultra de Intel en nuevos puntos de referencia de AI que muestran cargas de trabajo LLM y GenAI.

AMD comparte nuevos puntos de referencia de IA (LLM) con CPU Ryzen AI que superan a los chips Core Ultra de Intel mientras funcionan con una potencia mucho menor

AMD fue el primero en ingresar al espacio de las PC con IA con sus CPU Ryzen AI de primera generación con nombre en código Phoenix, que se presentó el año pasado. Desde entonces, la compañía lanzó su línea Ryzen AI actualizada conocida como Hawk Point, que ofrece NPU «XDNA» mejoradas, lo que brinda un aumento del 60% en AI TOPS. Parece que AMD ha trabajado mucho en optimizaciones de software para cargas de trabajo de IA localizadas y del lado del cliente, como lo demuestran los nuevos puntos de referencia publicados por la empresa.

En las nuevas pruebas, AMD enfatiza la ejecución de LLM en sus CPU localmente, lo cual es posible con una variedad de modelos que incluyen LLama 2, Mistral AI_, code llama y RAG. Tener un modelo de IA localizado ejecutándose en su PC significa que tiene más privacidad que los modelos en plataformas en la nube en línea, lo que le ahorra tarifas de suscripción sin necesidad de una conexión en línea. La compañía está avanzando más en este espacio con su guía reciente sobre cómo configurar su propio chatbot de IA local que rivaliza con NVIDIA Chat con el chatbot RTX.

Para las pruebas de rendimiento, AMD usa su APU Ryzen 7 7840U a 15W y la compara con el Intel Core Ultra 7 155H a 28W. Ambos chips funcionan con 16 GB de memoria LPDDR5-6400 y los últimos paquetes de controladores.

En primer lugar, tenemos Mistral Instruct 7B LLM, donde la CPU AMD Ryzen 7 7840U completa el procesamiento de IA en solo el 61% del tiempo en comparación con la oferta de Intel, mientras que el chat Llama 2 7B es aún más rápido con el chip Ryzen AI completando la tarea en 54. % del tiempo.

Para simplificar las cosas, la CPU AMD Ryzen 7 7840U (15W) puede ofrecer un rendimiento hasta un 14% más rápido en LLama v2 Chat 7B (Q4 KM) y un rendimiento un 17% más rápido en Mistral Instruct 7b (Q4 KM). Las velocidades de tiempo hasta el primer token son, respectivamente, un 79 % más rápidas en LLama v2 Chat y un 41 % más rápidas en Mistral Instruct 7B LLM.

Hay dos cosas a tener en cuenta aquí, no solo la CPU AMD Ryzen AI es más rápida que la CPU Intel Core Ultra de mayor potencia, sino que también presenta una NPU ligeramente más lenta con una clasificación de 10 TOP en comparación con el chip Core Ultra de Intel que tiene un SKU de 11 TOP. Eso ni siquiera compara los SKU de 28 W o los chips Hawk Point que cuentan con hasta 16 TOP de AI Compute. AMD también destaca la ventaja de costos de sus plataformas de PC con IA, que tienen un precio más bajo, desde alrededor de $899 (SEP) frente a los $999 (SEP) de los chips Intel Core Ultra 155H.

La plataforma de PC AMD Ryzen AI tiene la ventaja de estar en el mercado desde hace algún tiempo y eso ha llevado al equipo rojo a realizar rápidas optimizaciones de IA para sus CPU existentes y de próxima generación. Se espera que estas cargas de trabajo de IA se ajusten aún más en el futuro en preparación para la familia Strix Point con tecnología Zen 5, que se espera que se lance a finales de este año. La plataforma Core Ultra de Intel también ha estado disponible durante algunos meses y la compañía tiene una estrategia de inteligencia artificial audaz diseñada para este espacio.

La Comisión Europea ha enviado una serie de solicitudes formales de información (RFI) a Google, Meta, Microsoft, Snap, TikTok y X sobre cómo están manejando los riesgos relacionados con el uso de IA generativa.

Las solicitudes, que se relacionan con Bing, Facebook, Google Search, Instagram, Snapchat, TikTok, YouTube y X, se realizan en virtud de la Ley de Servicios Digitales (DSA), las reglas reiniciadas de comercio electrónico y gobernanza en línea del bloque. Las ocho plataformas están designadas como plataformas en línea muy grandes (VLOP) según la regulación, lo que significa que deben evaluar y mitigar los riesgos sistémicos, además de cumplir con el resto del reglamento.

En un comunicado de prensa del jueves, la Comisión dijo que les está pidiendo que proporcionen más información sobre sus respectivas medidas de mitigación de los riesgos relacionados con la IA generativa en sus servicios, incluso en relación con las llamadas «alucinaciones» donde las tecnologías de IA generan información falsa; la difusión viral de deepfakes; y la manipulación automatizada de servicios que pueden engañar a los votantes.

“La Comisión también solicita información y documentos internos sobre las evaluaciones de riesgos y las medidas de mitigación relacionadas con el impacto de la IA generativa en los procesos electorales, la difusión de contenidos ilegales, la protección de los derechos fundamentales, la violencia de género, la protección de los menores y el bienestar mental. ser», agregó la Comisión, enfatizando que las preguntas se relacionan con «tanto la difusión como la creación de contenido de IA generativa».

En una reunión informativa con periodistas, la UE también dijo que está planeando una serie de pruebas de resistencia, previstas para después de Semana Santa. Esto pondrá a prueba la preparación de las plataformas para hacer frente a los riesgos generativos de la IA, como la posibilidad de una avalancha de falsificaciones políticas antes de las elecciones al Parlamento Europeo de junio.

«Queremos presionar a las plataformas para que nos digan lo que están haciendo para estar lo mejor preparados posible… para todos los incidentes que podamos detectar y ante los cuales tendremos que reaccionar en el período previo a las elecciones». dijo un alto funcionario de la Comisión, hablando bajo condición de anonimato.

La UE, que supervisa el cumplimiento de los VLOP con estas reglas DSA específicas de las grandes tecnologías, ha nombrado la seguridad electoral como una de las áreas prioritarias para su aplicación. Recientemente ha estado consultando sobre reglas de seguridad electoral para los VLOP, mientras trabaja en la elaboración de una guía formal.

Las solicitudes de hoy tienen como objetivo en parte respaldar esa orientación, según la Comisión. Aunque las plataformas se han dado hasta el 3 de abril para brindar información relacionada con la protección de las elecciones, lo que está siendo tildado de solicitud “urgente”. Pero la UE dijo que espera finalizar las directrices de seguridad electoral antes de esa fecha: el 27 de marzo.

La Comisión señaló que el costo de producir contenido sintético está disminuyendo drásticamente, lo que aumenta los riesgos de que se produzcan deepfakes engañosos durante las elecciones. Es por eso que está atrayendo la atención en las principales plataformas con la escala necesaria para difundir ampliamente los deepfakes políticos.

Un acuerdo de la industria tecnológica para combatir el uso engañoso de la IA durante las elecciones que surgió de la Conferencia de Seguridad de Munich el mes pasado, con el respaldo de varias de las mismas plataformas que la Comisión está enviando solicitudes de información ahora, no va lo suficientemente lejos en opinión de la UE.

Un funcionario de la Comisión dijo que su próxima guía de seguridad electoral irá «mucho más allá», señalando un triple golpe de salvaguardias que planea aprovechar: comenzando con las «reglas claras de diligencia debida» de la DSA, que le otorgan poderes para abordar «situaciones de riesgo» específicas. ; combinado con más de cinco años de experiencia trabajando con plataformas a través del Código de prácticas contra la desinformación (no jurídicamente vinculante) que la UE pretende que se convierta en un Código de conducta en el marco de la DSA; y, en el horizonte, normas de etiquetado de transparencia/marcado de modelos de IA en virtud de la próxima Ley de IA.

El objetivo de la UE es construir «un ecosistema de estructuras de aplicación de la ley» que pueda aprovecharse en el período previo a las elecciones, añadió el funcionario.

Las RFI de la Comisión hoy también apuntan a abordar un espectro más amplio de riesgos de IA generativa que la manipulación de votantes, como los daños relacionados con la pornografía ultrafalsa u otros tipos de generación de contenido sintético malicioso, ya sea que el contenido producido sea imágenes/video o audio. Estas solicitudes reflejan otras áreas prioritarias para la aplicación de la DSA de la UE a los VLOP, que incluyen riesgos relacionados con contenidos ilegales (como el discurso de odio) y la protección infantil.

Las plataformas tienen hasta el 24 de abril para dar respuestas a estas otras RFI de IA generativas.

Las plataformas más pequeñas donde se pueden distribuir deepfakes engañosos, maliciosos o dañinos, y los pequeños fabricantes de herramientas de inteligencia artificial que pueden permitir la generación de medios sintéticos a menor costo, también están en el radar de mitigación de riesgos de la UE.

Dichas plataformas y herramientas no estarán bajo la supervisión explícita de los VLOP por parte de la DSA de la Comisión, ya que no están designadas. Pero su estrategia para ampliar el impacto regulatorio es aplicar presión indirectamente, a través de plataformas más grandes (que pueden actuar como amplificadores y/o canales de distribución en este contexto); y mediante mecanismos de autorregulación, como el mencionado Código de Desinformación; y el Pacto sobre IA, que se pondrá en funcionamiento en breve, una vez que se adopte la Ley de IA (de ley estricta) (lo que se espera sea en unos meses).

los ultimos Los meses han sido difíciles para Google. Los ejecutivos de la compañía han estado en apuros debido a algunos pasos en falso vergonzosos, el más incómodo de los cuales fue el lanzamiento fallido del último generador de imágenes de Google. La compañía lo lanzó como parte de su conjunto de herramientas GenAI llamado Gemini, pero luego lo retiró rápidamente después de que el generador produjo algunos resultados realmente extraños.

Esta semana, le damos la bienvenida al programa al escritor senior de WIRED, Paresh Dave, para hablar sobre las extrañas salidas de Gemini. También hablamos de algunos de los problemas de personal por los que Google ha estado pasando recientemente, incluidos despidos y acusaciones de discriminación.

Mostrar notas

Lea más sobre la controversia sobre la “IA despierta”. Lea la historia de Bloomberg sobre los despidos de Google a su equipo de confianza y seguridad. Lea la historia de Paresh sobre el empleado de Google con discapacidad que alega discriminación en el lugar de trabajo en la empresa. Escuche nuestra discusión más amplia sobre los despidos tecnológicos en el episodio 633.

Recomendaciones

Paresh recomienda el blog gastronómico The Fancy Navajo. Lauren recomienda la historia de Lauren Mechling en El guardián sobre periodismo; el podcast Le Carré Cast, en particular el episodio sobre la vida secreta del famoso autor espía; y Mike recomienda la colección de películas “And the Razzie Goes to…” en Criterion Channel.

Paresh se puede encontrar en las redes sociales @peard33.bsky.social. Lauren Goode es @laurengoode. Michael Calore es @snackfight. Bling la línea directa principal en @Laboratorio de gadgets. El programa está producido por Boone Ashworth (@booneashworth). Nuestro tema musical es de Solar Keys.

Cómo escuchar

Siempre puedes escuchar el podcast de esta semana a través del reproductor de audio de esta página, pero si quieres suscribirte gratis para obtener todos los episodios, aquí te explicamos cómo:

Si estás en un iPhone o iPad, abre la aplicación llamada Podcasts o simplemente toca este enlace. También puedes descargar una aplicación como Overcast o Pocket Casts y buscar Gadget Lab. Si usas Android, puedes encontrarnos en la aplicación Google Podcasts con solo tocar aquí. También estamos en Spotify. Y en caso de que realmente lo necesites, aquí tienes el feed RSS.

El director ejecutivo de Apple, Tim Cook, promete que Apple “abrirá nuevos caminos” en GenAI este año.

Cook hizo el pronunciamiento durante la reunión anual de accionistas de la compañía hoy, que se produjo la misma semana en la que, según se informa, la compañía hundió su plan multimillonario de una década para construir un vehículo eléctrico. Según múltiples publicaciones, parte del personal del proyecto de vehículos eléctricos fue reasignado para trabajar en varias iniciativas GenAI.

Apple, a diferencia de muchos de sus rivales de las grandes tecnológicas, ha tardado en invertir (e impulsar) GenAI.

Durante la llamada de resultados del primer trimestre de la compañía, Cook dijo que Apple estaba trabajando internamente con GenAI, pero que estaba adoptando un enfoque más lento y deliberado para las encarnaciones de la tecnología orientadas al cliente. De hecho, Apple solo mencionó brevemente GenAI en sus recientes conferencias de prensa y anuncios, como cuando introdujo nuevas funciones de autocorrección y predicción de texto en iOS el otoño pasado.

Mark Gurman de Bloomberg ha informado que Apple está planeando actualizar la herramienta de búsqueda integrada de Siri y iOS, Spotlight, con modelos GenAI, con el objetivo de permitir que ambos respondan consultas más complejas y manejen conversaciones sofisticadas de varios turnos. También se dice que Apple está explorando funciones impulsadas por IA para permitir a los usuarios generar automáticamente diapositivas de presentación en Keynote y listas de reproducción en Apple Music, así como sugerencias de codificación impulsadas por GenAI en Xcode, la plataforma de desarrollo de aplicaciones de la compañía.

Algunos de estos, o ninguno, podrían llegar en las próximas versiones de iOS, macOS y iPadOS, que se espera que se muestren en la Conferencia Mundial de Desarrolladores de Apple este verano.

Quizás telegrafiando el creciente enfoque de Apple en GenAI, los ingenieros de la compañía han sido coautores de un número cada vez mayor de artículos académicos y técnicos relacionados con GenAI. Uno describe un sistema que puede generar avatares animados en 3D a partir de vídeos cortos. Otro detalla Keyframer, una herramienta capaz de animar imágenes fijas.

Llamativamente, Apple también publicó una serie de modelos y herramientas de código abierto para desarrollar software impulsado por GenAI en los últimos meses.

Ferret, lanzado en octubre, es un chatbot construido sobre un modelo de código abierto existente, Vicuña, mientras que MGIE, lanzado a principios de este año, es un modelo que puede modificar imágenes basándose en comandos de lenguaje natural.

Bloomberg informó en octubre que Apple estaba invirtiendo mil millones de dólares al año para ponerse al día con GenAI, incluidos esfuerzos como un modelo de lenguaje grande patentado llamado Ajax y un chatbot interno conocido como Apple GPT, y potencialmente incluso hardware nuevo. Se rumorea que los próximos modelos de iPhone 16 están preparados para un Neural Engine «significativamente» mejorado, la marca Apple de chip personalizado en el dispositivo para acelerar el procesamiento de IA.

No hace falta mucho para que GenAI diga falsedades y falsedades.

La semana pasada proporcionó un ejemplo: los chatbots de Microsoft y Google declararon al ganador del Super Bowl incluso antes de que comenzara el juego. Sin embargo, los verdaderos problemas comienzan cuando las alucinaciones de GenAI se vuelven dañinas: respaldan la tortura, refuerzan los estereotipos étnicos y raciales y escriben de manera persuasiva sobre teorías de conspiración.

Un número cada vez mayor de proveedores, desde empresas tradicionales como Nvidia y Salesforce hasta nuevas empresas como CalypsoAI, ofrecen productos que, según afirman, pueden mitigar el contenido tóxico y no deseado de GenAI. Pero son cajas negras; A falta de probar cada uno de ellos de forma independiente, es imposible saber cómo se comparan estos productos para combatir las alucinaciones y si realmente cumplen con lo que dicen.

Shreya Rajpal vio esto como un problema importante y fundó una empresa, Guardrails AI, para intentar resolverlo.

«La mayoría de las organizaciones… están luchando con el mismo conjunto de problemas relacionados con la implementación responsable de aplicaciones de IA y luchando por descubrir cuál es la mejor y más eficiente solución», dijo Rajpal a TechCrunch en una entrevista por correo electrónico. «A menudo terminan reinventando la rueda en términos de gestionar el conjunto de riesgos que son importantes para ellos».

En opinión de Rajpal, las encuestas sugieren que la complejidad (y, por extensión, el riesgo) es una de las principales barreras que se interponen en el camino para que las organizaciones adopten GenAI.

Una encuesta reciente de Cnvrg.io, filial de Intel, encontró que el cumplimiento y la privacidad, la confiabilidad, el alto costo de implementación y la falta de habilidades técnicas eran preocupaciones compartidas por alrededor de una cuarta parte de las empresas que implementaban aplicaciones GenAI. En una encuesta separada de Riskonnect, un proveedor de software de gestión de riesgos, más de la mitad de los ejecutivos dijeron que les preocupaba que los empleados tomaran decisiones basadas en información inexacta de las herramientas GenAI.

Rajpal, que anteriormente trabajó en la startup de conducción autónoma Drive.ai y, después de la adquisición de Drive.ai por parte de Apple, en el grupo de proyectos especiales de Apple, cofundó Guardrails con Diego Oppenheimer, Safeer Mohiuddin y Zayd Simjee. Oppenheimer anteriormente dirigió Algorithmia, una plataforma de operaciones de aprendizaje automático, mientras que Mohiuddin y Simjee ocuparon puestos líderes de tecnología e ingeniería en AWS.

En cierto modo, lo que ofrece Guardrails no es tan diferente de lo que ya hay en el mercado. La plataforma de la startup actúa como un envoltorio alrededor de los modelos GenAI, específicamente los modelos de generación de texto de código abierto y propietarios (por ejemplo, GPT-4 de OpenAI), para hacer que esos modelos sean ostensiblemente más dignos de confianza, confiables y seguros.

Pero lo que diferencia a Guardrails es su modelo de negocio de código abierto (el código base de la plataforma está disponible en GitHub, de uso gratuito) y su enfoque de colaboración abierta.

A través de un mercado llamado Guardrails Hub, Guardrails permite a los desarrolladores enviar componentes modulares llamados «validadores» que analizan los modelos GenAI en busca de ciertas métricas de comportamiento, cumplimiento y rendimiento. Otros desarrolladores y clientes de Guardrails pueden implementar, reutilizar y reutilizar los validadores, lo que sirve como base para soluciones personalizadas de moderación de modelos GenAI.

“Con el Hub, nuestro objetivo es crear un foro abierto para compartir conocimientos y encontrar la manera más efectiva de [further] Adopción de IA, pero también construir un conjunto de barreras de seguridad reutilizables que cualquier organización pueda adoptar”, dijo Rajpal.

Los validadores en Guardrails Hub van desde simples comprobaciones basadas en reglas hasta algoritmos para detectar y mitigar problemas en los modelos. Actualmente hay alrededor de 50, que van desde detectores de alucinaciones y violaciones de políticas hasta filtros para información privada y códigos inseguros.

«La mayoría de las empresas realizarán controles amplios y uniformes para detectar malas palabras, información de identificación personal, etc.», dijo Rajpal. “Sin embargo, no existe una definición única y universal de lo que constituye un uso aceptable para una organización y un equipo específicos. Hay riesgos específicos de la organización que deben ser rastreados; por ejemplo, las políticas de comunicaciones entre organizaciones son diferentes. Con Hub, permitimos que las personas usen las soluciones que brindamos listas para usar o las usen para obtener una solución de punto de partida sólida que pueden personalizar aún más según sus necesidades particulares”.

Un centro para barandillas modelo es una idea intrigante. Pero el escéptico que hay en mí se pregunta si los desarrolladores se molestarán en contribuir a una plataforma (y, además, una plataforma incipiente) sin la promesa de algún tipo de compensación.

Rajpal es de la opinión optimista de que lo harán, aunque sólo sea por el reconocimiento y por ayudar desinteresadamente a la industria a construir una GenAI “más segura”.

«El Hub permite a los desarrolladores ver los tipos de riesgos que enfrentan otras empresas y las barreras que están implementando para resolver y mitigar esos riesgos», agregó. «Los validadores son una implementación de código abierto de esas barreras de seguridad que las organizaciones pueden aplicar a sus casos de uso».

Guardrails AI, que aún no cobra por ningún servicio o software, recaudó recientemente $ 7,5 millones en una ronda inicial liderada por Zetta Venture Partners con la participación de Factory, Pear VC, Bloomberg Beta, GitHub Fund y ángulos que incluyen al renombrado experto en IA Ian Goodfellow. Rajpal dice que las ganancias se destinarán a ampliar el equipo de seis personas de Guardrails y a proyectos adicionales de código abierto.

«Hablamos con muchas personas (empresas, pequeñas empresas emergentes y desarrolladores individuales) que no pueden enviar aplicaciones GenAI debido a la falta de seguridad y la mitigación de riesgos necesaria», continuó. “Este es un problema novedoso que no ha existido a esta escala, debido a la llegada de ChatGPT y los modelos básicos en todas partes. Queremos ser nosotros quienes solucionemos este problema”.

Otter, el asistente de reuniones con tecnología de inteligencia artificial que transcribe audio en tiempo real, está agregando otra capa de inteligencia artificial a su producto con la presentación hoy de Meeting GenAI, un nuevo conjunto de herramientas de inteligencia artificial para reuniones. Con GenAI se incluye un chatbot de IA que puede consultar para obtener información sobre reuniones anteriores que haya grabado con Otter, una función de chat de IA que pueden usar los equipos y un resumen de la conversación de IA que proporciona una descripción general de la reunión que tuvo lugar, para que No es necesario leer la transcripción completa para ponerse al día.

Aunque los periodistas y estudiantes pueden usar la IA para grabar cosas como entrevistas o conferencias, las nuevas funciones de IA de Otter están dirigidas más a aquellos que aprovechan el asistente de reuniones en un entorno corporativo. La compañía concibe las nuevas herramientas como complemento o reemplazo de las funciones de IA que ofrecen diferentes servicios como Microsoft Copilot, Zoom AI Companion y Google Duet, por ejemplo.

Sam Liang, director ejecutivo de Otter, explica que la idea de presentar las nuevas herramientas de IA se inspiró en su apretada agenda.

“De hecho, tengo 30 (a veces más de 30) reuniones cada semana. A veces incluso tengo doble reserva. No podía asistir a dos o tres reuniones al mismo tiempo, pero mi OtterPilot sintonizaba esas reuniones en mi nombre”, dijo, refiriéndose a la función Otter que permite que un robot de IA grabe una reunión para que usted pueda revisarla más tarde.

Ahora, los usuarios podrán leer un resumen generado por IA de lo que se cubrió en esa reunión, incluido un párrafo seguido de una lista de elementos de acción. Los clientes de Otter ahora también pueden interactuar con un chatbot de IA donde pueden hacer preguntas sobre lo que ocurrió en la reunión anterior u otros.

Por ejemplo, podría preguntarle al chatbot de IA cosas como «¿Qué dijo el CMO?» o «¿Cambiaron la fecha de lanzamiento?»

Si bien Liang admite que Otter no es el primero en ofrecer un compañero de IA para reuniones (Microsoft Copilot y Zoom también tienen funciones de IA), cree que la versión de Otter es más poderosa y más completa.

«Puede utilizar el chat de IA para consultar todo el historial de reuniones», explica. Eso significa que puede regresar para hacer preguntas sobre reuniones anteriores, no solo sobre la que está revisando.

Otra característica ofrece un chatbot de IA que se une a los canales de Otter donde se llevan a cabo los chats grupales. Aquí, el bot interactúa como cualquier otro chat con otro participante y puede ser invocado por cualquiera que le haga una pregunta a Otter. Por ejemplo, mientras los usuarios conversan entre sí, podrían hacer una pausa para hacerle una pregunta a la IA, como: «Oye, Otter, ¿cuáles son nuestros ingresos?». El chatbot de IA responderá a tu pregunta.

El objetivo final es lograr que Otter participe de manera más proactiva interviniendo cuando crea que tiene algo útil que ofrecer, analizando lo que se está discutiendo. Quizás si un colega no sabía la respuesta a una pregunta, Otter algún día podría responder después de revisar el historial de reuniones de la empresa y encontrar la respuesta compartida en otros lugares.

Los datos de Otter se almacenan en la nube y son seguros, similar a otros servicios basados ​​en la nube como Dropbox o Gmail de Google, pero nadie que no esté autorizado por la empresa tendrá acceso a los datos de la reunión. Esto permite a las personas acceder a Otter, incluidas sus funciones de inteligencia artificial, a través de cualquier dispositivo, incluido su computadora portátil o teléfono inteligente. Otter tampoco utiliza los datos de un cliente para entrenar su IA, afirma, aunque permite a los usuarios individuales contribuir con sus grabaciones de forma voluntaria.

En particular, la compañía no planea cobrar por sus nuevas funciones de inteligencia artificial. Mientras que Microsoft cobra $360 por año por su Copilot en Office 365 y Teams, GenAI de Otter se incluirá tanto en el plan gratuito como en el plan Business de $20 por mes.

La IA está en el mentes de casi todas las empresas y líderes de startups actuales, desafiando a los tomadores de decisiones humanos con un flujo constante de escenarios hipotéticos sobre cómo trabajaremos y viviremos en el futuro. La IA generativa, en particular, está redefiniendo lo que las empresas pueden hacer con la inteligencia artificial y planteando preguntas espinosas sobre qué pueden hacer las empresas. debería hacer.

La gestión de riesgos y la garantía de una supervisión eficaz de la IA deberán convertirse en un foco central de las juntas directivas; sin embargo, muchas organizaciones pueden tener dificultades cuando se trata de ayudar a sus principales líderes a ser más inteligentes acerca de la inteligencia artificial.

La urgencia de educar a los miembros de la junta directiva es cada vez mayor. Durante la última década, los casos de uso del aprendizaje automático y otros tipos de IA se han multiplicado. También los riesgos. Para las juntas directivas, la era de la IA ha expuesto nuevos desafíos en lo que respecta a la gobernanza y la gestión de riesgos. Una encuesta reciente de Deloitte encontró que la mayoría de las juntas directivas (72%) tienen al menos un comité responsable de la supervisión de riesgos, y más del 80% tiene al menos un experto en gestión de riesgos. A pesar de toda la atención y la inversión en la gestión de otros tipos de riesgos empresariales, la IA exige el mismo tratamiento.

Los riesgos de la IA abundan. Los riesgos de seguridad de la IA, por ejemplo, pueden comprometer datos confidenciales. Los resultados sesgados pueden generar problemas de cumplimiento. La implementación irresponsable de sistemas de IA puede tener importantes ramificaciones para las empresas, los consumidores y la sociedad en general. Todos estos impactos potenciales deberían preocupar a los miembros de la junta directiva y alentarlos a desempeñar un papel más importante para ayudar a sus organizaciones a abordar los riesgos de la IA.

Un creciente sentido de urgencia

El auge de la IA generativa hace que el desafío del riesgo de la IA sea aún más complejo y urgente. Sus capacidades han sorprendido a los usuarios y han abierto la puerta a casos de uso transformadores. La IA generativa, que incluye grandes modelos de lenguaje (LLM), generadores de imágenes y audio y asistentes de escritura de códigos, está brindando a más usuarios herramientas que pueden aumentar la productividad, generar conocimientos que antes se pasaban por alto y crear oportunidades para aumentar los ingresos. Y casi cualquiera puede utilizar estas herramientas. No es necesario tener un doctorado en ciencia de datos para utilizar un chatbot con tecnología LLM y capacitado en datos empresariales. Y debido a que las barreras al uso de la IA se están derrumbando rápidamente al mismo tiempo que las capacidades de la IA crecen rápidamente, hay una enorme cantidad de trabajo por hacer en lo que respecta a la gestión de riesgos.

La IA generativa no solo amplifica los riesgos asociados con la IA, sino que también acorta el cronograma para desarrollar estrategias que respalden la mitigación de riesgos de la IA. Los riesgos actuales son reales y solo aumentarán a medida que la IA generativa madure y crezca su adopción. Las juntas directivas no tienen tiempo que perder para adquirir más conocimientos sobre la IA generativa y cómo influirá en la gestión de riesgos. Los siguientes cinco pasos pueden ayudar a los miembros de la junta directiva a preparar sus organizaciones para un futuro que estará determinado por la IA generativa.