La alucinante experiencia de un chatbot que responde al instante


Si todo eso es cierto (y no hay manera de saberlo ahora), Groq bien podría representar una amenaza al dominio de Nvidia. Ross tiene cuidado al hablar de esto. “Seamos claros: ellos son Goliat y nosotros somos David”, dice. «Sería muy, muy tonto decir que Nvidia está preocupada por nosotros». Sin embargo, cuando se le preguntó sobre Groq, la rápida respuesta de Nvidia indica que la startup sí está en su radar. Con una velocidad cercana a la de Groq, el equipo de relaciones públicas de Goliath me envió un comunicado indicando que la ventaja de la IA de Nvidia no está sólo en sus chips sino también en otros servicios que ofrece a los clientes. como software de inteligencia artificial, memoria, redes y otras ventajas. «La computación de IA en el centro de datos es un desafío complejo que requiere una solución completa», dice, implicando que su competidor anónimo podría verse desafiado.

En cualquier caso, Ross dice que no está compitiendo con Nvidia sino ofreciendo una experiencia alternativa, y no sólo en términos de velocidad. Su misión es garantizar que Groq proporcione resultados justos, libres de puntos de vista políticos o presiones de intereses comerciales. “Groq nunca se involucrará en la publicidad”, afirma. “Porque eso influye en la gente. La IA siempre debe ser neutral, nunca debería decirte lo que deberías estar pensando. Groq existe para garantizar que todos tengan acceso. Te está ayudando a tomar tu decisión, no sus decisiones”. Grandes sentimientos, pero incluso el chatbot Groq, cuando lo interrogué sobre el idealismo en las primeras etapas, se muestra escéptico ante tales afirmaciones. “La presión para generar ganancias y escalar puede llevar incluso a los fundadores bien intencionados a comprometer sus ideales”, respondió rápidamente.

Otra cosa. Es posible que hayas oído que Elon Musk le dio el nombre de “Grok” al LLM creado por su empresa de inteligencia artificial. Esto tomó a Ross por sorpresa, ya que dice que registró el nombre de su empresa cuando la fundó en 2016, y cree que cubre el término original fonéticamente idéntico. «Pedimos dibs», dice. “Él no puede tenerlo. Hemos enviado una carta de cese y desistimiento”. Hasta el momento no ha obtenido respuesta de Musk.

Cuando le pregunté a Groq sobre la disputa del nombre, primero me advirtió que no proporciona opiniones legales. «Sin embargo, puedo proporcionar algún contexto que pueda ayudarle a comprender mejor la situación», decía. El robot explicó que el término asimilar se ha utilizado en la industria durante décadas, por lo que Musk estaría en su derecho de utilizarlo. Por otro lado, si Groq registrara el término, bien podría tener un derecho exclusivo. Todo preciso y acertado: todo lo que esperarías de un LLM moderno. Lo que no era de esperar es que la respuesta apareciera en menos de un segundo.

Viaje en el tiempo

En mi libro sobre Google, In the Plex, expliqué cómo la empresa y su cofundador Larry Page priorizaron la velocidad y reconocieron que los productos más rápidos se utilizan no sólo con más frecuencia, sino de manera diferente. Se convirtió en una obsesión dentro de Google.

Los ingenieros que trabajaban para Page aprendieron rápidamente [his speed] prioridad. “Cuando la gente hace demostraciones y son lentas, a veces cuento”, dice. “Un mil, dos mil. Eso tiende a llamar la atención de la gente”. En realidad, si su producto pudiera medirse en segundos, ya habría fracasado. Paul Buchheit recuerda una vez en la que estaba haciendo una demostración de Gmail en la oficina de Larry. Page hizo una mueca y le dijo que era demasiado lento. Buchheit se opuso, pero Page reiteró su queja, afirmando que la recarga tardó al menos 600 milisegundos. (Eso es seis décimas de segundo.) Buchheit pensó: No puedes saberlo, pero cuando regresó a su oficina comprobó los registros del servidor. Seiscientos milisegundos. “Lo logró”, dice Buchheit.



Source link-46