Esto no es un consejo de inversión. El autor no tiene posición en ninguna de las acciones mencionadas. Wccftech.com tiene una política de divulgación y ética.
Aunque GPT-4 se encuentra actualmente en la cúspide del mundo cada vez más complicado de la inteligencia artificial generativa, sus competidores, incluidos Claude de Anthropic y Llama de código abierto de Meta, siguen mejorando, lo que requiere otra iteración del modelo de lenguaje grande (LLM) emblemático de OpenAI. Si bien muchos esperan que la organización sin fines de lucro de Sam Altman lance GPT-5 en 2024, algunos analistas ahora afirman que esas expectativas siguen siendo inverosímiles, especialmente dada la escala de recursos necesarios.
GPT-5 necesitaría alrededor de ~100 veces los recursos computacionales de GPT-4, o 3 meses de ~1 millón de H100
No parece probable que GPT-5 se lance este año.
Desde GPT-1, la diferencia entre GPT-n y GPT-n+0,5 es ~10x en cálculo.
Eso significaría que GPT-5 tendría alrededor de ~100 veces el cálculo de GPT-4, o 3 meses de ~1 millón de H100.
Dudo que OpenAI tenga listo un servidor de 1 millón de GPU. https://t.co/asJWNLkO23—Dan Hendrycks (@DanHendrycks) 22 de abril de 2024
Según Dan Hendrycks, director del Centro para la Seguridad de la IA, cada iteración incremental del GPT LLM de OpenAI ha requerido un aumento de 10 veces en los recursos computacionales. En consecuencia, si OpenAI se saltara GPT-4.5 y saltara directamente a GPT-5, se traduciría en un aumento de alrededor de 100 veces en los requisitos computacionales en relación con GPT-4, equivalente a alrededor de 1 millón de chips H100 funcionando durante tres meses consecutivos.
Sam dijo que lanzarán un modelo increíble este año, pero no sabe cómo se llamará. Darío dijo que los que se están entrenando ahora son carreras de mil millones de dólares. Lo que se alinearía con el hecho de que GPT-4.5 es 10 veces más informático que GPT-4.https://t.co/Nyvv3j2uri
– MachDiamantes (@ andromeda74356) 22 de abril de 2024
Esta tesis está respaldada por los comentarios del CEO de Anthropic, Dario Amodei, quien recientemente señaló que actualmente cuesta alrededor de mil millones de dólares formar un LLM de última generación, y se espera que este costo se dispare a entre 5 mil millones y 10 mil millones de dólares en 2025/26. Fundamentalmente, mil millones de dólares en costos de capacitación se alinean con el aumento de 10 veces en los recursos computacionales que se puede inferir razonablemente para GPT-4.5.
Recientemente observamos que se espera que las unidades H100 de NVIDIA implementadas este año consuman alrededor de 13.000 GWh de electricidad al año, equivalente al consumo anual de electricidad de países como Lituania y Guatemala. ¡Para 2027, se espera que el consumo global de energía de los centros de datos se dispare a entre 85 y 134 TWh (teravatios-hora)!
Llama3-70B se ha asentado en el puesto 5. Con el 405B aún por llegar…
Recuerdo que cuando se lanzó GPT-4 en marzo de 2023, parecía casi imposible alcanzar el mismo rendimiento.
Desde entonces he visto @Ahmad_Al_Dahle y el resto de la organización GenAI en un caótico ascenso hacia el enfoque,… https://t.co/xUMHhW8sIX
– Soumith Chintala (@soumithchintala) 22 de abril de 2024
Por supuesto, la competencia de GPT-4 se está poniendo al día rápidamente. No busque más, Llama 3 LLM de Meta (70 mil millones de parámetros), que ahora ocupa el quinto lugar en la tabla de liderazgo de Arena. Fundamentalmente, Llama 3 ahora está superando a todos los demás LLM de código abierto, y eso en ausencia del próximo modelo de 405 mil millones de parámetros.
Sospecho que GPT-5 se retrasará más que por la falta de recursos de GPU. Es la comprensión, después del lanzamiento de GPT-4, de la necesidad de cambiar el plan de estudios original. Ingerir conversaciones humanas mal seleccionadas y un plan de estudios de capacitación ingenuo eran frutos al alcance de la mano. La mayoría de los demás… https://t.co/7QO7Zykk2e
— Carlos E. Pérez (@IntuitMachine) 22 de abril de 2024
Es más, algunos expertos ahora creen que para GPT-5, OpenAI tendrá que cambiar el «plan de estudios original», que actualmente implica aprovechar «conversaciones humanas mal seleccionadas» y un proceso de capacitación «ingenuo» general. Esto se suma a nuestra tesis original de que es probable que OpenAI lance un modelo GPT-4.5 iterativo este año en lugar de cambiar completamente lo que está en juego con GPT-5.