Continuando con nuestra historia anterior, parece que se espera que el crecimiento de GPU de NVIDIA se acelere en los próximos meses debido a la creciente popularidad de ChatGPT.
Las GPU de IA de NVIDIA podrían sufrir escasez debido al aumento de la demanda de los gigantes de IA que utilizan ChatGPT y otras herramientas de generación de IA
Como se informó anteriormente, ChatGPT y otras herramientas de generación de idioma/imagen/video dependen en gran medida del poder de procesamiento de la IA y ahí es donde radica la principal fortaleza de NVIDIA. Esta es la razón por la que las principales empresas tecnológicas que aprovechan ChatGPT utilizan las GPU de NVIDIA para impulsar sus crecientes requisitos de IA. Parece que la destreza de NVIDIA en esta industria podría causar una escasez de GPU de IA de la empresa en los próximos meses.
Según lo informado por FierceElectronics, ChatGPT (versión Beta de Open.AI) se entrenó en 10 000 GPU de NVIDIA, pero desde que ganó tracción pública, el sistema se ha visto abrumado y no ha podido satisfacer la demanda de una gran base de usuarios. Es por eso que la compañía ha anunciado un nuevo plan de suscripción de ChatGPT Plus que no solo brindará acceso general a los servidores incluso durante las horas pico, sino que también brindará tiempos de respuesta más rápidos y acceso prioritario a nuevas funciones y mejoras. La suscripción a ChatGPT Plus está disponible por $20 al mes.
“Es posible que ChatGPT u otros modelos de aprendizaje profundo puedan entrenarse o ejecutarse en GPU de otros proveedores en el futuro. Sin embargo, actualmente, las GPU de NVIDIA se utilizan ampliamente en la comunidad de aprendizaje profundo debido a su alto rendimiento y compatibilidad con CUDA. CUDA es una plataforma de cómputo paralelo y un modelo de programación desarrollado por NVIDIA que permite un cómputo eficiente en las GPU de NVIDIA. Muchas bibliotecas y marcos de trabajo de aprendizaje profundo, como TensorFlow y PyTorch, tienen soporte integrado para CUDA y están optimizados para GPU NVIDIA.
a través de FierceElectronics
Los principales gigantes tecnológicos como Microsoft y Google también planean integrar LLM similares a ChatGPT en sus motores de búsqueda, informa Forbes. Para que Google integre esto en cada consulta de búsqueda, se necesitarían 512 820 servidores A100 HGX con un total de 4 102 568 GPU A100, lo que debería terminar en alrededor de $ 100 mil millones de Capex solo en términos de costos de servidor y redes.
La implementación de ChatGPT actual en cada búsqueda realizada por Google requeriría 512.820,51 servidores A100 HGX con un total de 4.102.568 GPU A100. El costo total de estos servidores y redes supera los $ 100 mil millones solo de Capex, del cual Nvidia recibiría una gran parte. Esto nunca sucederá, por supuesto, pero es un experimento mental divertido si asumimos que no se realizan mejoras de software o hardware.
Dylan Patel a través de semianálisis
Investing.com informa que los analistas han pronosticado que el modelo actual de ChatGPT se está capacitando en alrededor de 25 000 GPU NVIDIA en comparación con las 10 000 GPU NVIDIA que utilizó BETA.
«Creemos que GPT 5 se está entrenando actualmente en GPU de 25k (USD 225 mm o menos en hardware de NVIDIA) y los costos de inferencia probablemente sean mucho más bajos que algunos de los números que hemos visto», escribieron los analistas. «Además, la reducción de los costos de inferencia será fundamental para resolver el debate sobre el ‘costo de búsqueda’ de los titanes de la nube».
a través de Investing.com
Esta podría ser una buena noticia para NVIDIA, pero no tanto para los consumidores, especialmente los jugadores. Si NVIDIA ve una oportunidad en su negocio de GPU de IA, podría priorizar el suministro hacia esos en lugar de GPU para juegos. Ya se ha informado que las GPU para juegos tienen un suministro limitado este trimestre debido al Año Nuevo chino y, aunque todavía hay existencias, esto podría plantear un problema para las GPU de gama alta que ya escasean. Además, las GPU de gama alta también ofrecen mayores capacidades de IA, ya que el servidor se parte a un precio mucho más bajo y podrían convertirse en una opción lucrativa, reduciendo aún más la oferta de los jugadores.
Queda por ver cómo responde NVIDIA a esta enorme demanda del segmento de IA. Se espera que el gigante de GPU anuncie sus ganancias para el cuarto trimestre del año fiscal 23 el 22 de febrero de 2023.