Les pratiques récentes de xAI révèlent que même avec un accès à un grand nombre de GPUs de serveur Nvidia, une utilisation efficace reste un goulot d'étranglement majeur dans l'entraînement de l'IA. Selon Odaily, alors que les développeurs d'IA continuent de se battre pour les ressources de calcul de Nvidia, l'industrie fait maintenant face à un nouveau défi : l'efficacité de l'utilisation elle-même. L'entraînement des modèles d'IA présente généralement un schéma 'bursty', où les GPUs fonctionnent à haute intensité pendant de courtes périodes avant d'entrer dans des phases d'inactivité pour l'analyse des résultats et les ajustements de stratégie. Ce schéma d'utilisation inégal entraîne des difficultés à maintenir des taux d'utilisation élevés à travers de grands clusters de GPUs, entraînant un gaspillage significatif de puissance de calcul même lorsque le matériel est abondant. Les experts de l'industrie notent que ce problème pousse les entreprises d'IA à repenser les architectures d'entraînement et les systèmes de planification pour améliorer l'efficacité globale des clusters de GPUs, plutôt que de simplement élargir la capacité de calcul.