Les dépenses des entreprises en calcul IA dépassent la visibilité des coûts
Les investissements des entreprises dans l'infrastructure d'IA s'accélèrent plus vite que leur capacité à suivre les coûts. L'utilisation du calcul est faible, et peu peuvent surveiller précisément les dépenses.
Une nouvelle étude VentureBeat Pulse révèle un écart significatif ("compute gap") dans l'infrastructure d'IA des entreprises. Les investissements s'accélèrent bien au-delà de la capacité des organisations à comprendre ou à piloter les aspects économiques associés.
L'enquête menée auprès de 107 entreprises a révélé que, bien que la plupart des opérations d'IA fonctionnent sur des hyperscalers familiers et des API de fournisseurs de modèles, la prochaine vague d'investissements cible des calculs spécialisés que peu de ces entreprises utilisent actuellement. Une majorité prévoit de changer ou d'ajouter des fournisseurs dans l'année, beaucoup dans le prochain trimestre.
Un problème clé est l'utilisation inefficace des ressources de calcul, 83 % des entreprises signalant une utilisation des GPU de 50 % ou moins. De plus, moins de la moitié (44 %) peuvent suivre rigoureusement les coûts réels de leurs ressources de calcul d'IA. Les entreprises acquièrent de nouvelles infrastructures plus rapidement qu'elles ne peuvent comptabiliser les ressources existantes qu'elles possèdent.
Les décisions sont motivées par l'intégration et le coût total de possession plutôt que par les prix des tokens annoncés – ce qui est une chance, car la plupart des entreprises ne voient pas encore clairement leur économie unitaire. Alors que seulement environ un cinquième (21 %) exécute l'IA en production à grande échelle, les intentions de dépenses dépassent cette maturité. Le principal axe prévu pour l'année à venir est celui des clouds spécialisés pour l'IA (45 %), une couche que presque aucune des entreprises interrogées n'utilise actuellement.
Bien que les entreprises ne soient pas satisfaites de leurs fournisseurs d'infrastructure actuels, 64 % prévoyant de changer ou d'ajouter un fournisseur, les décisions restent axées sur l'intégration avec les piles existantes (41 %) et le coût total de possession (35 %), plutôt que sur les prix immédiats des interfaces.