Les entreprises achètent de l'infrastructure IA plus vite qu'elles n'en mesurent les coûts
Une nouvelle étude révèle que les entreprises acquièrent une infrastructure d'IA plus rapidement qu'elles ne peuvent en suivre les coûts réels ou en mesurer l'utilisation efficacement.
Les entreprises accélèrent leurs dépenses en infrastructure d'IA à un rythme qui dépasse considérablement leur capacité à surveiller et à contrôler les aspects économiques associés, selon une nouvelle recherche de VentureBeat.
Les résultats indiquent que si la plupart des organisations s'appuient actuellement sur des hyperscalers et des API de modèles pour leurs opérations d'IA, un changement substantiel vers le calcul spécialisé est prévu. Cette transition se produit malgré le fait que la majorité des entreprises ne peuvent pas visualiser clairement les unités économiques de leur IA. Un problème clé mis en évidence est la faible utilisation des ressources GPU existantes, 83 % signalant une utilisation de 50 % ou moins. De plus, moins de la moitié des entreprises (44 %) peuvent suivre rigoureusement leurs coûts de calcul d'IA, créant ainsi un "fossé de calcul" important.
Ce fossé signifie que les investissements dépassent la visibilité et le contrôle. Seulement environ une entreprise sur cinq (21 %) exécute l'IA en production à grande échelle, mais les évaluations prévues pour les clouds spécialisés en IA – un segment que la plupart n'utilisent pas actuellement – sont élevées. Cela suggère que les décisions d'achat sont prises avec une compréhension limitée du coût réel et de l'efficacité des déploiements actuels.
En outre, la fidélité des fournisseurs semble faible, une claire majorité (64 %) prévoyant de changer ou d'ajouter un fournisseur d'infrastructure dans les 12 prochains mois, et 38 % ayant l'intention de le faire dans le prochain trimestre. Lors de la sélection des fournisseurs, les principaux moteurs sont l'intégration aux systèmes existants (41 %) et le coût total de possession (35 %), et non les prix d'appel comme le coût par million de tokens (8 %).
La recherche pointe également vers un potentiel goulot d'étranglement futur : le passage du calcul GPU à la bande passante mémoire pour l'inférence à grande échelle. Cependant, la sensibilisation à cette contrainte potentielle est faible, seulement environ une entreprise sur cinq s'en est occupée ou en est consciente.