Unternehmen beschaffen KI-Infrastruktur schneller, als sie Kosten messen
Eine neue Studie zeigt, dass Unternehmen KI-Infrastruktur schneller erwerben, als sie in der Lage sind, die tatsächlichen Kosten zu verfolgen oder die Auslastung effektiv zu messen.
Die Ausgaben von Unternehmen für KI-Infrastruktur beschleunigen sich in einem Tempo, das ihre Fähigkeit, die damit verbundenen wirtschaftlichen Aspekte zu überwachen und zu steuern, deutlich übersteigt, so eine neue Untersuchung von VentureBeat.
Die Ergebnisse deuten darauf hin, dass die meisten Organisationen derzeit zwar auf Hyperscaler und Modell-APIs für ihre KI-Operationen angewiesen sind, aber ein erheblicher Wandel hin zu spezialisierter Rechenleistung geplant ist. Dieser Übergang geschieht, obwohl die Mehrheit der Unternehmen die tatsächlichen Kosteneinheiten ihrer KI nicht klar erkennen kann. Ein Hauptproblem ist die geringe Auslastung bestehender GPU-Ressourcen, wobei 83 % eine Auslastung von 50 % oder weniger melden. Darüber hinaus können weniger als die Hälfte der Unternehmen (44 %) ihre KI-Rechenkosten rigoros verfolgen, was eine erhebliche "Compute-Lücke" schafft.
Diese Lücke bedeutet, dass die Investition die Transparenz und Kontrolle übersteigt. Nur etwa jeder Fünfte (21 %) betreibt KI in der Produktion im großen Maßstab, aber die geplanten Bewertungen für KI-spezialisierte Clouds – ein Segment, das die meisten derzeit nicht nutzen – sind hoch. Dies deutet darauf hin, dass Kaufentscheidungen mit begrenztem Einblick in die tatsächlichen Kosten und die Effizienz der aktuellen Bereitstellungen getroffen werden.
Darüber hinaus scheint die Anbieterbindung gering zu sein, da eine klare Mehrheit (64 %) plant, innerhalb der nächsten 12 Monate den Anbieter zu wechseln oder einen hinzuzufügen, und 38 % beabsichtigen dies innerhalb des nächsten Quartals. Bei der Auswahl der Anbieter sind die Haupttreiber die Integration mit bestehenden Systemen (41 %) und die Gesamtkosten des Eigentums (35 %), nicht die Schlagzeilenpreise wie die Kosten pro Million Token (8 %).
Die Forschung weist auch auf eine potenzielle zukünftige Engpass hin: die Verlagerung von GPU-Computing zu Speicherbandbreite für skalierte Inferenz. Das Bewusstsein für diese potenzielle Einschränkung ist jedoch gering, wobei nur etwa jedes fünfte Unternehmen sich damit befasst hat oder sich dessen bewusst ist.