Företag köper AI-beräkningskraft för snabbhet, ignorerar kostnaderna

En ny undersökning visar att två tredjedelar av företagen nu kör AI-arbetsbelastningar i produktion, varav nästan en tredjedel i stor skala. Samtidigt har företagens förmåga att övervaka de faktiska kostnaderna för AI-beräkningsinfrastruktur inte hållit jämna steg med utvecklingen.

Traditionellt har kostnaden varit en avgörande faktor i inköpsbeslut, men för AI håller situationen på att förändras. Snabbhet och tillgänglighet har blivit viktigare än den totala ägandekostnaden (TCO), och tillförlitlighet har ersatt pris som framgångsmått. Denna omvärdering av prioriteringar beror sannolikt på trycket att få AI-lösningar att fungera i produktion, men det skapar en obekväm verklighet: färre än hälften av företagen kan noggrant spåra kostnaderna för sin AI-beräkning.

De flesta av de använda GPU-acceleratorerna körs med endast hälften av sin kapacitet eller mindre, och framtida investeringar riktas mot specialiserade molntjänster som bara ett fåtal företag för närvarande använder. Bland de mest populära plattformarna finns OpenAI, Google Gemini och Microsoft Azure, där Azure är den primära plattformen för 26 procent.

Av de planerade investeringarna kommer en betydande del att riktas mot molnmiljöer som är specialiserade på AI, trots att den nuvarande användningen är låg. Även icke-Nvidia-acceleratorer väcker intresse. Företag planerar att lägga till eller byta leverantör under det kommande året, men övervägandena domineras ofta av samma stora aktörer som de redan använder.

Undersökningen omfattade 170 företag och fokuserade specifikt på analys av AI-infrastruktur, beräkningskraft och ekonomiska aspekter. Resultaten visar att företagen går från experimentfasen till aktiv produktion, men att den ekonomiska uppföljningen kräver förbättringar.