Företag köper AI-infrastruktur snabbare än de kan mäta dess kostnader

Företagens investeringar i AI-infrastruktur accelererar snabbare än deras förmåga att spåra eller hantera dess ekonomiska konsekvenser, enligt en ny rapport från VentureBeat.

Undersökningen visar att de flesta organisationer för närvarande kör sin AI via stora molnleverantörer och API:er för modeller. Planen är dock att övergå till eller lägga till användningen av specialiserad datorkraft, som de flesta ännu inte utnyttjar. Beslut om infrastrukturinköp baseras på integration och total ägandekostnad, snarare än styckpriser, eftersom de flesta företag inte kan se sin AI:s enhetsekonomi tydligt. Utnyttjandegraden för grafikkort (GPU) är 50 % eller lägre, och färre än hälften av företagen spårar sina datorkostnader noggrant.

Denna investeringseftersläpning ligger före synligheten, vilket skapar en "beräkningsgap". Endast cirka en femtedel (21 %) av företagen använder AI i produktion i stor skala, men investeringsavsikterna överstiger dessa nivåer av mognad. Planer för AI-specifika molntjänster är starkast, trots att dessa är områden som de flesta företag ännu inte använder.

Intressant nog planerar en majoritet (64 %) av företagen att byta eller lägga till en leverantör av infrastruktur under de kommande 12 månaderna, och 38 % planerar att göra det inom nästa kvartal. Detta är en ovanligt hög avsikt till förändring inom ett så grundläggande tjänsteområde. Vid valen är det integration med befintliga system och total ägandekostnad som väger tyngst, inte styckpriset.

En framtida begränsande faktor kan vara övergången från GPU-beräkning till att öka minnesbandbredden vid skalbar inferens. Endast ungefär en femtedel av företagen är medvetna om detta eller har ännu inte tagit itu med det.