Företagens AI-infrastrukturkostnader överskrider kostnadskontrollen
Företagens investeringar i AI-infrastruktur växer snabbare än deras förmåga att övervaka kostnader. Beräkningskapacitet utnyttjas sparsamt, och endast ett fåtal kan noggrant följa kostnaderna.
En ny undersökning från VentureBeat Pulse belyser en betydande "beräkningskraftsgap" inom företagens AI-infrastruktur. Investeringarna accelererar i en takt som vida överstiger organisationernas förmåga att synliggöra eller styra de ekonomiska aspekterna.
Undersökningen, som omfattade 107 företag, visade att medan majoriteten av AI-operationer körs på etablerade hyperskalare och API:er från modellleverantörer, riktas nästa investeringsrunda mot specialiserad beräkningskraft som nästan ingen av dessa företag använder idag. De flesta planerar att byta eller lägga till leverantörer inom ett år, många redan inom ett kvartal.
Ett centralt problem är ineffektiv beräkningskraftsanvändning, där 83 procent av företagen rapporterar en GPU-utnyttjandegrad på 50 procent eller lägre. Dessutom kan färre än hälften (44 procent) noggrant spåra de faktiska kostnaderna för deras AI-beräkningsresurser. Företag köper ny infrastruktur snabbare än de kan redovisa ägande och kostnader för befintliga resurser.
Beslut baseras på integration och total ägandekostnad snarare än nominella tokenpriser – vilket är tur, eftersom de flesta företag ännu inte kan se sina enhetsekonomiska data tydligt. Även om endast cirka en femtedel (21 procent) kör AI i produktion i stor skala, överstiger investeringsintentionerna denna mognadsgrad. Det huvudsakliga planerade fokusområdet för nästa år är specialiserade AI-moln (45 procent), en nivå som nästan ingen av de undersökta företagen använder idag.
Även om företagen inte är nöjda med sina nuvarande infrastrukturleverantörer, med 64 procent som planerar att byta eller lägga till en leverantör, styrs besluten fortfarande av integration med befintliga stackar (41 procent) och total ägandekostnad (35 procent), snarare än det omedelbara gränssnittspriset.