Företag manipulerar AI-prestandamått
När företag började mäta och belöna anställdas AI-användning, fokuserade många på att manipulera mätvärdena istället för att skapa verkligt värde.
Flera stora företag, inklusive Meta, Disney, JPMorgan och Accenture, har nyligen börjat övervaka och utvärdera sina anställdas användning av artificiell intelligens. Inledningsvis strävade företagen efter att mäta och främja AI-användning genom att skapa interna topplistor och inkludera AI-användning i prestationsbedömningar. Dessa initiativ har dock lett till oväntade och ofta skadliga konsekvenser.
Fenomenet där anställda försöker maximera sin AI-användning för att framstå som mer produktiva kallas "tokenmaxxing". Enligt rapporter har anställda kommit på sätt att artificiellt öka användningen av AI-tokens, även för uppgifter som inte kräver det. Detta har lett till att mätvärdena har blivit förvrängda och ifrågasatt deras ursprungliga syfte: att mäta verklig effektivitet och värde.
Det har observerats att när ett mått blir ett mål, slutar det vara ett bra mått – detta fenomen är känt som Goodhart's Law. När anställda tilldelas belöningar eller konsekvenser för att uppnå specifika siffror, fokuserar de på att uppnå dessa siffror till varje pris. Detta kan leda till att företag spenderar betydande summor på AI utan motsvarande verklig nytta, och kostnaderna ökar okontrollerat.
Manipulationen av mätvärden leder till att de förlorar sin prediktiva kraft. När alla tycks prestera på samma sätt för att maximera sina belöningar, försvinner skillnaderna mellan hög- och lågpresterande. Detta gör mätvärdena oanvändbara för att följa verkligt värdeskapande. Företag bör därför fokusera på att mäta AI:s resultat och verkligt affärsvärde, snarare än enbart indata relaterade till dess användning, som antalet tokens.