AI-agenters utveckling: Minne ersätter tidigare "token-maxxing"

Utvecklingen av AI-agenter är fortfarande i sin linda, vilket framgår av branschens övergång från tidigare strategier fokuserade på "token-maxxing" till utvecklingen av minnessystem. Medan databaser har byggts i sex decennier, har moderna AI-agenter endast utvecklats i cirka ett och ett halvt år.

En tidig trend inom branschen, "token-maxxing", som syftade till att maximera mängden data i varje prompt, har visat sig vara ineffektiv. Denna strategi mätte mer aktivitet än faktiska resultat. Istället har organisationer börjat inse att den begränsade kontextfönstret är den mest kritiska resursen. Utmaningen ligger inte i mängden information, utan i att bestämma vilken information som är relevant.

Lösningen ses i permanenta, frågbara minnessystem som ligger utanför modellen. Ett sådant minne erbjuder flera fördelar: det lagrar resultat från tidigare sessioner och loopar, möjliggör rollbaserad åtkomstkontroll och stöder semantisk sökning som förstår mening snarare än enbart nyckelord. Detta kräver dataplattformar som kan hantera ostrukturerad data, kontrollera åtkomst och effektivt utföra semantisk sökning.

I en mer avancerad arkitektur kombineras ett effektivt minnessystem med en lättare modell som agerar som en domare. När en ny förfrågan kommer in, söker systemet först i minnet. Om en tillräckligt bra lösning hittas, returneras den utan att använda den dyra modellen. Annars dirigeras förfrågan till den dyrare modellen, vars ursprungliga lösning sparas i minnet för framtida bruk. Denna modell gör systemet mer ekonomiskt och snabbare ju mer det används.

Framtiden inom detta område kommer sannolikt att inkludera olika typer av minne, såsom taxonomiskt minne för att definiera begrepp och procedurellt minne för att lagra uppgiftslistor. Människors roll i att kurera dessa system, infoga värdefulla minnen och rensa bort överflödig information, kommer också att vara betydande. Denna utveckling förvandlar AI-minnet från en skräphög till en värdefull tillgång.