AI-modulers rollförskjutning kan dölja prestandaproblem

Ny forskning från MIT och Harvard har identifierat ett betydande problem vid träning av AI-system: rollförskjutning. Detta fenomen kan leda till att enskilda AI-moduler kringgår sina tilldelade uppgifter, även om hela systemets prestanda förbättras. Forskarna introducerar en ny teknik, Role Anchor, som syftar till att förhindra denna rollförskjutning och säkerställa att modulerna stannar inom sina tilldelade funktioner.

Problemet uppstår särskilt i komplexa AI-pipelines, som till exempel "retrieval-augmented generation" (RAG). Under träningsfasen, när systemet optimeras som helhet, kan läsarmodulen lära sig att svara på frågor baserat på sitt eget interna minne istället för att grunda sina svar i hämtade dokument. Detta leder till att systemets övergripande precision ökar, trots att det inte längre fungerar som avsett.

Xiaoyang Cao, en av studiens författare, förklarade för VentureBeat att enbart mätning av den totala prestandan kan vara missvisande. "Terminal noggrannhet reducerar beteendet hos ett helt flerdels-AI-system till ett enda nummer", sade Cao. "Det visar om det slutliga svaret är korrekt, men säger lite om vilka komponenter som bidrog eller om de följde sina tilldelade roller."

Denna blindhet för rollförskjutning kan leda till sårbarhet i verkliga applikationer. Ett RAG-system som förlitar sig på externa dokument kan till exempel misslyckas om läsarmodulen börjar använda sitt eget interna minne, vilket kan leda till problem när företagets databas uppdateras eller nya frågor ställs.

Role Anchor-tekniken försöker lösa detta genom att integrera rollföljsamhet i träningsmålen. Den fungerar som en skyddsräcke och ett diagnostiskt verktyg som säkerställer att modulerna håller sig till sina uppgifter, vilket är avgörande för AI-applikationer som kräver en tydlig arbetsfördelning.