Amazon SageMaker AI: Bästa praxis för fleromgångs förstärkningsinlärning

Amazon Web Services (AWS) har släppt nya bästa praxis för användning av förstärkningsinlärning (RL) i flera omgångar på sin Amazon SageMaker AI-plattform. Dessa metoder är specifikt inriktade på att träna AI-agenter för uppgifter som kräver flera successiva och beroende steg, såsom att lösa supportärenden eller moderera innehåll.

Agenter som arbetar i flera omgångar agerar genom att läsa instruktioner, göra val av verktyg, tolka resultat, besluta om nästa åtgärd och korrigera misstag innan de ger ett slutgiltigt svar. AWS betonar att denna flexibilitet i agerande gör agentbaserad RL-träning utmanande, eftersom fler handlingssätt kan leda till missbruk av belöningar utan att uppgiften utförs. Miljön som agenten tränas i kan också tyst förvränga träningssignalen.

De publicerade riktlinjerna täcker hur man bygger en pålitlig träningsmiljö, implementerar extern utvärdering, utformar belöningar som motsvarar sluptehtävän, samt hur man hanterar agentens åtgärder under flera omgångar. Dessutom erbjuder de råd om att övervaka mätvärden för att iterera träningen. Exemplen baseras på SOP-Bench-datasetet, ett benchmark från Amazon Science som utvärderar agenters förmåga att lösa uppgifter baserat på komplexa standardprocedurer.

Amazon SageMaker AI MTRL tillhandahåller träningsloopen för agentbaserade uppgifter, och agenter kan köras på flera AWS-tjänster, inklusive Amazon Bedrock AgentCore, Amazon EKS, Amazon EC2 och AWS Fargate. Plattformen erbjuder ett modulärt agent-miljögränssnitt som möjliggör integration med låg kod och fullständig algoritmisk kontroll, inklusive anpassade belöningar och samtalsformer i flera omgångar. Målet är att förbättra agenternas pålitlighet och effektivitet i komplexa uppgifter.