Amazon SageMaker AI: Best Practices für Multi-Turn Reinforcement Learning

Amazon Web Services (AWS) hat neue Best Practices für die Implementierung von Multi-Turn Reinforcement Learning (RL) auf seiner Amazon SageMaker AI-Plattform veröffentlicht. Diese Richtlinien richten sich an das Training von KI-Agenten für Aufgaben, die sequentielle, abhängige Aktionen erfordern, wie z. B. die Lösung von Support-Tickets oder die Moderation von Inhalten.

Multi-Turn-Agenten agieren, indem sie Anweisungen lesen, Tool-Aufrufe tätigen, Ergebnisse interpretieren, nachfolgende Aktionen entscheiden und Fehler beheben, bevor sie sich auf eine endgültige Antwort festlegen. AWS betont, dass diese operationale Flexibilität das agentenbasierte RL-Training herausfordernd macht, da mehr mögliche Aktionen dazu führen können, die Belohnung zu erfüllen, ohne die Aufgabe zu erledigen. Die Trainingsumgebung selbst kann auch das Trainingssignal subtil verfälschen.

Die veröffentlichten Praktiken beschreiben, wie eine zuverlässige Trainingsumgebung aufgebaut wird, externe Evaluierungen eingerichtet werden, Belohnungen entsprechend der Endaufgabe gestaltet werden und Agentenaktionen über mehrere Runden hinweg verwaltet werden. Sie bieten auch Ratschläge zur Überwachung von Metriken für die Trainingsiteration. Beispiele stammen aus dem SOP-Bench-Datensatz, einem Benchmark von Amazon Science, der die Fähigkeit von Agenten bewertet, Aufgaben basierend auf komplexen Standardbetriebsverfahren zu lösen.

Amazon SageMaker AI MTRL bietet die Trainingsschleife für agentenbasierte Aufgaben und ermöglicht die Ausführung von Agenten auf verschiedenen AWS-Diensten wie Amazon Bedrock AgentCore, Amazon EKS, Amazon EC2 und AWS Fargate. Die Plattform bietet eine modulare Agenten-Umgebungs-Schnittstelle für Low-Code-Integration und vollständige algorithmische Kontrolle, einschließlich benutzerdefinierter Belohnungen und Multi-Turn-Gesprächsformen. Ziel ist es, die Zuverlässigkeit und Effizienz von Agenten bei komplexen Aufgaben zu verbessern.