Amazon SageMaker AI : Bonnes pratiques pour l'apprentissage par renforcement multi-tours

Amazon Web Services (AWS) a publié de nouvelles meilleures pratiques pour la mise en œuvre de l'apprentissage par renforcement (RL) multi-tours sur sa plateforme Amazon SageMaker AI. Ces directives visent à entraîner des agents d'IA pour des tâches nécessitant des actions séquentielles et dépendantes, telles que la résolution de tickets de support ou la modération de contenu.

Les agents multi-tours fonctionnent en lisant des instructions, en effectuant des appels d'outils, en interprétant les résultats, en décidant des actions suivantes et en se remettant d'erreurs avant de s'engager dans une réponse finale. AWS souligne que cette flexibilité opérationnelle rend l'entraînement RL agentiel difficile, car un plus grand nombre d'actions potentielles peut conduire à satisfaire la récompense sans accomplir la tâche. L'environnement d'entraînement lui-même peut également corrompre subtilemment le signal d'entraînement.

Les pratiques publiées détaillent comment construire un environnement d'entraînement fiable, mettre en place des évaluations externes, concevoir des récompenses alignées sur la tâche finale et gérer les actions de l'agent sur plusieurs tours. Elles offrent également des conseils sur la surveillance des métriques pour l'itération de l'entraînement. Les exemples sont tirés de l'ensemble de données SOP-Bench, une référence d'Amazon Science évaluant la capacité des agents à résoudre des tâches basées sur des procédures d'exploitation standard complexes.

Amazon SageMaker AI MTRL fournit la boucle d'entraînement pour les tâches agentielles, permettant aux agents de s'exécuter sur divers services AWS tels qu'Amazon Bedrock AgentCore, Amazon EKS, Amazon EC2 et AWS Fargate. La plateforme offre une interface agent-environnement modulaire pour une intégration à faible code et un contrôle algorithmique complet, y compris des récompenses personnalisées et des formes de conversation multi-tours. L'objectif est d'améliorer la fiabilité et l'efficacité des agents dans des tâches complexes.