Amazon Bedrock : Évaluation de modèles désormais disponible

Amazon Web Services (AWS) a rendu sa fonctionnalité d'évaluation de modèles Amazon Bedrock généralement disponible, après sa présentation en avant-première lors d'AWS re:Invent 2023. Cette nouvelle capacité est conçue pour aider les développeurs à sélectionner efficacement les meilleurs modèles fondamentaux (foundation models) pour leurs applications d'intelligence artificielle générative.

Selon AWS, l'évaluation des modèles est une étape critique dans le processus de développement des applications d'IA. Le nouvel outil offre aux développeurs la possibilité d'expérimenter avec différents modèles dans un environnement de "playground", d'accélérer les itérations grâce à des évaluations automatiques et d'assurer la qualité via des revues humaines avant le lancement.

L'outil d'évaluation de modèles permet aux utilisateurs de créer des tâches d'évaluation en sélectionnant une méthode d'évaluation (automatique ou humaine), un modèle fondamental souhaité, un type de tâche et des métriques d'évaluation. Les évaluations automatiques peuvent utiliser des métriques telles que la précision, la robustesse et la toxicité. Les utilisateurs peuvent également définir des métriques personnalisées pour des aspects tels que la convivialité, le style ou le respect des instructions.

Le service a reçu des retours lors de sa période de prévisualisation, qu'AWS a utilisés pour améliorer les fonctionnalités avant la sortie générale. Amazon Bedrock est un service basé sur le cloud qui offre un accès à divers modèles d'IA, permettant aux clients de tirer parti de l'IA générative de manière flexible.