Amazon Bedrock évalue la fiabilité des applications RAG

Amazon Web Services (AWS) a introduit une nouvelle fonctionnalité au sein de sa plateforme Amazon Bedrock, conçue pour aider les développeurs à évaluer la fiabilité des applications de "Retrieval Augmented Generation" (RAG).

Le RAG est une technique qui améliore les grands modèles linguistiques (LLM) en intégrant des sources de connaissances externes. Elle permet aux LLM de faire référence à des bases de connaissances faisant autorité ou à des référentiels internes avant de générer des réponses, produisant ainsi des résultats adaptés à des domaines ou contextes spécifiques, tout en garantissant pertinence, précision et efficacité sans nécessiter de réentraînement du modèle.

Cependant, les systèmes RAG sont confrontés à des défis tels que la récupération des connaissances les plus pertinentes, la prévention des "hallucinations" incohérentes avec le contexte récupéré, et l'intégration efficace des composants de récupération et de génération. La recherche vise à améliorer ces aspects pour une génération basée sur les connaissances plus fiable.

Compte tenu de ces défis, le suivi et l'évaluation des applications d'intelligence artificielle générative basées sur le RAG sont essentiels. Des problèmes potentiels tels que "l'effondrement de la récupération" (où le composant de récupération récupère systématiquement les mêmes documents) ou des scénarios où aucune information utile n'est trouvée, nécessitent une évaluation rigoureuse. Le nouvel outil d'AWS répond à ces besoins d'évaluation.