Les agents IA évoluent : La mémoire remplace la "maximisation des tokens"

Le développement des agents d'IA est encore à ses débuts, l'industrie délaissant la stratégie de "maximisation des tokens" au profit des systèmes de mémoire. Alors que les bases de données existent depuis 60 ans, les agents d'IA modernes ne sont développés que depuis environ 18 mois, ce qui souligne la phase précoce de cette courbe technologique.

Une tendance initiale de l'industrie, la "token-maxxing", qui visait à maximiser la quantité de données dans chaque requête, s'est avérée inefficace, mesurant l'activité plutôt que les résultats. Les organisations reconnaissent désormais que la fenêtre de contexte limitée est une ressource critique. Le défi ne réside pas dans le volume d'informations, mais dans la détermination de sa pertinence.

La solution réside dans des systèmes de mémoire persistants et interrogeables, externes au modèle. Ces systèmes enregistrent les résultats des sessions précédentes, permettent un contrôle d'accès basé sur les rôles et prennent en charge la recherche sémantique pour la compréhension du sens, et pas seulement des mots-clés. Cela nécessite des plateformes de données capables de traiter des données non structurées, de gérer l'accès et d'effectuer efficacement la recherche sémantique.

Une architecture avancée associe un système de mémoire efficace à un modèle plus léger agissant comme un juge. Lorsqu'une nouvelle requête arrive, le système recherche d'abord dans la mémoire. Si une réponse suffisante est trouvée, elle est renvoyée sans engager le modèle coûteux. Sinon, la requête est escaladée et la solution originale est sauvegardée dans la mémoire pour une utilisation future. Ce modèle rend le système plus économique et plus rapide à mesure que son utilisation augmente.

L'avenir impliquera probablement différents types de mémoire, tels que la mémoire taxonomique pour les définitions et la mémoire procédurale pour les tâches. La curation humaine sera cruciale pour injecter des souvenirs précieux et éliminer le bruit, transformant la mémoire de l'IA d'un dépotoir de données en un actif. Cette évolution souligne la trajectoire précoce mais prometteuse du développement des agents d'IA.