Le rôle du design dans l'évaluation des systèmes d'IA

Actuellement, l'évaluation des fonctionnalités liées à l'intelligence artificielle repose principalement sur les ingénieurs et les chefs de produit, privilégiant les tests basés sur des métriques chiffrées. Arin Bhowmick, directeur du design chez SAP, affirme que cette méthode ignore souvent l'aspect humain essentiel au succès d'un produit.

Selon Bhowmick, déterminer si une réponse fournie par une IA est « satisfaisante » nécessite un discernement qui dépasse le simple cadre technique. Les designers, grâce à leur expérience quotidienne du terrain, sont les plus à même d'évaluer la pertinence, la clarté et l'utilité des réponses de l'IA, des éléments que les outils de mesure automatisés échouent souvent à détecter.

Le constat est clair : de nombreux échecs lors des tests d'IA sont en réalité des problèmes de design plutôt que des défauts technologiques. Plutôt que de modifier sans cesse les paramètres des modèles, Bhowmick suggère que l'examen des cas d'échec par des experts en UX peut révéler des défauts structurels dans la conception même de l'interaction.

En conclusion, l'implication des designers dès la phase de définition des critères d'évaluation est présentée comme une étape nécessaire. Cette approche permet de mieux cerner les erreurs acceptables pour l'utilisateur et d'améliorer durablement la fiabilité des outils basés sur l'intelligence artificielle.