Circuit Breaker Labs vise à améliorer la sécurité de l'IA pour les enfants et les adultes
La startup Circuit Breaker Labs travaille à améliorer la sécurité de l'IA, en se concentrant sur les risques psychologiques. L'entreprise a développé des outils pour simuler les effets potentiellement néfastes des interactions avec l'IA.
Circuit Breaker Labs, finaliste du concours Startup Battlefield 200 de TechCrunch, se concentre sur l'amélioration de la sécurité de l'intelligence artificielle. La mission de l'entreprise est d'atténuer les dommages psychologiques que peuvent causer les interactions avec l'IA, des problèmes qui ont déjà conduit à d'importants défis juridiques.
La startup a créé des "crash test dummies" – des outils de simulation conçus pour tester le comportement des modèles d'IA et identifier les résultats potentiellement nocifs avant un déploiement à grande échelle. Ces outils visent à identifier et à corriger les risques, tels que la génération de réponses dangereuses ou trompeuses.
Les risques psychologiques associés à l'IA sont devenus évidents dans plusieurs cas où les conversations IA ont eu un impact négatif sur les utilisateurs. Des entreprises comme Character.AI et OpenAI ont été confrontées à des poursuites alléguant que leurs plateformes IA ont joué un rôle dans les suicides et les délires des utilisateurs.
La solution de Circuit Breaker Labs vise à répondre à cette préoccupation croissante en fournissant aux organisations les moyens de garantir que leurs systèmes d'IA sont sûrs et fiables pour tous les utilisateurs, y compris les enfants. Leurs outils sont conçus pour évaluer les impacts de l'IA dans différents contextes culturels et linguistiques.
L'entreprise présente sa technologie et son approche de la sécurité de l'IA lors d'événements TechCrunch, dans le but d'établir des normes et des meilleures pratiques pour le développement et la mise en œuvre responsables de l'IA.