Les robots d'indexation de Meta accusés de saturer des sites web de petites entreprises
Les outils de crawling de Meta provoquent des pannes de serveurs chez de petites entreprises, forçant les propriétaires à gérer manuellement une charge de trafic excessive.
Des propriétaires de petites entreprises signalent que les robots d'indexation automatisés de Meta perturbent gravement leurs serveurs. Ces outils, nommés Meta-ExternalAgent et Meta-WebIndexer, sont conçus pour collecter des données afin d'entraîner des modèles d'intelligence artificielle et d'améliorer les résultats de recherche. Cependant, ces robots se retrouvent régulièrement coincés dans des boucles de navigation, générant des centaines de milliers de requêtes qui saturent les ressources des sites web.
Une entrepreneuse a rapporté que 97,6 % du trafic de son serveur sur un mois était lié à ces robots de Meta, entraînant des pannes répétées et empêchant ses clients d'accéder à ses services de téléchargement. La difficulté pour ces petites structures réside dans le fait que le blocage d'un robot est souvent contourné par l'apparition immédiate d'une autre variante, obligeant les administrateurs de sites à modifier constamment leurs fichiers de configuration.
Meta affirme que les gestionnaires de sites disposent des outils nécessaires pour contrôler les interactions via les protocoles standard. Néanmoins, les commerçants concernés soulignent que ces méthodes sont inadaptées face à l'ampleur du problème et exigent des compétences techniques qu'ils n'ont pas forcément. Ce phénomène illustre les tensions croissantes entre les besoins en données des géants technologiques et la viabilité des infrastructures web de petite taille.