Metas webbcrawlare orsakar driftstörningar för småföretag
Automatiska sökrobotar från Meta har orsakat överbelastning och krascher för småföretags webbplatser, vilket tvingat ägare att manuellt blockera trafiken.
Småföretagare vittnar om att Metas webbcrawlare, Meta-ExternalAgent och Meta-WebIndexer, orsakar allvarliga tekniska problem genom att överbelasta webbservrar. Dessa botar, som används för att träna AI-modeller och indexera innehåll för söktjänster, har i flera fall fastnat i loopar på webbplatser vilket lett till hundratusentals anrop och serverkrascher.
En drabbad företagare rapporterade att nästan 98 procent av den totala datatrafiken till hennes webbplats under en månads tid bestod av trafik från Metas crawlare. Detta resulterade i oväntade kostnader och problem för kunder som försökte genomföra köp på webbplatsen. Trots att vissa ägare försökt blockera botarna via standardprotokoll som robots.txt, har nya crawlare ofta dykt upp kort därefter under andra namn.
Meta hävdar att webbplatsägare har verktygen för att styra hur deras crawlare interagerar med innehåll. Företagare menar dock att detta kräver teknisk kompetens och kontinuerligt underhåll som många små verksamheter saknar. Problematiken understryker en växande konflikt mellan behovet av data för AI-utveckling och stabiliteten för mindre aktörer på internet.