Web-Crawler von Meta sorgen für Serverprobleme bei Kleinunternehmen
Automatisierte Suchroboter von Meta verursachen Überlastungen auf Webseiten von Kleinunternehmern, was zu Ausfällen und technischen Kosten führt.
Betreiber kleiner Webseiten berichten von massiven technischen Problemen durch Web-Crawler der Firma Meta. Die Bots, die unter den Namen Meta-ExternalAgent und Meta-WebIndexer bekannt sind, werden zur Indizierung von Inhalten für KI-Modelle und Suchanfragen eingesetzt. In der Praxis haben sie jedoch zu einer derartigen Serverüberlastung geführt, dass betroffene Seiten aufgrund von hunderttausenden Anfragen pro Minute abstürzten.
Die Betroffenen schildern, dass die Crawler in Endlosschleifen hängen bleiben, insbesondere bei Funktionen wie Warenkörben oder Dateidownloads. Eine betroffene Unternehmerin gab an, dass fast 98 Prozent ihres gesamten Datenverkehrs über einen Monat hinweg durch Meta-Bots verursacht wurde, was zu zusätzlichen Serverkosten und einer eingeschränkten Erreichbarkeit für Kunden führte. Das Blockieren der Bots erfordert zudem manuelle Eingriffe in die Serverkonfiguration, da sich die Crawler nach der Sperrung oft unter neuer Kennung zurückmelden.
Meta betont, dass Webseitenbetreiber die Interaktion der Crawler über Standardprotokolle wie robots.txt steuern können. Kritiker wenden jedoch ein, dass dieser Prozess für kleine Unternehmen mit begrenzten technischen Ressourcen unzureichend und mühsam ist. Der Vorfall verdeutlicht die Herausforderung, die die ungebremste Datensammlung durch KI-Unternehmen für die Stabilität kleinerer Web-Infrastrukturen darstellt.