Beobachtetes Signal · 4. Aug. 2026 · Regulation · Quelle: Digiday · Relevanz: 4/5 · Sentiment: Negativ
Stealth Crawlers geraten ins Visier neuer Gesetzgebung
Stealth Crawlers sind Web-Crawler, die Publisher-Websites scrapen, ohne sich oder ihren Zweck zu identifizieren, wodurch sie häufig menschliches Surfverhalten imitieren oder robots.txt umgehen. Ihre Verbreitung nimmt rasant zu: Cloudflare berichtet, dass über die Hälfte des Traffics aus Bots besteht, und laut dem Cybersecurity-Unternehmen Human Security stieg der Traffic von AI-Scrapern im Jahr 2025 massiv an. Publisher haben Schwierigkeiten, Stealth Crawlers zu erkennen, was die Monetarisierung und Blockierung erschwert. New York hat im Juni den Stealth Crawler Prohibition Act verabschiedet, und im US-Repräsentantenhaus wurde ein entsprechender Bundeseinklang eingebracht, der Bots zur Offenlegung verpflichtet. Publisher und Verbände wie die News/Media Alliance reagieren mit erweiterten Bot-Blockierlisten und fordern rechtliche Schritte gegen schlechte Akteure.
Neue bundesstaatliche und vorgeschlagene föderale Regulierung, die Crawler zur Identifizierung zwingt, kann die Publisher-Einnahmen, AI-Trainingsdatenströme und Bot-Mitigationsstrategien im Open Web erheblich beeinflussen.
Marktsignale zu HUMAN in Echtzeit verfolgen
Polaris7 erfasst behördliche Registrierungen, Primärquellen, Führungswechsel und Deal-Aktivitäten rund um die Uhr. Erstellen Sie Ihren kostenlosen Explorer-Workspace, um automatisierte Executive Briefings zu erhalten.
Wichtigste Kernpunkte & Evidenz
- New York verabschiedete im Juni den Stealth Crawler Prohibition Act, der Bots zur Offenlegung ihrer Identität verpflichtet.
- Ein entspre Gesetzesentwurf auf Bundesebene wurde im Juli im US-Repräsentantenhaus eingebracht.
- Cloudflare-Daten zeigen, że mehr als die Hälfte des gesamten Web-Traffics bot-basiert ist.
- Human Security berichtete von einem massiven Wachstum des AI-Scraper-Traffics sowie des KI-getriebenen Traffics im Jahr 2025.
- People Inc. erhöhte seine gesperrte User-Agent-Liste nach Einführung eines strikten Bot-Blockieransatzes von ca. 2.100 auf über 30.000 Einträge.
Verknüpfte Unternehmen
3 verknüpfte Unternehmen“Cybersecurity company Human Security found AI scraper traffic grew [597% from January to December 2025], and AI-driven traffic overall grew ...”
“Cloudflare data shows [more than half of] all web traffic is now bot based....”
“Lindsay Van Kirk, People Inc’s svp of innovation, spoke onstage at an IAB Tech Lab event in May and outlined how some scrapers are getting t...”
Ontologie & Marktkonzepte
Verwandte Marktsignale & Trends
Aktuelle verifizierte Unternehmensentwicklungen und Deal-Aktivitäten in diesem Marktsegment.
US-Gesetzentwurf nimmt heimliche Web-Scraping-Bots ins Visier
Ein im US-Repräsentantenhaus eingebrachter, bipartisaner Gesetzentwurf verpflichtet sogenannte Stealth- oder KI-Web-Crawler dazu, Website-Betreibern ihre Identität und ihren Zweck offenzulegen. Der von der News/Media Alliance entworfene und von den Abgeordneten Valerie Foushee, Laurel Lee sowie Gus Bilirakis unterstützte Stealth Bot Prohibition Act sieht die Durchsetzung durch die Federal Trade Commission und die Generalstaatsanwälte der Bundesstaaten vor. Bei Verstößen drohen Bußgelder in Höhe von 53.000 US-Dollar. Verleger und Wirtschaftsverbände kritisieren, dass heimliche Bots redaktionelle Inhalte abgreifen und weiterverkaufen, Hosting-Ressourcen belasten, die Publisher-Erlöse schmälern und KI-Systeme mit Trainingsdaten speisen. Medienkonzerne wie Axel Springer und USA TODAY Co. unterstützen die Initiative und verweisen auf reale Kosten – so entfällt bei Politico rund ein Viertel der Hosting-Budgets auf das Bot-Management – sowie auf nationale Sicherheitsbedenken im Zusammenhang mit groß angelegtem Scraping.
Verleger werben im Kongress für 'Bad-Bots'-Gesetz
Über 300 Verlagsgeschäftsführer, darunter Führungskräfte von Condé Nast, Hearst Magazines, USA Today Co. und The Seattle Times, reisten nach Washington D.C., um den Kongress für den Stealth Bot Prohibition Act zu gewinnen. Der Gesetzentwurf würde KI-Stealth-Crawler dazu verpflichten, sich zu identifizieren, um verschleierten Datenverkehr und Umgehungen der Scraping-Blockaden von Verlagen zu verhindern. Organisiert von der News/Media Alliance, folgt die Aktion einem ähnlichen Gesetz im Bundesstaat New York und zielt darauf ab, das wachsende Problem des unbefugten Scrapings von Inhalten durch KI-Bots zu adressieren. Die Führungskräfte trafen sich mit Gesetzgebern, um die Notwendigkeit von Transparenz, Kontrolle und fairer Vergütung zu betonen, wenn ihre Inhalte für KI-Training genutzt werden. Die Initiative unterstreicht die zunehmende Dringlichkeit, da der KI-Bot-Verkehr erheblich zugenommen hat und TollBit in der ersten Jahreshälfte 2026 über 22 Milliarden KI-Bot-Scrapes erkannte.
Cloudflare startet konformen Crawler und sorgt für Publisher-Spannungen
Cloudflare hat eine Crawl-API veröffentlicht, die Websites mit einer einzigen Anfrage scrapen und Inhalte in HTML, Markdown oder strukturiertem JSON ausgeben kann. Die Einführung führte zu Gegenwind von Publishern, da einige Webseiten den Crawler zunächst nicht blockieren konnten. Cloudflare-Produktleiter James Smith räumte Kommunikations- und Implementierungsprobleme ein und erklärte, diese seien behoben worden. Das Produkt positioniert sich als konformer Intermediär zwischen Publishern und KI-Entwicklern, um Publisher-Kontrollen zu respektieren, ineffizientes Massen-Crawling zu reduzieren und Monetarisierungsoptionen im aufkommenden Markt für lizenzierte KI-Inhalte zu schaffen. Publisher begrüßen Tools, die die Serverbelastung verringern und die Performance bewahren, bleiben jedoch skeptisch, ob zentralisierte Kontrollmechanismen die Machtverhältnisse verschieben. Cloudflare betont, das Ziel sei die Etablierung von Best Practices und die Unterstützung beider Marktseiten.
Marktsignale & Strategische Shifts in Echtzeit verfolgen
Erstellen Sie benutzerdefinierte Watchlists, um automatisierte, evidenzbasierte Executive Briefings zu erhalten, sobald wesentliche Signale oder Marktverschiebungen auftreten.