Beobachtetes Signal · 4. Aug. 2026 · Regulation · Quelle: Digiday · Relevanz: 4/5 · Sentiment: Negativ
Stealth Crawlers geraten ins Visier neuer Gesetzgebung
Stealth Crawlers sind Web-Crawler, die Publisher-Websites scrapen, ohne sich oder ihren Zweck zu identifizieren, wodurch sie häufig menschliches Surfverhalten imitieren oder robots.txt umgehen. Ihre Verbreitung nimmt rasant zu: Cloudflare berichtet, dass über die Hälfte des Traffics aus Bots besteht, und laut dem Cybersecurity-Unternehmen Human Security stieg der Traffic von AI-Scrapern im Jahr 2025 massiv an. Publisher haben Schwierigkeiten, Stealth Crawlers zu erkennen, was die Monetarisierung und Blockierung erschwert. New York hat im Juni den Stealth Crawler Prohibition Act verabschiedet, und im US-Repräsentantenhaus wurde ein entsprechender Bundeseinklang eingebracht, der Bots zur Offenlegung verpflichtet. Publisher und Verbände wie die News/Media Alliance reagieren mit erweiterten Bot-Blockierlisten und fordern rechtliche Schritte gegen schlechte Akteure.
Neue bundesstaatliche und vorgeschlagene föderale Regulierung, die Crawler zur Identifizierung zwingt, kann die Publisher-Einnahmen, AI-Trainingsdatenströme und Bot-Mitigationsstrategien im Open Web erheblich beeinflussen.
MARKTSIGNALE
Marktsignale und strategische Veränderungen zu HUMAN verfolgen
Polaris7 verknüpft Pflichtmitteilungen, Primärquellen, Führungswechsel und M&A-Aktivitäten in strukturierten Dossiers. Richte deinen Polaris7-Workspace ein, um relevante Unternehmen in deinem Executive Briefing zu beobachten.
- Verifizierte Primärquellen
- Automatisierte Briefings
- Sofortiges Watchlist-Setup
Wichtigste Kernpunkte & Evidenz
- New York verabschiedete im Juni den Stealth Crawler Prohibition Act, der Bots zur Offenlegung ihrer Identität verpflichtet.
- Ein entspre Gesetzesentwurf auf Bundesebene wurde im Juli im US-Repräsentantenhaus eingebracht.
- Cloudflare-Daten zeigen, że mehr als die Hälfte des gesamten Web-Traffics bot-basiert ist.
- Human Security berichtete von einem massiven Wachstum des AI-Scraper-Traffics sowie des KI-getriebenen Traffics im Jahr 2025.
- People Inc. erhöhte seine gesperrte User-Agent-Liste nach Einführung eines strikten Bot-Blockieransatzes von ca. 2.100 auf über 30.000 Einträge.
Verknüpfte Unternehmen
“Das Cybersicherheitsunternehmen Human Security stellte fest, dass der KI-Scraper-Traffic stark anstieg und der KI-getriebene Gesamtverkehr i...”
“Cloudflare-Daten zeigen, dass mittlerweile mehr als die Hälfte des gesamten Webverkehrs auf Bots zurückzuführen ist.”
“Lindsay Van Kirk, SVP of Innovation bei People Inc., erläuterte im Mai auf einer Veranstaltung des IAB Tech Lab, wie einige Scraper die Schu...”
“Lindsay Van Kirk, SVP of Innovation bei People Inc., sprach im Mai auf einer Veranstaltung des IAB Tech Lab über Methoden von Scrapern zur U...”
Ontologie & Marktkonzepte
Verwandte Marktsignale & Trends
Aktuelle verifizierte Unternehmensentwicklungen und Deal-Aktivitäten in diesem Marktsegment.
US-Gesetzentwurf nimmt heimliche Web-Scraping-Bots ins Visier
Ein im US-Repräsentantenhaus eingebrachter, bipartisaner Gesetzentwurf verpflichtet sogenannte Stealth- oder KI-Web-Crawler dazu, Website-Betreibern ihre Identität und ihren Zweck offenzulegen. Der von der News/Media Alliance entworfene und von den Abgeordneten Valerie Foushee, Laurel Lee sowie Gus Bilirakis unterstützte Stealth Bot Prohibition Act sieht die Durchsetzung durch die Federal Trade Commission und die Generalstaatsanwälte der Bundesstaaten vor. Bei Verstößen drohen Bußgelder in Höhe von 53.000 US-Dollar. Verleger und Wirtschaftsverbände kritisieren, dass heimliche Bots redaktionelle Inhalte abgreifen und weiterverkaufen, Hosting-Ressourcen belasten, die Publisher-Erlöse schmälern und KI-Systeme mit Trainingsdaten speisen. Medienkonzerne wie Axel Springer und USA TODAY Co. unterstützen die Initiative und verweisen auf reale Kosten – so entfällt bei Politico rund ein Viertel der Hosting-Budgets auf das Bot-Management – sowie auf nationale Sicherheitsbedenken im Zusammenhang mit groß angelegtem Scraping.
Verleger werben im Kongress für 'Bad-Bots'-Gesetz
Über 300 Verlagsgeschäftsführer, darunter Führungskräfte von Condé Nast, Hearst Magazines, USA Today Co. und The Seattle Times, reisten nach Washington D.C., um den Kongress für den Stealth Bot Prohibition Act zu gewinnen. Der Gesetzentwurf würde KI-Stealth-Crawler dazu verpflichten, sich zu identifizieren, um verschleierten Datenverkehr und Umgehungen der Scraping-Blockaden von Verlagen zu verhindern. Organisiert von der News/Media Alliance, folgt die Aktion einem ähnlichen Gesetz im Bundesstaat New York und zielt darauf ab, das wachsende Problem des unbefugten Scrapings von Inhalten durch KI-Bots zu adressieren. Die Führungskräfte trafen sich mit Gesetzgebern, um die Notwendigkeit von Transparenz, Kontrolle und fairer Vergütung zu betonen, wenn ihre Inhalte für KI-Training genutzt werden. Die Initiative unterstreicht die zunehmende Dringlichkeit, da der KI-Bot-Verkehr erheblich zugenommen hat und TollBit in der ersten Jahreshälfte 2026 über 22 Milliarden KI-Bot-Scrapes erkannte.
Cloudflare startet konformen Crawler und sorgt für Publisher-Spannungen
Cloudflare hat eine Crawl-API veröffentlicht, die Websites mit einer einzigen Anfrage scrapen und Inhalte in HTML, Markdown oder strukturiertem JSON ausgeben kann. Die Einführung führte zu Gegenwind von Publishern, da einige Webseiten den Crawler zunächst nicht blockieren konnten. Cloudflare-Produktleiter James Smith räumte Kommunikations- und Implementierungsprobleme ein und erklärte, diese seien behoben worden. Das Produkt positioniert sich als konformer Intermediär zwischen Publishern und KI-Entwicklern, um Publisher-Kontrollen zu respektieren, ineffizientes Massen-Crawling zu reduzieren und Monetarisierungsoptionen im aufkommenden Markt für lizenzierte KI-Inhalte zu schaffen. Publisher begrüßen Tools, die die Serverbelastung verringern und die Performance bewahren, bleiben jedoch skeptisch, ob zentralisierte Kontrollmechanismen die Machtverhältnisse verschieben. Cloudflare betont, das Ziel sei die Etablierung von Best Practices und die Unterstützung beider Marktseiten.
WATCHLIST & BRIEFINGS
Künftige Signale zu HUMAN & Wettbewerbern im Briefing erhalten
Behalte relevante M&A-Transaktionen, Führungswechsel, Kunden-Etats und Produkt-Launches im Blick. Polaris7 verknüpft Primärquellen, Pflichtmitteilungen und Fachmedien direkt in deinem Executive Briefing.
- Regelmäßige Primärquellen-Prüfung
- Strukturierte Watchlist-Briefings
- Kontext wird übernommen
Marktsignale beobachten
Verfolge betroffene Unternehmen in Polaris7 mit regelmäßiger Quellenprüfung und strukturierten Watchlist-Briefings.
HUMAN beobachten
Verfolge betroffene Unternehmen in Polaris7 mit regelmäßiger Quellenprüfung und strukturierten Watchlist-Briefings.
