Beobachtetes Signal · 9. Juni 2026 · Policy Update · Quelle: Digiday · Relevanz: 4/5 · Sentiment: Positiv
Reuters und Time setzen auf Whitelists zur Blockierung von KI-Crawlern
Reuters und Time haben ihre Strategie geändert und blockieren KI-Bots standardmäßig, während sie Whitelists für zugelassene Crawler führen, um den Zugriff auf ihre Inhalte zu kontrollieren. Time gestattet etwa 70 genehmigten Bots den Zugriff und setzt ScalePost für das Bot-Management ein. Reuters erzwingt eine Block-all-Bots-Politik über robots.txt, kombiniert mit Monitoring-Tools, Server-Durchsetzung, kommerziellen Lizensierungen und rechtlichen Schritten. Verlage betonen, dass dieser Ansatz Reibungsverluste erzeugt, die Scraping-Kosten erhöht, unautorisierte Crawler identifiziert, Lizenzverhandlungen unterstützt und Hosting-Kosten senken kann. Branchenverbände wie das IAB Tech Lab und die SPUR Coalition veröffentlichen Leitlinien und technische Standards, um Verlagen die Implementierung ähnlicher Maßnahmen zu erleichtern.
Die Abkehr großer Verlage von standardmäßiger Offenheit hin zu strikten Bot-Whitelists erhöht die Kosten für unautorisiertes Scraping, stärkt die Verhandlungsposition bei Content-Lizenzen, beeinflusst den Ad-Traffic sowie die Messbarkeit und setzt einen Präzedenzfall für die gesamte Medienbranche.
Marktsignale zu TIME in Echtzeit verfolgen
Polaris7 erfasst behördliche Registrierungen, Primärquellen, Führungswechsel und Deal-Aktivitäten rund um die Uhr. Erstellen Sie Ihren kostenlosen Explorer-Workspace, um automatisierte Executive Briefings zu erhalten.
Wichtigste Kernpunkte & Evidenz
- Reuters und Time blockieren KI-Bots nun standardmäßig und pflegen Whitelists für zugelassene Bots.
- Time erlaubt rund 70 Bots den Zugriff auf Onsite-Inhalte und nutzt ScalePost zur Verwaltung von KI-Bots laut COO Mark Howard.
- Reuters setzt einen Ansatz zur Blockierung aller Bots via robots.txt um, ergänzt durch Bot-Monitoring, Server-Durchsetzung, kommerzielle Lizenzen und Rechtsschutz.
- Ein Tollbit-Bericht ergab, dass 30 Prozent der KI-Bot-Scrapes im Q4 2025 robots.txt-Berechtigungen ignorierten; Reuters erklärt, dass Latenz und Reibung Scraper abschrecken können.
- Reuters verfügt über KI-Lizenzvereinbarungen mit Unternehmen wie Microsoft und Meta; die robots.txt von Reuters weist erlaubte Bots von Amazon, Google, Bing und Yahoo aus.
Verknüpfte Unternehmen
5 verknüpfte UnternehmenOntologie & Marktkonzepte
Verwandte Marktsignale & Trends
Aktuelle verifizierte Unternehmensentwicklungen und Deal-Aktivitäten in diesem Marktsegment.
Verleger werben im Kongress für 'Bad-Bots'-Gesetz
Über 300 Verlagsgeschäftsführer, darunter Führungskräfte von Condé Nast, Hearst Magazines, USA Today Co. und The Seattle Times, reisten nach Washington D.C., um den Kongress für den Stealth Bot Prohibition Act zu gewinnen. Der Gesetzentwurf würde KI-Stealth-Crawler dazu verpflichten, sich zu identifizieren, um verschleierten Datenverkehr und Umgehungen der Scraping-Blockaden von Verlagen zu verhindern. Organisiert von der News/Media Alliance, folgt die Aktion einem ähnlichen Gesetz im Bundesstaat New York und zielt darauf ab, das wachsende Problem des unbefugten Scrapings von Inhalten durch KI-Bots zu adressieren. Die Führungskräfte trafen sich mit Gesetzgebern, um die Notwendigkeit von Transparenz, Kontrolle und fairer Vergütung zu betonen, wenn ihre Inhalte für KI-Training genutzt werden. Die Initiative unterstreicht die zunehmende Dringlichkeit, da der KI-Bot-Verkehr erheblich zugenommen hat und TollBit in der ersten Jahreshälfte 2026 über 22 Milliarden KI-Bot-Scrapes erkannte.
Publisher bauen das Web für KI-Agenten um
Namhafte Publisher wie Time, The Economist und Le Monde experimentieren mit agentenlesbaren Versionen ihrer Webseiten und verschärften Bot-Kontrollen, um sich auf ein agentenbasiertes Web vorzubereiten. Time hat seine Seiten in Markdown konvertiert, blockiert unbekannte KI-Crawler standardmäßig und leitet autorisierte Bots über TollBit auf Markdown-Seiten um. Dies reduziert den Token-Verbrauch um rund 90 Prozent und beschleunigt das Laden strukturierter Inhalte drastisch. The Economist testet agentenlesbare Feeds für Marketing- und B2B-Material außerhalb der Paywall. Ein dritter großer Publisher erprobt das Web Model Context Protocol (WebMCP), einen von Google und Microsoft entwickelten Standard zur Bereitstellung strukturierter Daten für KI-Agenten. Während Publisher Vorteile wie bessere KI-Suchsichtbarkeit und niedrigere CDN-Kosten nennen, raten Berater zu einer strategisch abgewogenen Implementierung.
US-Gesetzentwurf nimmt heimliche Web-Scraping-Bots ins Visier
Ein im US-Repräsentantenhaus eingebrachter, bipartisaner Gesetzentwurf verpflichtet sogenannte Stealth- oder KI-Web-Crawler dazu, Website-Betreibern ihre Identität und ihren Zweck offenzulegen. Der von der News/Media Alliance entworfene und von den Abgeordneten Valerie Foushee, Laurel Lee sowie Gus Bilirakis unterstützte Stealth Bot Prohibition Act sieht die Durchsetzung durch die Federal Trade Commission und die Generalstaatsanwälte der Bundesstaaten vor. Bei Verstößen drohen Bußgelder in Höhe von 53.000 US-Dollar. Verleger und Wirtschaftsverbände kritisieren, dass heimliche Bots redaktionelle Inhalte abgreifen und weiterverkaufen, Hosting-Ressourcen belasten, die Publisher-Erlöse schmälern und KI-Systeme mit Trainingsdaten speisen. Medienkonzerne wie Axel Springer und USA TODAY Co. unterstützen die Initiative und verweisen auf reale Kosten – so entfällt bei Politico rund ein Viertel der Hosting-Budgets auf das Bot-Management – sowie auf nationale Sicherheitsbedenken im Zusammenhang mit groß angelegtem Scraping.
Marktsignale & Strategische Shifts in Echtzeit verfolgen
Erstellen Sie benutzerdefinierte Watchlists, um automatisierte, evidenzbasierte Executive Briefings zu erhalten, sobald wesentliche Signale oder Marktverschiebungen auftreten.