Beobachtetes Signal · 30. Juli 2026 · Policy Update · Quelle: Digiday · Relevanz: 4/5 · Sentiment: Negativ
KI-Crawler-Kontrolle: Verlage brauchen Geschäftsregeln, nicht nur Sperren
Cloudflares Standardänderung, die KI-Crawler auf werbefinanzierten Seiten blockiert, wirft ein größeres Problem auf: Publisher müssen Geschäftsregeln für KI-Traffic definieren, anstatt sich auf einfache Block/Allow-Entscheidungen zu verlassen. Daten zeigen, dass 39-46 % des Crawler-Traffics unklassifiziert sind und viele Websites robots.txt nicht durchsetzen. Identitätsprüfung ist entscheidend, mit Methoden wie Allowlisting nach IP und ASN, und aufkommenden Standards wie Web Bot Auth. Der Artikel identifiziert sieben verschiedene KI-Verhaltensweisen, die jeweils eine eigene Richtlinie erfordern. Publisher sollten ihre Logs analysieren, Identitäten überprüfen, über jedes Verhalten entscheiden, an der Edge durchsetzen und Standardeinstellungen für nicht identifizierten Traffic festlegen. Die Wahl zwischen Distribution und Substitution hängt vom Monetarisierungsmodell des Publishers ab, wie Amazon Showroom-Agenten blockiert und Shopify sie begrüßt.
Dieser Artikel bietet Orientierung für das Management von KI-Crawler-Traffic, ein drängendes Thema im AdTech-Ökosystem. Er zeigt die Unzulänglichkeit einfacher Block/Allow-Entscheidungen auf und schlägt einen differenzierteren Ansatz vor, der Publisher-Strategien und Industriestandards beeinflussen könnte.
Marktsignale zu Google in Echtzeit verfolgen
Polaris7 erfasst behördliche Registrierungen, Primärquellen, Führungswechsel und Deal-Aktivitäten rund um die Uhr. Erstellen Sie Ihren Polaris7-Workspace, um automatisierte Executive Briefings zu erhalten.
Wichtigste Kernpunkte & Evidenz
- Cloudflare hat die Standardeinstellungen geändert, um KI-Training und Agent-Crawler auf werbefinanzierten Websites zu blockieren.
- 39-46 % des Crawler-Traffics auf Duplex-Eigenschaften sind unklassifiziert.
- 39,5 % der Websites, die GPTBot in robots.txt verbieten, lieferten ihm dennoch eine Live-Seite aus.
- GreyNoise fand 824 IP-Adressen, die sich als KI-Crawler ausgaben.
- Web Bot Auth ist ein vorgeschlagener IETF-Standard zur Crawler-Verifizierung.
Verknüpfte Unternehmen
“Ihre Drohungen, sich von Google loszusagen, nehmen erneut an Fahrt auf.”
“Im Jahr 2014 schränkte Axel Springer den Zugriff von Google ein in der Hoffnung, Lizenzgebühren für Inhalte zu erhalten.”
“Der Anteil von Publisher-Websites, die von Cloudflares Stichtag am 15. September für Standard-Proxy-Regelungen erfasst werden.”
“Reuters stellt aktuell ähnliche Berechnungen an, wägt diesen Kompromiss laut Digital-GM Phil Andraos jedoch fortlaufend ab.”
“Das Werbeinventar der Publisher sank im zweiten Quartal 2026 im Jahresvergleich laut Ozone-Daten um bis zu 40 Prozent.”
“180 Mitarbeiter von BuzzFeed müssen im Zuge der ersten Umstrukturierung unter Eigentümer Byron Allen gehen, was einem Abbau von 35 Prozent e...”
“Zack Zerndt von USA Today Co. erklärte im Sommer gegenüber Digiday, wie sein Team die durch Publisher-Abkehr von Suchergebnisseiten entstehe...”
“Amazon blockiert aktiv Shopping-Agenten wie zuletzt Meta Muse.”
“Shopify öffnet die Shop-Fronten seiner Händler für KI-Shopping-Agenten.”
“Axios berichtete über die Verkaufspläne bezüglich The Daily Beast.”
“Creator-Inhalte übertrafen Promi-Empfehlungen, unterstützt durch erfolgreiche Kampagnen von Kalshi, Polymarket und Airbnb.”
“Metas Shopping-Agent Muse wurde von Amazon blockiert.”
“Amazon blockiert aktiv Shopping-Agenten wie zuletzt Meta Muse.”
“Das Medium Semafor berichtete über IPO-Gespräche der Bloomberg-Führungsetage.”
“People Inc prüft einen möglichen Verkauf von The Daily Beast, da die Website profitabel ist, wie Axios berichtete.”
“Akamai verifiziert Signaturen über Web Bot Auth.”
“Airbnb profitierte von erfolgreichen Creator-Marketingkampagnen.”
“Vercel verifiziert Web Bot Auth-Signaturen zur Bot-Erkennung.”
“Bloomberg-Manager führen laut Semafor erste Gespräche mit Investmentbankern über einen potenziellen Börsengang.”
“TheWrap berichtete über den überraschenden Rücktritt von Forbes-Chefredakteur Randall Lane.”
“Der ChatGPT-Agent von OpenAI signiert seine Abfragen im Rahmen von Web Bot Auth.”
“Dieses Media Briefing behandelt aktuelle Medientrends für Digiday+-Mitglieder und wird jeden Donnerstag per E-Mail versendet.”
“HUMAN setzt ebenfalls auf die Verifizierung von Web Bot Auth-Signaturen.”
“Polymarket erzielte zusammen mit Kalshi und Airbnb starke Ergebnisse bei Creator-Aktivierungen.”
Ontologie & Marktkonzepte
Verwandte Marktsignale & Trends
Aktuelle verifizierte Unternehmensentwicklungen und Deal-Aktivitäten in diesem Marktsegment.
Publisher debattieren über die Blockierung von Google-Crawlern
Eine Podcast-Episode von Digiday beleuchtet die Überlegungen von Publishern, Google-Crawler nach anhaltenden Rückgängen beim Such-Referral-Traffic zu blockieren. KI-gestützte Google-Features wie AI Overviews und AI mode halten Nutzer direkt in der Google-Suche und generieren Zusammenfassungen von Publisher-Inhalten, ohne nennenswerte Klicks auf die Ursprungswebsites zu leiten. Während einige Medienhäuser Einbrüche beim Such-Traffic von 30 bis 40 Prozent verzeichnen, erhalten andere wie People Inc. noch rund 21 Prozent ihres Traffics über Google. Die Debatte wägt Argumente wie den gestörten Wertschöpfungsaustausch und KI-Zusammenfassungen gegen Risiken wie Traffic-Verluste und den Zwang zu koordiniertem Branchenhandeln ab. Als mahnendes Präzedenzbeispiel wird der Werbeboykott gegen X und die anschließende Auflösung der Global Alliance of Responsible Media angeführt.
Publisher distanzieren sich von Google AI Search, während Creator auf KI setzen
Publisher und Creator reagieren unterschiedlich auf den Aufstieg der KI-gesteuerten Suche: Zahlreiche Medienhäuser bereiten vor, Crawler für die Suchindexierung und das KI-Training zu blockieren, während einige Creator auf Sichtbarkeit durch AI Search setzen. Ab dem 15. September blockiert die Sicherheitssoftware von Cloudflare derartige Crawler für Neukunden und Free-Tier-Nutzer standardmäßig; zu den Cloudflare-Kunden zählen der Financial Times, Condé Nast und The Atlantic. USA Today und das Creator-Netzwerk Beehiiv gaben an, ebenfalls Schritte gegen Google vorzubereiten. Google treibt seine KI-Investitionen voran, während der Such- und AdTech-Bereich wächst, meldete jedoch einen negativen Free Cashflow von rund 5,9 Milliarden US-Dollar. Studien zeigen, dass Publisher nur einen geringen Anteil an AI-Referral Traffic erhalten, weshalb Unternehmen wie OpenAI und Microsoft zunehmend Publisher-Content lizenzieren.
Google erwägt Opt-out-Option für AI Overviews und AI Mode
Google prüft Berichten zufolge einen Opt-out-Mechanismus für Inhalte in AI Overviews und AI Mode, der es Publishern ermöglichen könnte, ihre Websites von KI-basierten Suchergebnissen auszuschließen. Dieser Schritt erfolgt vor dem Hintergrund regulatorischer Untersuchungen durch die britische Wettbewerbsbehörde CMA, die eine stärkere Kontrolle der Publisher über KI-generierte Inhalte fordert. Google signalisiert entsprechende Anpassungen, betont jedoch, dass die Nützlichkeit der Suche nicht beeinträchtigt werden darf. Die Diskussion verdeutlicht den Spagat zwischen dem Schutz von Content vor KI-Nutzung und dem Risiko einer vollständigen Deindexierung. Dabei werden Cloudflare-Schutzmechanismen, Vorschläge für Pay-per-Crawl-Modelle sowie die Content Signals Policy ins Spiel gebracht, um Inhalte gezielt von KI-Diensten auszuschließen. Ein solcher Schritt könnte weitreichende Auswirkungen auf Traffic, Impressionen und Klicks für Publisher haben.
Alle künftigen Signale zu Google & Wettbewerbern im Briefing erhalten
Verpassen Sie keine M&A-Transaktionen, Führungswechsel, Kunden-Etats oder Produkt-Launches mehr. Polaris7 überwacht über 20.000 Primärquellen rund um die Uhr und liefert evidenzbasierte Telemetrie direkt in Ihr wöchentliches Executive Briefing.
