Beobachtetes Signal · 8. Aug. 2026 · Technical Release · Quelle: DEV Community · Relevanz: 3/5 · Sentiment: Neutral
Firewalls steuern AI-Crawler-Zugriff: Ergebnisse einer Audit-Studie mit 18 Websites
Ein Autor hat das Open-Source-Tool geo-crawl-audit entwickelt, um zu untersuchen, wie wichtige Websites mit User-Agents von AI-Crawlern umgehen und wie viel lesbarer Content im rohen HTML vor der JavaScript-Ausführung vorhanden ist. Der Test an 18 Websites ergab, dass vor allem Firewalls und Bot-Management-Regeln – und nicht allein die robots.txt – den Zugriff steuern. Viele prominente AI-Crawler wie GPTBot, ClaudeBot oder PerplexityBot führen kein JavaScript aus, während Googlebot und Applebot Inhalte rendern. Einige bekannte Plattformen liefern zudem nahezu leere HTML-Seiten an AI-Crawler aus. Fünf Websites blockierten die Basisabfragen vollständig, was die Komplexität der Messung verdeutlicht. Das Tool und ein öffentlicher Scanner wurden veröffentlicht, um Betreibern die Prüfung ihrer Domain-Sichtbarkeit zu erleichtern.
Das Audit verdeutlicht die operativen Hürden durch WAF-, Bot-Management- und Server-Rendering-Konfigurationen für die AI-Sichtbarkeit von Web-Inhalten. Dies ist für Publisher und SEO/GEO-Verantwortliche zur präzisen Steuerung von LLM-Zugriffen hochrelevant.
MARKTSIGNALE
Marktsignale und strategische Veränderungen zu The Guardian verfolgen
Polaris7 verknüpft Pflichtmitteilungen, Primärquellen, Führungswechsel und M&A-Aktivitäten in strukturierten Dossiers. Richte deinen Polaris7-Workspace ein, um relevante Unternehmen in deinem Executive Briefing zu beobachten.
- Verifizierte Primärquellen
- Automatisierte Briefings
- Sofortiges Watchlist-Setup
Wichtigste Kernpunkte & Evidenz
- Der Autor veröffentlichte das Open-Source-Tool geo-crawl-audit, welches Websites mit User-Agents großer AI-Crawler testet und die Wortanzahl im rohen HTML misst.
- Der Testlauf vom 7. August 2026 an 18 großen Websites lieferte eine Status-Matrix pro Crawler sowie Laufzeitdaten.
- Zahlreiche AI-Crawler (u. a. GPTBot, ClaudeBot, PerplexityBot) führen kein JavaScript aus; nur wenige wie Googlebot und Applebot rendern JS.
- Beobachtete HTTP-Statusmuster korrelierten oft mit bekannten Geschäftsbeziehungen, während einige Sites spezifische Crawler blockierten oder durchließen.
- Fünf Websites (darunter Quora, OpenAI, Perplexity, Bloomberg und GitHub) blockierten oder filterten die Basisabfragen des Tools.
Verknüpfte Unternehmen
“The Guardian, der eine Content-Partnerschaft mit OpenAI unterhält, liefert für simulierte KI-Crawler einen sauberen HTTP-Status 200 zurück.”
“OpenAI verfügt über Content-Deals mit Medienhäusern und ist mit verschiedenen Crawlern im Web aktiv.”
“The New York Times befindet sich im Rechtsstreit mit OpenAI und blockiert fast alle KI-Crawler mit dem Status 403.”
“Die robots.txt von Reddit sperrt sämtliche in der Analyse gelisteten KI-Bots ausnahmslos aus.”
“Figma nutzt eine umgekehrte Konfiguration und liefert den Status 200 an alle Bot-User-Agents, sperrt bestimmte Crawler jedoch über robots.tx...”
“Airbnb verweigert den Zugriff für die Mehrheit der getesteten KI-Crawler, gewährt den User-Agents von Anthropic jedoch überraschend den Stat...”
“Anthropic betreibt mit ClaudeBot einen bekannten KI-Crawler, der auf verschiedenen Plattformen unterschiedlich behandelt wird.”
“LinkedIn liefert externen Prüf-Crawlern eine Bot-Überprüfungseite aus, wodurch das rohe HTML für unbekannte Anfragen praktisch leer bleibt.”
“Perplexity setzt eigene Crawler ein und setzt gleichzeitig auf strenge Abwehrmechanismen gegen automatisierte Zugriffe.”
“Stripe liefert vollständig server-gerendertes HTML mit schnellen Antwortzeiten und ohne Unterscheidung zwischen verschiedenen Bot-User-Agent...”
“Meta treibt mit eigenen Crawlern wie dem meta-externalagent die Indexierung von Web-Inhalten für KI-Anwendungen voran.”
“Amazonbot gehört zu den KI-nahen Crawlern, die von bestimmten Medienhäusern unterschiedlich bewertet werden.”
“Quora gehörte zu den Plattformen, die bereits Standard-Browseranfragen aus dem Testnetzwerk durch Sicherheitsmechanismen herausforderten.”
“Shopify zeigt in der Analyse ein server-gerendertes HTML-Profil ohne künstliche Barrieren für die simulierten Bot-Zugriffe.”
“Vercel gehört zu den Plattformen mit vollständig server-gerendertem HTML und ohne spürbare Bot-Differenzierung im Test.”
“Bloomberg blockierte oder hinterfragte die Basis-Browseranfragen des Audit-Tools im Testverlauf.”
“GitHub löste während der automatisierten Tests netzwerkseitige Sicherheitsprüfungen für die Basisabfragen aus.”
Ontologie & Marktkonzepte
Verwandte Marktsignale & Trends
Aktuelle verifizierte Unternehmensentwicklungen und Deal-Aktivitäten in diesem Marktsegment.
API-Tool prüft Website-Sichtbarkeit in KI-Suchmaschinen per Einmal-Aufruf
Ein Entwickler hat ein kompaktes Audit-Tool und Web-Interface veröffentlicht, mit dem Publisher und Website-Betreiber bewerten können, ob ihre Inhalte von KI-Suchassistenten wie ChatGPT Search, Perplexity oder Google AI Overviews gecrawlt, geparst und zitiert werden können. Die Analyse prüft unter anderem den robots.txt-Zugriff für spezifische KI-Crawler wie GPTBot, OAI-SearchBot, PerplexityBot und ClaudeBot, das Vorhandensein von llms.txt, JSON-LD-Strukturdaten sowie die Passage-Zitierbarkeit. Das Ergebnis ist ein Score von 0 bis 100 mit detaillierten Kategoriewertungen und konkreten Handlungsempfehlungen. Die API ist schlüssellos per POST-Request unter https://citeready-api.sprytools.com/v1/audit ansprechbar, während die Web-Oberfläche unter citeready.sprytools.com ein kostenloses Kontingent von drei Audits pro Tag ohne Registrierung bereitstellt. Damit erhalten SEO- und GEO-Workflows ein pragmatisches Instrument zur Optimierung der eigenen KI-Sichtbarkeit.
Warum KI viele Websites nicht lesen kann – und Abhilfe
Zahlreiche moderne Websites bleiben für KI-gestützte Crawler unsichtbar, da Inhalte client-seitig gerendert werden, semantisches HTML fehlt oder wichtige Fakten im Markup untergehen. Der Artikel analysiert, wie LLM-Systeme das DOM verarbeiten, und empfiehlt gezielte technische Maßnahmen: Server-Side Rendering (SSR) oder statische Generierung, die Bereinigung des DOM für eine höhere Informationsdichte, den Einsatz von semantischem HTML5 sowie maschinenlesbare Formate wie llms.txt, agents.json und JSON-LD strukturierte Daten nach Schema.org. Eine konkrete Checkliste – von robots.txt über SSR und JSON-LD bis hin zu Sitemaps und IndexNow – hilft Webmastern dabei, die Auffindbarkeit ihrer Angebote für ChatGPT, Perplexity, Claude und Gemini nachhaltig zu sichern.
GEO ist das neue SEO — die meisten Websites scheitern
Der Autor hat einen GEO-Agenten (Generative Engine Optimization) in WebScore entwickelt, um die Sichtbarkeit von Websites in KI-Engines wie ChatGPT, Perplexity, Gemini und Claude zu messen. Die Analyse identifiziert entscheidende Signale für die KI-Sichtbarkeit: llms.txt, E-E-A-T-Signale, FAQPage JSON-LD, ausgehende Autoritätszitate, Wikidata-Einträge sowie die Erlaubnis für KI-Crawler in der robots.txt. Scans echter Websites zeigen gravierende Defizite: Rund 80 Prozent verfügen über keine llms.txt, etwa 70 Prozent über kein FAQ-Schema und rund 60 Prozent blockieren unabsichtlich mindestens einen großen KI-Crawler. Zudem zeigt sich, dass Websites mit Wikidata-Einträgen etwa dreimal so oft zitiert werden. WebScore liefert Kennzahlen wie die AI Mention Rate und die Citation Rate sowie eine priorisierte Mängelliste.
WATCHLIST & BRIEFINGS
Künftige Signale zu The Guardian & Wettbewerbern im Briefing erhalten
Behalte relevante M&A-Transaktionen, Führungswechsel, Kunden-Etats und Produkt-Launches im Blick. Polaris7 verknüpft Primärquellen, Pflichtmitteilungen und Fachmedien direkt in deinem Executive Briefing.
- Regelmäßige Primärquellen-Prüfung
- Strukturierte Watchlist-Briefings
- Kontext wird übernommen
Marktsignale beobachten
Verfolge betroffene Unternehmen in Polaris7 mit regelmäßiger Quellenprüfung und strukturierten Watchlist-Briefings.
The Guardian beobachten
Verfolge betroffene Unternehmen in Polaris7 mit regelmäßiger Quellenprüfung und strukturierten Watchlist-Briefings.
