Beobachtetes Signal · 22. Mai 2026 · Research Study · Quelle: t3n · Relevanz: 2/5 · Sentiment: Neutral
Studie enthüllt rund 147.000 gefälschte Zitate durch KI-Halluzinationen
Eine neue Untersuchung von 111 Millionen Referenzen in 2,5 Millionen wissenschaftlichen Arbeiten hat 146.900 erfundene oder nicht nachverfolgbare Zitate identifiziert. Die Autoren führen den steilen Anstieg solcher Fehlinformationen auf den massiven Einsatz von Large Language Models (LLMs) zurück. Betroffen sind namhafte Preprint-Repositories wie arXiv, bioRxiv, SSRN und PubMed Central. Forscher der Cornell University und der University of California haben diese Analyse durchgeführt. Als Reaktion darauf hat arXiv die Einreichungsrichtlinien verschärft: Gefordert werden strengere Verifizierungen sowie mögliche einjährige Sperren bei nachgewiesener, ungeprüfter Nutzung von KI-Inhalten. Experten warnen, dass derartige KI-Halluzinationen den wissenschaftlichen Datenbestand verwässern und das Vertrauen in die Forschungsliteratur massiv untergraben.
Die Ergebnisse verdeutlichen den alarmierenden Anstieg von KI-induzierten Fehlinformationen in der Wissenschaft sowie harte regulatorische Reaktionen von Plattformen. Dies ist relevant für die Verifizierung generativer Inhalte, betrifft jedoch keine direkten AdTech-Plattformen.
Marktsignale zu arXiv in Echtzeit verfolgen
Polaris7 erfasst behördliche Registrierungen, Primärquellen, Führungswechsel und Deal-Aktivitäten rund um die Uhr. Erstellen Sie Ihren kostenlosen Explorer-Workspace, um automatisierte Executive Briefings zu erhalten.
Wichtigste Kernpunkte & Evidenz
- Forscher der Cornell University und der University of California analysierten 111 Millionen Referenzen aus 2,5 Millionen wissenschaftlichen Artikeln.
- Die Studie identifizierte 146.900 fabrizierte oder nicht nachverfolgbare Referenzen im Datensatz.
- Falsche Zitate tauchten in Preprint-Repositories wie arXiv, bioRxiv, SSRN und PubMed Central auf.
- arXiv verschärfte die Einreichungsregeln: Erstautoren müssen Empfehlungen vorlegen und riskieren einjährige Sperren bei ungeprüften LLM-Ergebnissen.
Verknüpfte Unternehmen
3 verknüpfte UnternehmenOntologie & Marktkonzepte
Verwandte Marktsignale & Trends
Aktuelle verifizierte Unternehmensentwicklungen und Deal-Aktivitäten in diesem Marktsegment.
arXiv verschärft Regeln für den Einsatz von KI in Forschungspapieren
Das Preprint-Repository arXiv hat strengere Richtlinien für Einreichungen eingeführt, die auf Large Language Models (LLMs) basieren. Die Plattform verlangt von Erstautoren nun eine Empfehlung durch einen etablierten Autor und überträgt ihnen die Verantwortung, KI-generierte Inhalte zu überprüfen. arXiv warnt, dass Einreichungen mit klaren Belegen für ungeprüfte LLM-Ausgaben – wie etwa erfundene Zitate – Sanktionen nach sich ziehen können: eine einjährige Sperre sowie die Auflage, dass nachfolgende Einreichungen von einer anerkannten Peer-Review-Plattform akzeptiert sein müssen. Moderatoren und Fachbereichsleiter müssen Verstöße vor der Verhängung von Strafen bestätigen; Einsprüche sind möglich. Diese Anpassung erfolgt vor dem Hintergrund wachsender Bedenken hinsichtlich gefälschter Referenzen in der biomedizinischen Fachliteratur und der weiten Verbreitung von KI-Werkzeugen an Hochschulen.
Messung und Behebung von KI-Zitier-Halluzinationen in Produktionsumgebungen
In einem praxisnahen Erfahrungsbericht stellt Cihangir Bozdogan ein Tooling sowie eine Messmethodik zur Erkennung von Zitier-Halluzinationen in LLMs vor. Er kategorisiert vier spezifische Fehlermuster: frei erfundene URLs, Retrieval mit fehlerhaftem Zitat, URL-Substitution sowie Anchor-Text-Drift. Für jedes Muster definiert er Erkennungssignaturen und Gegenmaßnahmen. In einer Analyse von rund 1.000 Grounded Queries über APIs von Anthropic, OpenAI und Google/Gemini ergab eine Stichprobe von 500 Antworten (~1.200 Zitate) empirische Fehlerraten – insbesondere 5–6 % für fehlerhafte Zitate trotz korrektem Retrieval und 8–12 % bei semantischem Textdrift. Als operative Mitigation empfiehlt Bozdogan das harte Blockieren nicht abgerufener URLs, Satz-Level-NLI-Checks via Embeddings, Prompt-Nudges sowie asynchrone Verifikationsmuster im UI. Für High-Stakes-Anwendungen wird eine dedizierte Citation-Faithfulness-Middleware zur unverzichtbaren Voraussetzung erklärt, inklusive klarer Monitoring- und Kosten-Latenz-Trade-offs.
Warum Künstliche Intelligenz halluziniert: Ursachen und Gegenmaßnahmen
Dieser Artikel beleuchtet die Ursachen und Auswirkungen sogenannter Halluzinationen bei generativen Sprachmodellen (LLMs), bei denen KI-Systeme falsche oder erfundene Informationen mit absoluter Überzeugung präsentieren. Als Hauptursachen werden die rein musterbasierte Sprachvorhersage anstelle echter Faktenchecks, unvollständige oder veraltete Trainingsdaten, fehlendes Weltwissen, unpräzise Prompts sowie eine inhärente Überkonfidenz der Modelle identifiziert. Zu den realen Konsequenzen zählen gefälschte juristische Präzedenzfälle, erfundene akademische Quellen sowie fehlerhafte medizinische oder finanzielle Ratschläge. Abschließend zeigt der Beitrag Lösungsansätze auf, darunter die Verbesserung der Trainingsdatenqualität, die Anbindung an Live-Datenbanken, den Einsatz von menschlichem Feedback (RLHF) sowie optimierte Prompting-Techniken. Der Artikel dient als fundierte Übersicht für den verantwortungsvollen und reflektierten Umgang mit LLMs in der Praxis.
Marktsignale & Strategische Shifts in Echtzeit verfolgen
Erstellen Sie benutzerdefinierte Watchlists, um automatisierte, evidenzbasierte Executive Briefings zu erhalten, sobald wesentliche Signale oder Marktverschiebungen auftreten.