Beobachtetes Signal · 18. Apr. 2026 · Research Experiment · Quelle: t3n · Relevanz: 3/5 · Sentiment: Negativ
Forschung zeigt: KI-Chatbots verbreiten gefährliche Fake-Warnungen zu erfundener Augenkrankheit
Die schwedische Forscherin Almira Osmanovic Lindström von der Universität Göteborg hat eine fiktive Augenkrankheit namens „Bixonimanie“ erfunden, um zu demonstrieren, wie leicht Large Language Models (LLMs) manipulierbar sind. Durch gezielt platzierte Blogbeiträge auf Medium und gefälschte Preprint-Studien im Internet gelang es ihr, führende Conversational AI-Systeme wie Microsoft Copilot, Perplexity AI und OpenAI's ChatGPT zu täuschen. Die Chatbots übernahmen die Desinformation und generierten halluzinierte Warnungen sowie angebliche Diagnosetipps zu der nicht existierenden Krankheit. Das Fachmagazin Nature berichtete über das Experiment, woraufhin die gefälschten Online-Inhalte gelöscht wurden. Eine im November 2024 veröffentlichte Cureus-Studie, die das manipulierte Material zitiert hatte, wurde Ende März 2026 zurückgezogen. Dieser Vorfall verdeutlicht eindringlich, wie anfällig aktuelle LLM-Architekturen für die unkritische Aufnahme und Verbreitung von Fehlinformationen aus dem offenen Web sind und welche Risiken dies für datenbasierte Anwendungen birgt.
Der Vorfall demonstriert, dass weit verbreitete LLM-Systeme frei zugängliche Falschinformationen unkritisch aufnehmen und verstärken können, was erhebliche Vertrauens- und Sicherheitsrisiken für chatbasierte Schnittstellen und KI-gestützte Systeme birgt.
Marktsignale zu Microsoft in Echtzeit verfolgen
Polaris7 erfasst behördliche Registrierungen, Primärquellen, Führungswechsel und Deal-Aktivitäten rund um die Uhr. Erstellen Sie Ihren kostenlosen Explorer-Workspace, um automatisierte Executive Briefings zu erhalten.
Wichtigste Kernpunkte & Evidenz
- Forscherin Almira Osmanovic Lindström erfand die fiktive Augenkrankheit „Bixonimanie“, um die Anfälligkeit von LLMs zu testen.
- Lindström streute gezielt gefälschte Medium-Beiträge, Preprints und Studien im Web, um die Trainings- und Abrufdaten zu manipulieren.
- Microsoft Copilot, Perplexity AI und OpenAI's ChatGPT generierten daraufhin halluzinierte Inhalte und Warnungen über die erfundene Krankheit.
- Nach der Nature-Berichterstattung wurden die Fake-Inhalte gelöscht; ein darauf basierendes Cureus-Paper vom November 2024 wurde Ende März 2026 zurückgezogen.
Verknüpfte Unternehmen
2 verknüpfte UnternehmenOntologie & Marktkonzepte
Verwandte Marktsignale & Trends
Aktuelle verifizierte Unternehmensentwicklungen und Deal-Aktivitäten in diesem Marktsegment.
Forschungsexperiment: KI-Chatbots warnen Nutzer vor fiktiver Augenkrankheit
Die schwedische Forscherin Almira Osmanovic Lindström hat mit „Bixonimanie“ eine fiktive Augenkrankheit erfunden und gezielt Falschinformationen über Medium-Beiträge sowie gefälschte Preprints im Internet platziert, um die Wissensaufnahme von KI-Systemen zu testen. Gängige Large Language Models und Chatbots wie Microsoft Copilot, Perplexity AI und OpenAI ChatGPT übernahmen diese Desinformation, halluzinierten Details und warnten Nutzer vor der vermeintlichen Krankheit. Sogar wissenschaftliche Publikationen wie ein im November 2024 veröffentlichter Beitrag im Fachjournal Cureus zitierten die gefälschten Studien, bevor dieser im März 2026 zurückgezogen wurde. Nachdem das Fachmagazin Nature über das Experiment berichtete, wurden die Online-Quellen gelöscht. Experten schlagen Alarm, da sich die Manipulation zeigt, wie leicht Falschinformationen in das Training von Large Language Models und nachgelagerte Conversational Interfaces gelangen und dort die Vertrauenswürdigkeit gefährden.
Studien belegen Unzuverlässigkeit von Chatbots bei medizinischer Beratung
Ein Substack-Beitrag von Gary Marcus fasst aktuelle begutachtete Studien zusammen, die zeigen, dass gängige Large Language Model Chatbots bei medizinischen Ratschlägen unzureichend abschneiden und Sicherheitsrisiken bergen. Eine BMJ-Untersuchung von fünf beliebten Chatbots (Gemini, DeepSeek, Meta AI, ChatGPT und Grok) ergab, dass fast die Hälfte der Antworten auf zehn medizinische Prompts hochgradig problematisch waren, einschliesslich Halluzinationen und frei erfundener Zitate. Eine JAMA Network Open-Studie zu 21 Modellen kam zu dem Schluss, dass LLMs für die frühe Diagnose ungeeignet sind. Zwei Nature Medicine-Studien zeigten, dass LLMs relevante Erkrankungen in weniger als 34,5 Prozent der Fälle identifizierten und ChatGPT 52 Prozent der Standard-Notfälle falsch triagierte. Marcus warnt, dass Verbraucher Chatbots bei medizinischen Entscheidungen nicht vertrauen sollten.
Studie: Chatbots schwächen Fähigkeit zur Erkennung von Falschmeldungen
Eine Studie des MIT Media Lab zeigt, dass die dauerhafte Nutzung von KI-Systemen zur Faktenprüfung die eigenständige Fähigkeit von Nutzern zur Desinformationserkennung schwächt. In einem vierwöchigen Experiment mit 67 Teilnehmern steigerte die KI-Assistenz die Erkennungsleistung zunächst um 21 Prozent. Nach dem Entzug der KI fiel die Leistung in der vierten Woche jedoch um 15 Prozentpunkte unter den Ausgangswert, wobei rund ein Viertel der Probanden trotz nachweislich schlechterer Ergebnisse von einer Verbesserung ausging. Eine separate Untersuchung von Tests mit ChatGPT, Microsoft Copilot, Google Gemini und Perplexity AI ergab zudem, dass fast die Hälfte der Antworten signifikante Mängel aufwies, darunter Zitationsprobleme und schwerwiegende sachliche Fehler. Experten warnen, dass narrative Antwortstile Abhängigkeiten erzeugen, während sokratische Fragestellungen das kritische Denken und die Informationsintegrität im Medienumfeld besser unterstützen.
Marktsignale & Strategische Shifts in Echtzeit verfolgen
Erstellen Sie benutzerdefinierte Watchlists, um automatisierte, evidenzbasierte Executive Briefings zu erhalten, sobald wesentliche Signale oder Marktverschiebungen auftreten.