Beobachtetes Signal · 3. Apr. 2024 · Technical Release · Quelle: Trending Topics · Relevanz: 4/5 · Sentiment: Neutral
Anthropic-Forscher entdecken Many-Shot-Jailbreaking-Schwachstelle bei Large Language Models
Forscher von Anthropic haben eine neuartige Angriffstechnik namens 'Many-Shot-Jailbreaking' dokumentiert, welche die großen Context Windows moderner Large Language Models (LLMs) ausnutzt, um ethische Schutzmechanismen zu umgehen. Durch das Einbetten einer schädlichen Frage zwischen Dutzenden harmloser, aber kontextuell ähnlicher Anfragen wird das In-Context Learning des Modells so gesteuert, dass es unangemessene Inhalte generiert. Dies birgt das Risiko, potenziell gefährliche Informationen preiszugeben. Die Untersuchung verdeutlicht einen grundlegenden Zielkonflikt zwischen Modellkapazität und Sicherheit, da eine Einschränkung der Context Windows zulasten der Leistungsfähigkeit gehen würde. Anthropic hat die Ergebnisse mit der KI-Community sowie Wettbewerbern wie OpenAI und Google DeepMind geteilt, um branchenübergreifende Gegenmaßnahmen zu fördern.
Anthropic's Entdeckung offenbart eine neuartige Sicherheitslücke in LLMs, welche spezifische Risiken für KI-gestützte Geschäfts- und Marketinganwendungen birgt und branchenweite Aufmerksamkeit erfordert.
Marktsignale zu Anthropic in Echtzeit verfolgen
Polaris7 erfasst behördliche Registrierungen, Primärquellen, Führungswechsel und Deal-Aktivitäten rund um die Uhr. Erstellen Sie Ihren kostenlosen Explorer-Workspace, um automatisierte Executive Briefings zu erhalten.
Wichtigste Kernpunkte & Evidenz
- Anthropic-Forscher entdeckten die Jailbreak-Technik 'Many-Shot-Jailbreaking'.
- Die Methode nutzt große Context Windows in LLMs aus, um Modelle schrittweise zu unsicheren Antworten zu steuern.
- Modelle mit größeren Context Windows weisen ein verbessertes In-Context Learning auf, was das Risiko für schädliche Antworten erhöht.
- Anthropic veröffentlichte einen Forschungsbericht und teilte die Ergebnisse mit der KI-Community sowie Mitbewerbern.
- Die Untersuchung legt nahe, dass eine Begrenzung der Context Windows die Anfälligkeit zwar verringern, aber die Modellleistung beeinträchtigen würde.
Verknüpfte Unternehmen
3 verknüpfte Unternehmen“Ein Anthropic-Forscherteam ist es gelungen, KI-Ethik mit wiederholten Fragen zu zermürben....”
“Darunter fallen unter anderem Antrophic, OpenAI und die DeepMind-Technologie von Google....”
“Darunter fallen unter anderem Antrophic, OpenAI und die DeepMind-Technologie von Google....”
Ontologie & Marktkonzepte
Verwandte Marktsignale & Trends
Aktuelle verifizierte Unternehmensentwicklungen und Deal-Aktivitäten in diesem Marktsegment.
KI-Aktien fallen nach OpenAI-Umsatzbericht
Die Aktien von Nvidia, Oracle, CoreWeave und anderen KI-Unternehmen fielen am Donnerstag, nachdem Details zu den Umsätzen von OpenAI bekannt wurden. OpenAI teilte Investoren mit, dass es Ende September einen annualisierten Umsatz von rund 50 Milliarden US-Dollar erreicht habe, niedriger als die weit verbreitete Zahl von 68 Milliarden US-Dollar. Eine mit der Sache vertraute Person sagte, die 68-Milliarden-Zahl habe Bruttoumsätze von Partnern enthalten, was einen direkteren Vergleich mit Anthropic ermögliche. OpenAI hob außerdem ein Gesamtwachstum von 77 % im dritten Quartal und ein Wachstum von 107 % im Enterprise-Geschäft hervor. Das Unternehmen bereitet sich auf einen möglichen Börsengang vor, mit einer Bewertung von 852 Milliarden US-Dollar, und führt frühe Gespräche über eine neue Finanzierungsrunde von rund 30 Milliarden US-Dollar.
US-Regierung schließt Microsoft von Visa-Programm aus
Die US-Regierung hat Microsoft von der Beantragung dauerhafter Aufenthaltsgenehmigungen für ausländische Fachkräfte mit H-1B-Visa ausgeschlossen und wirft dem Unternehmen Missbrauch des Programms vor. Vizepräsident JD Vance erklärte, Microsoft habe im vergangenen Jahr 6.000 amerikanische Mitarbeiter entlassen, aber von 6.300 H-1B-Visainhabern profitiert. Das Arbeitsministerium unter Keith Sonderling wird keine neuen Anträge von Microsoft, mehreren Beratungsunternehmen und Adobe annehmen. Dieser Schritt erfolgt wenige Wochen vor den Parlamentswahlen und spiegelt die Kritik der Trump-Regierung am H-1B-Programm wider, das angeblich amerikanische Arbeiter benachteiligt. Microsoft hat noch nicht reagiert. Der Schritt könnte die Fähigkeit der Tech-Branche beeinträchtigen, qualifizierte ausländische Talente zu halten.
USA suspendieren Microsoft und Adobe vom Green-Card-Programm
Das US-Arbeitsministerium hat die Suspendierung von Microsoft und Adobe vom Programm zur dauerhaften Arbeitszertifizierung angekündigt, zusammen mit Cognizant, Infosys, Capgemini, Tata, Wipro und HCL. Minister Keith Sonderling nannte aktive Bundesuntersuchungen als Grund für Microsoft und Adobe und kritisierte, dass diese Unternehmen amerikanischen Arbeitnehmern Arbeitsplätze wegnähmen. Vizepräsident JD Vance warf Microsoft konkret vor, entlassene Mitarbeiter durch H-1B-Visuminhaber ersetzt zu haben. Microsoft verteidigte seine Einstellungspraktiken und betonte, dass die Mehrheit seiner US-Mitarbeiter Amerikaner seien und die meisten H-1B-Anträge für bestehende Mitarbeiter gestellt würden. Die Ankündigung erfolgte während eines Gipfels im Weißen Haus zur Bekämpfung von H-1B-Betrug, zeitgleich mit der Verleihung der National Medal of Science an mehrere Tech-CEOs durch Präsident Trump.
Marktsignale & Strategische Shifts in Echtzeit verfolgen
Erstellen Sie benutzerdefinierte Watchlists, um automatisierte, evidenzbasierte Executive Briefings zu erhalten, sobald wesentliche Signale oder Marktverschiebungen auftreten.