Beobachtetes Signal · 27. Okt. 2023 · Policy Update · Quelle: Trending Topics · Relevanz: 3/5 · Sentiment: Positiv
OpenAI startet Preparedness Challenge zur Erkennung katastrophaler KI-Risiken
OpenAI hat die Einführung der Preparedness Challenge angekündigt, eine Initiative zur Identifizierung und Eindämmung katastrophaler Risiken im Zusammenhang mit fortgeschrittenen KI-Systemen. Das neu aufgestellte Preparedness-Team unter der Leitung von Aleksander Madry wird potenzielle, groß angelegte KI-induzierte Bedrohungen verfolgen, bewerten, prognostizieren und abwehren. Der Fokus liegt dabei auf vier Kernbereichen: personalisierte Überredung, Cybersicherheit, nukleare, biologische, chemische und radiologische Bedrohungen sowie autonome Replikation und Anpassung. Zudem wird OpenAI eine risikobasierte Entwicklungsrichtlinie zur Bewertung und Überwachung von KI-Modellen entwickeln. Diese Ankündigung folgt auf Warnungen von KI-Forschern wie OpenAI-CEO Sam Altman bezüglich existenzieller Risiken und steht im Einklang mit dem britischen AI Safety Summit im November 2023. Die Initiative unterstreicht das Bestreben, Sicherheitsstandards in der Entwicklung zu etablieren, was langfristig auch Auswirkungen auf die Nutzung von KI-Infrastrukturen in der Werbe- und Marketingtechnologie haben dürfte.
OpenAIs Preparedness Challenge etabliert einen formalen Rahmen zur Bewertung katastrophaler KI-Risiken, der die Sicherheitsrichtlinien prägt und potenziell künftige KI-Infrastrukturen in der AdTech- und MarTech-Branche beeinflusst.
Marktsignale zu OpenAI in Echtzeit verfolgen
Polaris7 erfasst behördliche Registrierungen, Primärquellen, Führungswechsel und Deal-Aktivitäten rund um die Uhr. Erstellen Sie Ihren kostenlosen Explorer-Workspace, um automatisierte Executive Briefings zu erhalten.
Wichtigste Kernpunkte & Evidenz
- OpenAI kündigte die Preparedness Challenge im Oktober 2023 an.
- Das Preparedness-Team wird von Aleksander Madry geleitet.
- Das Team konzentriert sich auf vier Risikokategorien: personalisierte Überredung, Cybersicherheit, CBRN-Bedrohungen sowie autonome Replikation und Anpassung.
- OpenAI entwickelt eine risikobasierte Entwicklungsrichtlinie (RDP).
- Sam Altman und weitere KI-Forscher warnten im Mai 2023 vor existenziellen KI-Risiken.
Verknüpfte Unternehmen
1 verknüpfte Unternehmen“Im Rahmen der Preparedness Challenge will auch OpenAI auf 'katastrophale Risiken' vorbereiten....”
Ontologie & Marktkonzepte
Verwandte Marktsignale & Trends
Aktuelle verifizierte Unternehmensentwicklungen und Deal-Aktivitäten in diesem Marktsegment.
Entlassene OpenAI-Forscher bestreiten Fehlverhalten und warnen vor Einschüchterung
Drei OpenAI-Sicherheitsforscher – Jasmine Wang, Tomek Korbak und Mikita Balesni –, die letzte Woche entlassen wurden, haben einen offenen Brief veröffentlicht, in dem sie die Vorwürfe des Missbrauchs sensibler Informationen bestreiten. Sie warnen, dass ihre Entlassung einen abschreckenden Effekt habe, der die Sicherheitsarbeit und den offenen Dialog im Unternehmen behindere. Die Forscher erklären, sie hätten in gutem Glauben und im Rahmen der damaligen Unternehmensnormen gehandelt, und die Gründe für ihre Entlassung seien unklar. Sie appellieren an OpenAI, seine Zusagen bezüglich externer Sicherheitsauditoren einzuhalten und eine transparente Kultur zu bewahren. OpenAI antwortete mit einem internen Memo, das Vergeltungsmaßnahmen bestreitet und betont, dass Mitarbeiter nicht für das Ansprechen von Bedenken entlassen werden, ohne jedoch auf spezifische Richtlinienverstöße oder Umstände der Entlassung einzugehen. Der Konflikt beleuchtet Spannungen zwischen interner Sicherheitsforschung und Kommunikationsrichtlinien, während OpenAI wegen Sicherheitsvorfällen in der Kritik steht.
Ben Afflecks KI-Wissen geht viral
Ben Affleck, der Schauspieler, der sein KI-Filmmaking-Startup für angeblich 587 Millionen Dollar an Netflix verkauft hat, ging viral, weil er in Interviews tiefes Verständnis für KI-Technologie zeigte. Er sprach über maschinelles Lernen, neuronale Netze und gab zu, Python-Skripte zu schreiben. Affleck beschrieb seinen Weg vom analogen zum digitalen Film, seinen Einsatz von KI in der visuellen Effektproduktion und die Erstellung eines proprietären Datensatzes für ethische KI-Filmarbeit. Er besuchte auch OpenAI und nutzte seinen Promi-Status für Einblicke in neue Technologien. Affleck äußerte Bedenken über die Auswirkungen von KI auf Bildung und erlernte Hilflosigkeit, nicht über existenzielle Bedrohungen. Er nutzte KI in seinem Film 'Animals' und betonte die additive Natur von KI in der Filmbranche.
AI-Ranking Arena sammelt 200 Mio. USD bei 3,1 Mrd. USD Bewertung
Arena, die KI-Ranking-Plattform, die als Forschungsprojekt der UC Berkeley entstand, hat eine Series-B-Finanzierung in Höhe von 200 Mio. USD zu einer Bewertung von 3,1 Mrd. USD abgeschlossen. Die Runde wurde von Lightspeed Venture Partners und Khosla Ventures angeführt, mit Beteiligung von Salesforce Ventures, 01 Advisors, Dell Technologies Capital, Endeavor Catalyst, a16z, Felicis und anderen. Dies folgt auf die Ankündigung des Unternehmens im Juni, einen annualisierten Run-Rate-Umsatz von 100 Mio. USD erreicht zu haben. Arena bietet eine Crowdsourcing-Plattform, auf der Nutzer die Ausgaben von KI-Modellen bewerten, und hat ein kommerzielles Produkt namens AI Evaluations eingeführt, das detaillierte Leistungsanalysen bietet. Das Unternehmen hat außerdem eine neue Kategorie 'Alignment' zu seinem Leaderboard hinzugefügt, die Modelle anhand von Problemen wie unbefugten Aktionen und betrügerischer Abschlüsse bewertet. Die Bewertung von Arena hat sich in etwa 10 Monaten fast verdoppelt, von 1,7 Mrd. USD nach der Finanzierung im Januar auf nun 3,1 Mrd. USD.
Marktsignale & Strategische Shifts in Echtzeit verfolgen
Erstellen Sie benutzerdefinierte Watchlists, um automatisierte, evidenzbasierte Executive Briefings zu erhalten, sobald wesentliche Signale oder Marktverschiebungen auftreten.