Beobachtetes Signal · 16. Sept. 2026 · Policy Update · Quelle: techcrunch · Relevanz: 4/5 · Sentiment: Positiv
Hugging Face Politikchefin zweifelt an neutralen AI-Evaluatoren
Irene Solaiman, Chief Policy Officer bei Hugging Face, kritisierte auf dem TechCrunch Disrupt den aktuellen Zustand von KI-Modell-Benchmarks. Sie argumentierte, dass Evaluierungen eine sich entwickelnde Wissenschaft seien, der es an Standardisierung und Reproduzierbarkeit mangele und dass Tests schwer vergleichbar seien. Solaiman stellte die Vertrauenswürdigkeit eingebetteter Evaluatoren in Frage – externer Beobachter, die in KI-Labore platziert werden – und betonte, dass die Qualifikationen für effektive Evaluatoren standardisiert werden müssten. Sie hob hervor, dass sich die Bewertungen von reinen Modelltests hin zu Tests des gesamten Systems, einschließlich Harness und Agent, verschieben, die komplexer und teurer sind. Solaiman forderte einen einheitlichen, branchenweiten Ansatz für Benchmarks, um deren Nutzen zu erhalten. Der Artikel verweist auf die Kritik an der Entscheidung von Anthropic, Accenture als ersten Evaluator zu beauftragen.
Der Artikel stellt die Zuverlässigkeit und Standardisierung von KI-Modell-Benchmarks infrage, die zunehmend zur Bewertung von KI-Systemen in Marketing und Werbung eingesetzt werden. Er hebt den Wandel von Modelltests hin zu System- und Agent-basierten Evaluierungen hervor, was die Sicherheits- und Effektivitätsbewertung von KI-Technologien in der AdTech-Branche beeinflussen könnte.
Marktsignale zu Anthropic in Echtzeit verfolgen
Polaris7 erfasst behördliche Registrierungen, Primärquellen, Führungswechsel und Deal-Aktivitäten rund um die Uhr. Erstellen Sie Ihren Polaris7-Workspace, um automatisierte Executive Briefings zu erhalten.
Wichtigste Kernpunkte & Evidenz
- Irene Solaiman, Chief Policy Officer bei Hugging Face, sprach auf dem TechCrunch Disrupt.
- Solaiman bezeichnete Evaluierungen als 'sich entwickelnde Wissenschaft' mit Problemen bei Vergleichbarkeit und Standardisierung.
- Eingebettete Evaluatoren sind externe Beobachter, die in KI-Organisationen platziert werden.
- Anthropic beauftragte Accenture als ersten eingebetteten Evaluator, was Kritik auslöste.
- Evaluierungen verlagern sich von Modelltests hin zu Tests des gesamten Systems, einschließlich Harness und Agenten.
Verknüpfte Unternehmen
“Anthropic-CEO Dario Amodei unterbreitete den Vorschlag, externe Prüfer einzubinden.”
“Sam Altman erklärte, dass sich auch OpenAI dieser Praxis verpflichten werde.”
“Irene Solaiman, Chief Policy Officer bei Hugging Face, diskutierte auf dem TechCrunch Disrupt Probleme mit KI-Benchmarks.”
“METR erhielt Zugang zur Untersuchung des Zwischenfalls bei Hugging Face.”
“Meta hat sich nicht zur Einbindung externer Prüfer verpflichtet.”
“Google DeepMind hat sich nicht verpflichtet, obwohl Demis Hassabis eine Branchenstandardisierungsorganisation vorschlug.”
“Accenture wurde von Anthropic als erster eingebetteter Evaluator ausgewählt.”
Ontologie & Marktkonzepte
Verwandte Marktsignale & Trends
Aktuelle verifizierte Unternehmensentwicklungen und Deal-Aktivitäten in diesem Marktsegment.
Anthropic und OpenAI schlagen neutrale KI-Prüfer vor: Debatte um Wirksamkeit
Anthropic-CEO Dario Amodei schlägt vor, externe Sicherheitsprüfer direkt bei führenden Frontier-KI-Unternehmen wie Anthropic und OpenAI einzubetten, um Large Language Models kontinuierlich zu überwachen. Die Prüfer sollen vergleichbare Zugriffsrechte wie interne Risikoteams erhalten und Berichte mit minimalen Schwärzungen veröffentlichen dürfen. Branchenexperten bezweifeln jedoch den Nutzen dieses Ansatzes, da den Prüfern Durchsetzungsbefugnisse – etwa ein Vetorecht gegen Modell-Trainings oder -Releases – fehlen. Zudem bestehen Bedenken hinsichtlich potenzieller Interessenkonflikte, der Unabhängigkeit der Evaluatoren sowie fehlender gesetzlicher Rahmenbedingungen. Die Initiative verdeutlicht das Spannungsverhältnis zwischen freiwilliger Selbstregulierung der Tech-Branche und verbindlicher externer Aufsicht. Diese Entwicklung hat weitreichende strategische Implikationen für das gesamte Technologie- und Marketing-Ökosystem, das zunehmend auf KI-Infrastruktur setzt.
KI-Experten fordern unabhängige Sicherheitsevaluierungen für Frontier Models
Über 100 führende KI-Experten und Auditoren, darunter Geoffrey Hinton, fordern in einem offenen Brief echte Unabhängigkeit, Transparenz und Schutzrechte bei Sicherheitsprüfungen von Frontier Models. Das vom AI Evaluator Forum initiierte Schreiben richtet sich an KI-Entwickler wie Anthropic und OpenAI. Es reagiert unter anderem auf den Vorschlag von Anthropic-CEO Dario Amodei, Evaluatoren mitarbeiterähnliche Zugriffsrechte auf Modelle und Entwicklungsprozesse zu gewähren. Die Unterzeichner – darunter Forscher der Stanford University, der Johns Hopkins University sowie Organisationen wie METR – verlangen uneingeschränkte redaktionelle Kontrolle, umfassenden Schutz vor rechtlichen Repressalien und denselben Informationszugang wie interne Teams. Die Initiative definiert fünf Mindeststandards für glaubwürdige Embedded Evaluations. Ziel des Vorstoßes ist es, Modellanbieter verbindlich auf ihre Zusagen für fundierte Drittanbieter-Audits zu verpflichten und die Governance-Strukturen der Branche grundlegend zu stärken.
Anthropic gewährt METR mitarbeiterähnlichen Zugang zur KI-Bewertung
Anthropic hat einen bedeutenden Schritt in der KI-Sicherheit angekündigt, indem es einem Team von METR, einer Nonprofit-Organisation zur Bewertung von Frontier-KI-Modellen, mitarbeiterähnlichen Zugang gewährt. Dieser Zugang umfasst Unternehmenshardware, Büroräume und interne Tools und ermöglicht METR, eingehende Risikobewertungen durchzuführen. METR wird seine Ergebnisse veröffentlichen können, mit engen Redaktionsrechten für Anthropic. Diese Initiative folgt auf Anthropics Engagement für unabhängige Drittbewertungen und die Unterzeichnung des White House Accord on Super Intelligence. Das Unternehmen arbeitet außerdem mit SecureBio und Accenture als Evaluatoren zusammen und plant weitere Partnerschaften. Anthropic betont die Bedeutung unabhängiger Bewertung für Frontier-KI-Unternehmen und entwickelt ein dreistufiges System für den Evaluator-Zugang, wobei METR auf der höchsten Stufe steht.
Alle künftigen Signale zu Anthropic & Wettbewerbern im Briefing erhalten
Verpassen Sie keine M&A-Transaktionen, Führungswechsel, Kunden-Etats oder Produkt-Launches mehr. Polaris7 überwacht über 20.000 Primärquellen rund um die Uhr und liefert evidenzbasierte Telemetrie direkt in Ihr wöchentliches Executive Briefing.
