Beobachtetes Signal · 20. März 2026 · Funding · Quelle: Aakash Gupta · Relevanz: 3/5 · Sentiment: Positiv
Evals ersetzen traditionelle PRDs in modernen KI-Produktteams
Eine aktuelle Podcast-Episode und Live-Demo mit Ankur Goyal, Gründer und CEO von Braintrust, verdeutlicht, dass strukturierte 'Evals' bestehend aus Datensätzen, Task-Definitionen und Scoring-Funktionen traditionelle PRDs für die KI-Produktentwicklung ablösen sollten. Braintrust, das kürzlich eine Series-B-Finanzierung bei einer Bewertung von 800 Millionen US-Dollar bekannt gab, unterstützt Eval-Workflows für namhafte Kunden wie Replit, Vercel, Airtable, Ramp, Zapier und Notion. In der Demo verbanden die Moderatoren einen Linear-MCP-Server, generierten automatisiert Testdaten mit Opus, iterierten Prompts sowie Scoring-Funktionen und steigerten den Modell-Score von 0 auf 0,75. Der Beitrag erläutert Offline- versus Online-Evals sowie das Framework aus Daten, Tasks und Scores. Er empfiehlt Produktmanagern, Evals und Scoring-Funktionen direkt zu verantworten, um langlebige und modellunabhängige Produktspezifikationen zu etablieren.
Eine praxisnahe Methodik, die die Spezifikation und das Testen von KI-Funktionen grundlegend verändert – Evals fungieren hierbei als persistente, modellunabhängige PRDs –, flankiert von einer beachtlichen Series-B-Finanzierung bei einer Bewertung von 800 Millionen US-Dollar, die das starke Investoreninteresse an Eval-Tooling unterstreicht.
Marktsignale zu Airtable in Echtzeit verfolgen
Polaris7 erfasst behördliche Registrierungen, Primärquellen, Führungswechsel und Deal-Aktivitäten rund um die Uhr. Erstellen Sie Ihren kostenlosen Explorer-Workspace, um automatisierte Executive Briefings zu erhalten.
Wichtigste Kernpunkte & Evidenz
- Braintrust hat eine Series-B-Finanzierung bei einer Bewertung von 800 Millionen US-Dollar bekannt gegeben.
- Braintrust dient als Eval-Plattform für Unternehmen wie Replit, Vercel, Airtable, Ramp, Zapier und Notion.
- Anwender führen im Jahresvergleich zehnmal mehr Evals durch; Braintrust-Kunden verzeichnen durchschnittlich 12,8 Experimente pro Tag.
- In einer Live-Demo wurde eine Verbindung zu einem Linear-MCP-Server hergestellt, Testdaten via Opus generiert, Prompts und Scores iteriert und der Eval-Score von 0 auf 0,75 erhöht.
- Braintrust hat die nutzerbasierte Preisgestaltung abgeschafft, um Evals in Produktteams breiter zugänglich zu machen.
Verknüpfte Unternehmen
5 verknüpfte UnternehmenOntologie & Marktkonzepte
Verwandte Marktsignale & Trends
Aktuelle verifizierte Unternehmensentwicklungen und Deal-Aktivitäten in diesem Marktsegment.
Braintrust nutzt AI Agents, Evals und CI für Softwareentwicklung
Ankur Goyal, Gründer und CEO von Braintrust, erläutert, wie sein Unternehmen AI Agents, automatisierte Evals und eine verbesserte CI einsetzt, um die Entwicklungsgeschwindigkeit und Produktqualität zu steigern. Er beschreibt tagelange Benchmarking-Experimente mit Coding Agents (unter Verwendung von Codex) über Datenbankindizes, Column-Store-Formate und Execution Engines hinweg. Zudem stellt er das „Agent Line“-Framework vor, um zu bestimmen, welche Aufgaben an Agents delegiert werden können, und erklärt, wie Evals als moderne PRDs und Bewertungsfunktionen dienen, um Qualität messbar zu machen. Das Gespräch behandelt operationelle Muster wie Foreground- und Background-Agents, parallele Agents, das Erfassen von Designtäuschung durch wiederholbare Evals, Prompt-Iteration in sicheren Playgrounds sowie die strategische Bedeutung von Investitionen in CI/CD für KI-beschleunigte Engineering-Teams.
Unlocking AI Evaluation: Insights from Aakash Gupta and Ankit Shukla
Ankit Shukla outlines a practical, product-focused guide to evaluating large language models (LLMs) for product managers. The piece defines three evaluation types—offline (pre-launch), online (production monitoring) and human (spot checks)—and explains how to build a concrete evaluation rubric with 4–6 categories scored on a 1–5 scale and reference examples. It recommends using task-appropriate metrics (precision/recall/F1/MRR/NDCG for retrieval; BLEU/ROUGE/BERTScore for generation) and shows how to build an LLM judge (feed rubric + examples + input + output), run calibration tests, and automate scoring (use stronger model as judge; judges at temperature=0). The article also lays out a three-layer production monitoring stack (system, quality, business), alert thresholds, continuous sampling/human review, and feedback loops to improve tests and rollback criteria.
Advanced Evals: Verborgene KI-Fehler in Produkten systematisch beheben
Dieser Leitfaden von Hamel Husain und Shreya Shankar bietet ein Framework für fortgeschrittene Evaluationen (Evals) in KI-Produkten. Die Autoren betonen, dass die strukturierte Fehlererkennung noch vor der Definition von Metriken erfolgen muss, analog zum Product Discovery. Vorgestellt wird ein dreistufiger Prozess zur Fehleranalyse mithilfe von Coding Agents wie Codex oder Claude, wobei Risiken wie Automation Bias und Criteria Drift adressiert werden. Ein neues Open-Source-Plugin ('evals skills') unterstützt dabei beim Trace Review und Clustering. Praxisbeispiele von Unternehmen wie Shopify, Cursor, Ramp und Harvey belegen, wie fundierte Evals zu massiven Effizienz- und Qualitätsgewinnen führen. Der Beitrag thematisiert zudem synthetische Datengenerierung sowie Human-in-the-Loop-Annotationen und empfiehlt einen Richtwert von mindestens 100 Traces für belastbare Analysen.
Marktsignale & Strategische Shifts in Echtzeit verfolgen
Erstellen Sie benutzerdefinierte Watchlists, um automatisierte, evidenzbasierte Executive Briefings zu erhalten, sobald wesentliche Signale oder Marktverschiebungen auftreten.