Prototyp detektiert Token-Verschwendung in Multi-Agenten-LLM-Systemen

Ein Entwickler hat das Tool Clew zur Erkennung redundanter Schleifen, Wiederholungsabfragen und Handoffs entwickelt, die bei interagierenden AI-Agenten die Token-Kosten treiben. Ein initialer Ansats zur Fehlervorhersage anhand von UC Berkeleys MAST-Data lieferte schlechte Ergebnisse (AUC ≈ 0,455) und wurde verworfen. Stattdessen erfolgte ein Schwenk auf eine unüberwachte Struktur-zu-Semantik-Kaskade basierend auf einem IBM-Research-Benchmark. Bei synthetischen Testdaten erreichte Clew einen F1-Score von 0,857 mit null False Positives über drei definierte Verschwendungsmuster hinweg. Der Einsatz an echten LangGraph-Instrumentierungen offenbarte konkrete Optimierungspotenziale wie das Zusammenlegen von LLM-Sub-Spans sowie das Ausschließen von Router-Spans ohne Token. Als verbleibendes Risiko erwies sich, dass der synthetisch kalibrierte Ähnlichkeitsschwellenwert möglicherweise nicht verlustfrei auf reale Outputs übertragbar ist. Der Autor sucht nun nach produktiven Multi-Agenten-Traces zur Validierung und zur Messung tatsächlicher Token-Einsparungen.