Zustufige LLM-Pipeline: Günstiges Standardmodell mit starkem Fallback

Der Beitrag beschreibt ein zweistufiges LLM-Routing-Muster, das standardmäßig ein kostengünstiges Modell (Lane A) ausführt und ein stärkeres, teureres Modell (Lane B) nur dann aufruft, wenn eine externe, deterministische Prüfung fehlschlägt. Der Autor stellt ausführbaren Python-Beispielcode bereit, der Anfragen leitet, objektive Prüfungen wie pytest, JSON-Validierung oder Regex durchführt, Prompts fingerprintet und jede Routing-Entscheidung in ein JSONL-Audit-Log schreibt. Das Design betont, dass Eskalationsentscheidungen durch deterministische Nicht-LLM-Validatoren getroffen werden müssen. Es empfiehlt eine Beschränkung auf zwei Spuren zur Latenz- und Komplexitätskontrolle und beschreibt, wie aggregierte Audit-Logs messbare Fallback-Raten und effektive Kosten-pro-Erfolg-Berechnungen ermöglichen. Zudem wird offengelegt, dass MonkeyCode kostenlosen Modellzugriff bereitstellte und die Pipeline über OpenAI-kompatible Chat-APIs anbieteragnostisch ist.