Dynamisches Tool Pruning mit Spring AI Vector Routing zur LLM-Optimierung

Ein technischer Beitrag auf DEV.to beschreibt ein Architekturmuster zur Reduzierung von Kontextüberlastung (Context Bloat) in Java-basierten LLM-Agenten-Workflows. Der Autor empfiehlt, Tool-Metadaten wie Namen, Beschreibungen und Parameter über Spring AI VectorStore in Vektordatenbanken wie PgVector oder Milvus zu indizieren. Anhand einer Ähnlichkeitssuche auf Basis des User Prompts werden pro Abfrage nur die relevantesten drei bis fünf Tools ermittelt und dynamisch in den ChatClient-Aufruf injiziert. Dieser Ansatz zielt darauf ab, den Token-Verbrauch zu senken, Latenzen sowie Halluzinationen durch irrelevante Tool-Aufrufe zu minimieren und Tool-Register unabhängig vom Agenten-Deployment zu skalieren. Der Artikel veranschaulicht die Umsetzung durch ein Codebeispiel, das eine Vektorsuche mit topK=3 und einem Ähnlichkeitsschwellenwert von 0,8 durchführt.