Alle llama.cpp Router-Modelle ohne Neustart entladen

Der Artikel erläutert, wie sich VRAM im Router-Modus von llama.cpp durch programmatisches Entladen von Modellen freigeben lässt, ohne den Server neu zu starten. Der Router-Modus bietet Endpunkte für das Modellmanagement wie Listen, Laden, Entladen sowie eine LRU-Verdrängung bei Erreichen von --models-max, verfügt jedoch über keinen dokumentierten Endpunkt zum globalen Entladen. Das empfohlene Vorgehen besteht darin, alle Modelle abzurufen, nach dem Status 'loaded' zu filtern und den Endpunkt /models/unload aufzurufen. Der Autor stellt ein produktionsreifes Bash-Skript bereit, geht auf JSON-Strukturvariationen ein, warnt vor dem automatischen Nachladen von Modellen bei eintreffenden Anfragen und empfiehlt die Unterbrechung des Client-Traffics. Zudem werden praxisnahe Tipps zur Fehlerbehebung sowie Integrationen beschrieben.