Beobachtetes Signal · 19. Aug. 2026 · Technical Release · Quelle: DEV Community · Relevanz: 2/5 · Sentiment: Positiv
Tokens-per-Second Benchmarks: Relevanz und Messung bei lokaler LLM-Inferenz
Dieser technische Leitfaden analysiert, was die Metrik „Tokens per Second“ (tok/s) bei lokaler LLM-Inferenz tatsächlich abbildet und weshalb isolierte Single-User-Werte oft irreführend sind. Faktoren wie Concurrency, Batching und Prompt-Processing beeinflussen die reale Verarbeitungsgeschwindigkeit maßgeblich. Der Bericht stellt Single-User-Latenzen dem Server-Throughput gegenüber und demonstriert den signifikanten Vorteil von vLLM durch Continuous Batching im Vergleich zu Ollama bei hoher paralleler Auslastung. Zudem werden zentrale Leistungskennzahlen wie P99-Latenz und Time to First Token (TTFT) definiert. Ergänzt durch praxisnahe Empfehlungen für Benchmarking-Tools wie vLLM und Ollama sowie Kalkulatoren von notAcalculator liefert der Leitfaden realistische Leistungserwartungen für diverse Modellgrößen auf Consumer-Hardware und gibt konkrete Ratschläge zur Interpretation und Durchführung valider Performance-Tests.
Der Leitfaden liefert Engineering-Teams praxisrelevante Grundlagen zur Latenz- und Durchsatzoptimierung für lokale LLM-Deployments und Kapazitätsplanungen, stellt jedoch kein marktveränderndes Plattform-Update dar.
Marktsignale zu vLLM in Echtzeit verfolgen
Polaris7 erfasst behördliche Registrierungen, Primärquellen, Führungswechsel und Deal-Aktivitäten rund um die Uhr. Erstellen Sie Ihren Polaris7-Workspace, um automatisierte Executive Briefings zu erhalten.
Wichtigste Kernpunkte & Evidenz
- Tokens bilden die zentrale Abrechnungs- und Performance-Einheit für LLMs; das Tokenizing bestimmt Kosten und messbare tok/s.
- In einem Red-Hat-Benchmark auf einer A100 (40GB) mit Llama 3.1 8B erreichte vLLM einen kombinierten Throughput von rund 793 tok/s gegenüber circa 41 tok/s bei Ollama unter hoher Concurrency (Faktor ~19).
- Der Kernvorteil von vLLM liegt in Continuous Batching und PagedAttention, wodurch der Gesamtdurchsatz bei parallelen Anfragen gegenüber Single-Request-Tools drastisch skaliert.
- Relevante Metriken variieren je nach Anwendungsfall: Durchsatz (tok/s), P99-Latenz unter Volllast und Time to First Token (TTFT), welche primär von der Prompt-Verarbeitung abhängt.
- Orientierungswerte: Rund 30–40 tok/s ermöglichen flüssige Chat-Interaktionen; größere Modelle (z. B. 70B) weisen auf identischer Hardware deutlich geringere Geschwindigkeiten auf als 7B-Modelle.
Verknüpfte Unternehmen
3 verknüpfte Unternehmen“Deshalb ermöglicht die Schlüsselinnovation von vLLM, bestehend aus Continuous Batching und PagedAttention, einer einzigen GPU die Bewältigun...”
“Dies ist der Fall für einzelne Benutzer, bei dem Ollama und vLLM nahe beieinander liegen und Ollama auf bestimmter Hardware sogar leicht füh...”
“Unter Dauerlast maß der Red Hat-Benchmark einen vLLM-Spitzendurchsatz von rund 793 tok/s gegenüber etwa 41 tok/s bei Ollama.”
Ontologie & Marktkonzepte
Verwandte Marktsignale & Trends
Aktuelle verifizierte Unternehmensentwicklungen und Deal-Aktivitäten in diesem Marktsegment.
LLM-Performance messen mit AWS Labs' LLMeter
Dieser Artikel bietet eine praxisnahe Anleitung zur Nutzung von AWS Labs' LLMeter, einer Python-basierten Benchmarking-Bibliothek für Large Language Models. Er erläutert zentrale Leistungskennzahlen wie Time to First Token (TTFT), Tokens Per Second (TPS), Time to Last Token (TTL) sowie Cost Per Request und zeigt, wie Experimente, Endpunkte und Kostenmodelle konfiguriert werden. LLMeter setzt auf modernes Python (3.10+), nutzt asyncio für parallele Client-Simulationen und empfiehlt Streaming-Endpunkte für präzise Latenzmessungen. Der Leitfaden behandelt Lasttests mit mehreren Clients, interaktive HTML-Visualisierungen auf Basis von Plotly sowie ein minimalistisches Live-Dashboard für das Echtzeit-Monitoring. Ergänzend verweist der Artikel auf das LLMeter-GitHub-Repository, ein QAInsights-Dashboard-Skript und eine Video-Anleitung.
Neun lokale LLM-Schnittstellen im Praxistest auf einer GPU
Eine praxisnahe Untersuchung evaluierte neun Schnittstellen für lokale Large Language Models auf derselben GPU über einen Zeitraum von rund zwei Wochen. Im Fokus standen dabei Zuverlässigkeit, Offload-Verhalten, Datei-I/O und Kontextverarbeitung statt reiner Tokens pro Sekunde. Die Ergebnisse zeigen erhebliche Varianzen, die primär durch die Runtime beziehungsweise das Framework statt durch die Modellgewichte verursacht werden: Ollama erwies sich als zuverlässiger Standard (32,9 Tokens/Sekunde bei einem 30B Mixture-of-Experts-Modell mit 443 Tokens/Sekunde Prefill), während llama.cpp nach gezieltem Tuning noch höhere Geschwindigkeiten erreichte. LM Studio überzeugte bei der strukturierten Datenextraktion, wohingegen andere Tools wie Unsloth deutliche Kontext-Limits aufwiesen oder wie Claude Code mangels System-Prompt-Parsing scheiterten. Der Autor schließt daraus, dass Benchmarks reale Anwendungsfälle abbilden müssen, da das Verhalten der Tools und nicht nur die Modellwahl die Praxistauglichkeit bestimmt.
Schluss mit Einheitswerten: Wie man LLM-Latenzen richtig misst
Der Autor erklärt, dass die Erfassung einer einzigen Latenzzahl für LLM-Anfragen verschiedene Ursachen für gefühlte Verzögerungen verschleiert. Er schlägt vor, die Latenz von LLM-Funktionen in separate Messwerte wie queue_ms, ttft_ms (Time-to-first-useful-token), generation_ms, tool_ms und end_to_end_ms zu unterteilen. Der Beitrag enthält ein minimales Node.js-Beispiel unter Verwendung des OpenAI SDK, das diese Metriken protokolliert und demonstriert, warum separate Dashboards für Modell und Funktion nützlich sind. Zudem wird empfohlen, Metriken nach Merkmalen, Modellen, Anbietern und Status zu gruppieren sowie die Zeitmessung für fehlgeschlagene Anfragen beizubehalten, damit langsame Fehler nicht aus den Dashboards herausfallen. Die wichtigste empfohlene operative Metrik ist die End-to-End-Zeit von der Benutzeraktion bis zum vollständig sichtbaren Ergebnis, was Teams bei der Optimierung interaktiver KI-Funktionen und beim Debugging unterstützt.
Alle künftigen Signale zu vLLM & Wettbewerbern im Briefing erhalten
Verpassen Sie keine M&A-Transaktionen, Führungswechsel, Kunden-Etats oder Produkt-Launches mehr. Polaris7 überwacht über 20.000 Primärquellen rund um die Uhr und liefert evidenzbasierte Telemetrie direkt in Ihr wöchentliches Executive Briefing.