Beobachtetes Signal · 28. Juli 2026 · Technical Report · Quelle: DEV Community · Relevanz: 2/5 · Sentiment: Neutral
GPU-Accounting erfasst nur beendete Prozesse
Eine technische Analyse verdeutlicht die Grenzen von NVIDIAs prozessbasiertem GPU-Accounting über den nvidia-smi accounting.mode. Der Treiber führt ein Post-Mortem-Ledger bereits beendeter Prozesse, wobei die Einträge jedoch erst beim Beenden geschrieben werden. Sie enthalten lediglich PIDs statt persistenter Befehlsnamen sowie eine gesampelte gpu_utilization, die häufig 0 % anzeigt. Da der Accounting-Modus im Treiberspeicher liegt, kann er bei einem Entladen des Treibers zurückgesetzt werden, was ein leeres Ledger zur Folge hat, das von einer inaktiven GPU optisch nicht zu unterscheiden ist. Eine präzise Ressourcenzuordnung erfordert daher einen Live-Sampler zur Laufzeit, um PIDs aktiv abzubilden. Andernfalls bleiben langlebige Daemons oder Kurzzeit-Jobs unerfasst. Der Autor plädiert dafür, die Größe des nicht zugeordneten Kontingents transparent auszuweisen, statt dieses stillschweigend umzuverteilen.
Eine praxisnahe technische Erkenntnis zur GPU-Kosten- und Leistungserfassung für Engineering-Teams, die für lokale Inferenzen und Infrastruktur-Observability relevant ist.
Marktsignale zu NVIDIA in Echtzeit verfolgen
Polaris7 erfasst behördliche Registrierungen, Primärquellen, Führungswechsel und Deal-Aktivitäten rund um die Uhr. Erstellen Sie Ihren kostenlosen Explorer-Workspace, um automatisierte Executive Briefings zu erhalten.
Wichtigste Kernpunkte & Evidenz
- NVIDIA-Treiber unterstützen prozessbasiertes Accounting via nvidia-smi accounting.mode, wobei die Liste der erfassten Apps nach dem Prozessende persistiert.
- Die Puffergröße des Treiber-Accountings ist auf 4000 Einträge begrenzt (accounting.buffer_size = 4000).
- Das Ledger enthält eine gesampelte gpu_utilization-Spalte und eine kumulierte Zeitspalte; im analysierten Fall stammten 97,6 % der GPU-Millisekunden von Zeilen mit 0 % Auslastung.
- Der Accounting-Modus ist ein flüchtiger Treiberstatus; beim Entladen des Treibers (ohne persistence_mode) wird er zurückgesetzt und die Liste bleibt nach starker Nutzung leer.
- Erfasste Einträge speichern PIDs statt Befehlsnamen, sodass eine verlässliche Zuordnung einen separaten Live-Sampler zur Laufzeit erfordert.
Verknüpfte Unternehmen
2 verknüpfte Unternehmen“It turns out NVIDIA's driver has kept per-process accounting for years, and it survives the process....”
“The `13149789` attributed to `ollama` is not `ollama serve`; it is the `llama-server` worker processes it spawns and reaps on model swaps....”
Ontologie & Marktkonzepte
Verwandte Marktsignale & Trends
Aktuelle verifizierte Unternehmensentwicklungen und Deal-Aktivitäten in diesem Marktsegment.
KI-GPU-Cluster oft fehldimensioniert und zu 95 Prozent ungenutzt
Der Artikel kritisiert, dass gängige Monitoring-Metriken die bloße Speicherauslastung (Modell im VRAM) fälschlicherweise mit echter Rechenaktivität gleichsetzen, was zu massiver Überprovisionierung und unnötigen Kosten führt. Es werden drei Inaktivitätsmodi definiert – Batch Idle, Inference Idle und Provisioning Idle –, die auf unzureichende Nachfrageprognosen und fehlerhafte Annahmen zur Concurrency zurückzuführen sind. Am Beispiel eines 8× A100 Clusters für rund 38.000 US-Dollar pro Monat wird verdeutlicht, wie sich eine dauerhaft geringe Auslastung zu jährlichen Verlusten im sechsstelligen Bereich summiert. Der Autor kommt zu dem Schluss, dass rein algorithmische Anpassungen im Scheduler nicht ausreichen, sondern eine präzisere Nachfragemodellierung bereits in der Designphase erforderlich ist.
Versteckte Kosten beim Cloud-GPU-Training: Egress, Leerlauf und Vendor Lock-in
Diese Analyse zeigt, dass der beworbene GPU-Stundensatz die tatsächlichen Trainingskosten oft unterschätzt, da wesentliche Faktoren wie Leerlaufzeiten, Datentransfergebühren und Vendor Lock-in unberücksichtigt bleiben. Aktuelle Branchenstudien belegen, dass die durchschnittliche GPU-Auslastung in manchen Kubernetes-Umgebungen bei nur rund fünf Prozent liegt, wodurch Leerlaufzeiten zu einem Hauptkostentreiber werden. Zudem belasten wiederkehrende Datensatz- und Checkpoint-Transfers das Budget angesichts gängiger Egress-Raten (AWS bei rund 0,09 USD/GB, Google Cloud bei ca. 0,12 USD/GB) erheblich und erzeugen eine Datenhwerkraft, die Exit-Kosten steigen lässt. Empfohlene Gegenmaßnahmen umfassen proaktive Leerlauferkennung mittels nvidia-smi, präzises Hardware-Right-Sizing, die Lokalisierung von Compute und Storage, Datenkompression sowie eine frühzeitige Modellierung der Wechselexporte. Der Markt verzeichnet daher einen Trend hin zu spezialisierten und regionalen GPU-Anbietern, die mit transparenten Preisen und geringen oder entfallenden Egress-Gebühren punkten.
GPU-Verschwendung in Kubernetes-Clustern erkennen und quantifizieren
Dieser technische Leitfaden erläutert, wie GPU-Kapazitäten in Kubernetes-Clustern trotz scheinbar gesunder Pod-Metriken verschwendet werden können, und beschreibt praxisnahe Methoden zur Aufdeckung und Quantifizierung dieser Ineffizienzen. Der Artikel definiert gängige Verschwendungsmuster wie Leerlaufallokationen, falsche Hardware-Zuordnungen, CPU-bedingte Blockaden, KV-Cache-Druck sowie verwaiste Workloads und zeigt auf, dass Standard-Kubectl- und Node-Metriken diese Signale übersehen. Zur Behebung wird die Bereitstellung von NVIDIA DCGM über den dcgm-exporter empfohlen, um detaillierte GPU-Telemetriedaten an Prometheus zu übertragen; zudem werden spezifische Metriken, Schwellenwert-Heuristiken für Warnmeldungen sowie eine Prometheus-Abfrage zur Identifizierung von Leerlauf-GPUs vorgestellt. Ergänzend werden Tools wie der Open-Source-Scanner piqc für Schnelascans und Paralleliq Introspect für modellbewusste Analysen sowie eine einfache Kostenformel zur Umrechnung der Verschwendung in tägliche Dollarbeträge präsentiert.
Marktsignale & Strategische Shifts in Echtzeit verfolgen
Erstellen Sie benutzerdefinierte Watchlists, um automatisierte, evidenzbasierte Executive Briefings zu erhalten, sobald wesentliche Signale oder Marktverschiebungen auftreten.