Beobachtetes Signal · 30. Mai 2026 · Technical Release · Quelle: DEV Community · Relevanz: 2/5 · Sentiment: Neutral
Leitfaden für gebrauchte RTX 3090 bei lokalen LLMs (2026)
Dieser Einkaufsfaden aus dem Jahr 2026 bewertet gebrauchte NVIDIA RTX 3090 Grafikkarten für die lokale Inferenz von Large Language Models (LLMs). Der Autor argumentiert, dass die 3090 dank ihrer 24GB VRAM das beste Preis-Leistungs-Verhältnis für den Betrieb von Modellen mit über 30 Milliarden Parametern (z. B. CodeLlama 34B) bei einem Gebrauchtpreis von rund 750–900 US-Dollar bietet, während neue Karten unter 1.600 US-Dollar in dieser Preisklasse keinen vergleichbaren VRAM aufweisen. Der Leitfaden liefert VRAM-Anforderungen für gängige Modellgrößen, vergleichende Durchsätze sowie Preise gegenüber RTX 4090 und 5090 und enthält eine Schritt-für-Schritt-Prüfliste (48–72 Stunden) für GPU-Z-Verifizierung, VRAM-Stresstests, Temperatur- und Drosselungsprüfungen sowie Inspektionen von Geräuschen und Backplate. Er warnt vor abgenutzten Mining-Karten, empfiehlt den Kauf bei Verkäufern mit mindestens 14 Tagen Rückgaberecht und nennt konkrete Tests und Telemetriewerte zur Erkennung defekter VRAMs oder thermischer Probleme. Veröffentlichungsdatum: 30.05.2026.
Praktische Hardware-Empfehlungen für die lokale LLM-Inferenz beeinflussen Infrastrukturentscheidungen und Kosten von Entwicklern, sind jedoch nicht branchenverändernd; sie sind besonders für Teams relevant, die lokale Modelle oder Multi-GPU-Setups betreiben.
Marktsignale zu NVIDIA in Echtzeit verfolgen
Polaris7 erfasst behördliche Registrierungen, Primärquellen, Führungswechsel und Deal-Aktivitäten rund um die Uhr. Erstellen Sie Ihren kostenlosen Explorer-Workspace, um automatisierte Executive Briefings zu erhalten.
Wichtigste Kernpunkte & Evidenz
- Veröffentlichungsdatum: 30.05.2026
- RTX 3090 verfügt über 24GB VRAM (24384 MB) und gilt 2026 als beste gebrauchte GPU nach VRAM pro Dollar (~750–900 USD)
- VRAM-Anforderungen: 7B ≈ 4,5GB, 13B ≈ 8GB, 34B ≈ 20–22GB (benötigt 24GB), 70B ≈ 40GB+ (erfordert zwei 24GB oder 48GB+ GPUs)
- Benchmark-Durchsatz (34B, Q4_K_M): RTX 3090 ≈ 12–18 tok/s (ca. 14 tok/s in der Vergleichstabelle), RTX 4090 ≈ 20–25 tok/s, RTX 5090 ≈ ~40 tok/s
- Prüfliste umfasst: 24384 MB in GPU-Z verifizieren, VRAM-Stresstests ausführen (CUDA-Z, memtest_vulkan, OCCT GPU Memory Test oder PyTorch-Allokation), 30-minütiger Inferenz-Temperatur- und Drosselungstest mit nvidia-smi innerhalb eines ≥14-tägigen Rückgabefensters
Verknüpfte Unternehmen
3 verknüpfte UnternehmenOntologie & Marktkonzepte
Verwandte Marktsignale & Trends
Aktuelle verifizierte Unternehmensentwicklungen und Deal-Aktivitäten in diesem Marktsegment.
GPU-Vergleich 2026: NVIDIA, AMD und Intel für KI-Workloads im Test
Eine aktuelle Analyse vergleicht Workstation- und Prosumer-GPUs für lokale LLM-Inferenz und KI-Workloads im Jahr 2026: NVIDIAs Blackwell-Architektur (RTX 50-Serie), AMDs Radeon AI Pro R9700 sowie Intels Arc Pro B70. Für reale Transformer-Inferenz erweisen sich VRAM-Kapazität, Speicherbandbreite und die Reife des Software-Ökosystems als weitaus kritischer als theoretische Spitzenwerte (AI TOPS). Die Analyse liefert konkrete VRAM-Richtwerte für gängige Modellgrößen sowie Spezifikations- und Preisvergleiche inklusive Faktoren wie Leistungsaufnahme, Thermik, Formfaktor und Multi-GPU-Setups. Im Ergebnis bleibt NVIDIA dank enormer Bandbreite und ausgereiftem CUDA/TensorRT-Stack die Benchmark für High-End-Inferenz. AMDs R9700 positioniert sich dank ROCm-Support als starkes Preis-Leistungs-Angebot für Workstations, während Intel mit der B70 eine budgetfreundliche 32-GB-Option im wachsenden oneAPI-Ökosystem bietet.
Alibabas Qwen 3.6 35B-A3B MoE-Modell und lokaler 24GB VRAM-Leitfaden
Der Artikel analysiert Alibabas Qwen 3.6 35B-A3B, ein am 16. April 2026 unter Apache 2.0 veröffentlichtes Mixture-of-Experts (MoE) LLM, und erläutert, warum das Modell die Speicherung aller 35 Milliarden Parameter im Speicher erfordert, woraus sich ein praktisches VRAM-Minimum von 24GB ergibt. Benchmarks und Quantisierungsleitfäden zeigen, dass das Modell auf Consumer-GPUs mit 24GB einen hohen Tokendurchsatz erzielt, wie etwa rund 120 Token pro Sekunde auf einer RTX 4090 mit Q4_K_M und angepassten llama.cpp-Einstellungen. Der Beitrag vergleicht das MoE 35B-A3B mit dem dichten Qwen 3.6 27B, das in rund 16GB passt und bei SWE-bench besser abschneidet, detailliert die VRAM-Auslastung durch Quantisierung sowie KV-Cache und liefert Hardware- und Backend-Empfehlungen für die lokale Bereitstellung über Ollama, llama.cpp, vLLM und Unsloth.
Ollama vs. llama.cpp vs. vLLM: Der Leitfaden für lokale LLMs 2026
Ein umfassender Leistungsvergleich der drei führenden Inferenz-Tools für lokale LLMs im Jahr 2026 – Ollama, llama.cpp und vLLM – analysiert Einsatzzwecke, Performance-Kompromisse, Modellformate und GPU-Anforderungen. Ollama positioniert sich als benutzerfreundliche Einsteigerlösung (basiert auf llama.cpp und nutzt GGUF). llama.cpp ist eine in C++ geschriebene Engine für maximale Single-GPU-Performance und präzise Inferenz-Steuerung. vLLM hingegen fungiert als Python-Inferenzserver, der dank PagedAttention-Batching auf hohen Durchsatz und Multi-User-Produktionsumgebungen ausgelegt ist, jedoch NVIDIA CUDA sowie erheblichen VRAM-Spielraum voraussetzt. Der Leitfaden liefert detaillierte VRAM-Empfehlungen im direkten Vergleich und zeigt typische Fehlentscheidungen bei der Architekturauswahl auf.
Marktsignale & Strategische Shifts in Echtzeit verfolgen
Erstellen Sie benutzerdefinierte Watchlists, um automatisierte, evidenzbasierte Executive Briefings zu erhalten, sobald wesentliche Signale oder Marktverschiebungen auftreten.