Beobachtetes Signal · 17. Aug. 2026 · Technical Release · Quelle: DEV Community · Relevanz: 2/5 · Sentiment: Positiv
Qwen 3.8-27B lokal auf RTX 3090 mit Unsloth und DeepSeek betreiben
Ein technischer Leitfaden von Jacques Gariépy beschreibt Schritt für Schritt, wie sich das Modell Qwen 3.8-27B lokal auf einer NVIDIA RTX 3090 mit 24 GB VRAM ausführen lässt. Als lokale Inferenz-Engine dient Unsloth mit llama.cpp CUDA 13, während DeepSeek Harness als Agent-Orchestrierungs-Runtime fungiert. Der Leitfaden behandelt den Bezug von Token, einen Windows-spezifischen SSLKEYLOGFILE-Patch, die Kompilierung sowie empfohlene Startparameter für llama-server.exe wie FlashAttention-2, Q8-KV-Cache und 32k-Kontext. Zudem werden die Konfiguration via .env und Cordis, Windows-Fehlerbehebungen sowie gemessene Benchmarks von rund 125 Prompt-Token/s und 38 generierten Token/s bei einer VRAM-Auslastung von etwa 23,5 GB erläutert.
Praxisnaher, reproduzierbarer Leitfaden zum Self-Hosting eines 27B-LLMs auf Consumer-GPU-Hardware; relevant für KI-Infrastruktur, wenngleich zu nischig für eine breite AdTech-Marktwirkung.
Marktsignale zu DeepSeek in Echtzeit verfolgen
Polaris7 erfasst behördliche Registrierungen, Primärquellen, Führungswechsel und Deal-Aktivitäten rund um die Uhr. Erstellen Sie Ihren kostenlosen Explorer-Workspace, um automatisierte Executive Briefings zu erhalten.
Wichtigste Kernpunkte & Evidenz
- Anleitung zum lokalen Betrieb des quantisierten Modells Qwen 3.8-27B (UD-Q4_K_XL) auf einer NVIDIA RTX 3090 mit 24 GB VRAM.
- Nutzt den llama.cpp CUDA 13 Inferenzserver von Unsloth mit FlashAttention-2 und Q8-KV-Cache-Kompression.
- DeepSeek Harness (deepseek-ai) dient als Node.js/TypeScript Agent-Orchestrierungs-Runtime mit Cordis-Plugins.
- Gemessene Benchmarks: 125,37 Prompt-Token/s und 38,19 generierte Token/s bei ca. 23,5 GB VRAM-Auslastung.
- Dokumentiert einen Windows-Installationsfehler durch SSLKEYLOGFILE inklusive PowerShell-Workaround.
Verknüpfte Unternehmen
3 verknüpfte Unternehmen“Clone and build the DeepSeek Harness repository (https://github.com/deepseek-ai/deepseek-harness) to use the DeepSeek Harness runtime (Node....”
“If downloading GGUF models from the Hugging Face Hub, create an access token (hf_...) at huggingface.co/settings/tokens and configure HF_TOK...”
“The NVIDIA RTX 3090 (24 GB VRAM) is recommended for self-hosting 27–32B parameter models and is used for the documented setup and benchmarks...”
Ontologie & Marktkonzepte
Verwandte Marktsignale & Trends
Aktuelle verifizierte Unternehmensentwicklungen und Deal-Aktivitäten in diesem Marktsegment.
Qwen 3.6-35B-A3B auf heterogenem 30GB-GPU-Setup ausgeführt
Ein Entwickler beschreibt das Upgrade einer autonomen Minecraft-KI namens „Kiwi-chan“, die auf einem heterogenen 30GB-Consumer-GPU-Rig (bestehend aus RTX 3060, RTX 3050, GTX 1660 Ti und GTX 1660 Super) betrieben wird, auf das MoE-Modell Qwen 3.6-35B-A3B-Instruct. Die Active 3 Billion-Architektur von Qwen, die etwa 3,5 Milliarden Parameter pro Token aktiv nutzt, übertrifft dichte Modelle auf gemischten PCIe-Systemen durch geringere Rechen- und Bandbreitenengpässe. In Kombination mit dem Split Mode Graph Tensor-Parallelismus von ik_llama.cpp und einer 8-Bit-Quantisierung des KV-Caches (-ctk q8_0 -ctv q8_0) erreicht das Setup unter Ubuntu Server 24.04 LTS mit CUDA 13.0 einen höheren Durchsatz von rund 70–90 Token/s gegenüber 20–35 Token/s bei dichten Modellen sowie ein nutzbares Kontextfenster von 32K bis 64K. Der Beitrag liefert konkrete Deployment-Flags und Empfehlungen für das Tensor-Splitting auf unterschiedlichen GPUs.
Lokale LLMs erreichen praktische Alltagstauglichkeit auf Consumer-Hardware
Ein Entwickler berichtet über signifikante Fortschritte bei der lokalen Ausführung von Large Language Models auf Consumer-Hardware mit zwei RX6800 GPUs und 64 GB RAM. Neuere Qwen-Modelle bieten nun eine überzeugende Performance: Das dichte Modell Qwen3.6-27B überzeugt durch hohe Genauigkeit, während die Mixture-of-Experts-Variante Qwen3.6-35B-A3B durch Geschwindigkeit für agentenbasierte Aufgaben punktet und Qwen-Coder-Next-80B speziell für Programmieraufgaben optimiert ist. Auf Infrastrukturebene verbessern Neuerungen wie der experimentelle Router-Modus von llama.cpp sowie optimierte Attention-Checkpoints und Kontext-Slots die Handhabung erheblich. Ergänzt durch Harnesses wie Hermes und Pi ermöglichen diese lokalen Inferenz-Lösungen eine datenschutzkonforme, netzwerkunabhängige und kosteneffiziente Entwicklung ohne kommerzielle Inferenz-Anbieter. Dies erlaubt Teams eine flexible Evaluierung von On-Premise-Szenarien und Datenschutzanforderungen abseits zentralisierter Cloud-Infrastrukturen.
Qwen 3.5 gewinnt lokales Benchmark dank direktem llama.cpp-Einsatz
In einer unabhängigen Benchmark-Runde 3 wurde Ollama durch einen direkten llama.cpp-Server ersetzt, um die lokale LLM-Performance präziser zu messen. Getestet wurden fünf Modelle (Qwen 3.5, Gemma 4, Devstral, Codestral und DeepSeek R1) anhand einer automatisierten Suite mit 12 Aufgaben in fünf Kategorien auf einem NVIDIA RTX 5090 System. Qwen 3.5 dominierte das Leaderboard bei Coding, Agenten-Performance und gewichtetem Gesamtscore mit rund 206,7 Tokens pro Sekunde und einem Score von 85,3. Die Migration setzte rund 44 GB Speicherplatz frei, ermöglichte granulare Inferenz-Flags und verdeutlichte den Durchsatzvorteil von Mixture-of-Experts-Modellen bei lokalen Deployments.
Marktsignale & Strategische Shifts in Echtzeit verfolgen
Erstellen Sie benutzerdefinierte Watchlists, um automatisierte, evidenzbasierte Executive Briefings zu erhalten, sobald wesentliche Signale oder Marktverschiebungen auftreten.