Beobachtetes Signal · 29. Juni 2026 · Technical Release · Quelle: DEV Community · Relevanz: 2/5 · Sentiment: Neutral
Offline-RAG-Agent mit LangGraph, Ollama und Qdrant umgesetzt
Ein Entwickler demonstriert die vollständige Ausführung eines Retrieval-Augmented Generation (RAG) Agenten komplett offline auf einem Laptop. Zum Einsatz kommen die LangGraph-Infrastruktur, lokal via Ollama gehostete Modelle für Chat und Embeddings sowie ein eingebetteter Qdrant Vector Store – gänzlich ohne API-Keys oder Docker. Das Projekt nutzt ein Provider-Swap-Design, sodass derselbe Code durch einfache Konfigurationsänderungen wie CHAT_PROVIDER auf Produktionsumgebungen mit OpenAI und Remote-Qdrant umgestellt werden kann. Der Beitrag beleuchtet die Ingest-Pipeline, einen Erkennungstrick für die Embedding-Dimensionalität sowie praktische Hürden wie intermittierende leere Antworten des lokalen 9B-Modells, Prozesssperren des eingebetteten Qdrants, Dimensionskonflikte bei Modellwechseln und die Kaltstartlatenz beim ersten Laden des Modells.
Die praktische Demonstration einer komplett offline nutzbaren RAG-Infrastruktur mit konfigurationsbasiertem Wechsel zu gehosteten Diensten bietet wertvolle Ansätze für Entwickler und Teams, die lokale Test- und Datenschutz-Workflows evaluieren. Es handelt sich jedoch um ein technisches How-to und keine marktuwälzende Ankündigung.
Marktsignale zu Ollama in Echtzeit verfolgen
Polaris7 erfasst behördliche Registrierungen, Primärquellen, Führungswechsel und Deal-Aktivitäten rund um die Uhr. Erstellen Sie Ihren kostenlosen Explorer-Workspace, um automatisierte Executive Briefings zu erhalten.
Wichtigste Kernpunkte & Evidenz
- Ein Entwickler betreibt einen vollständigen RAG-Agenten offline über Ollama für Chat (qwen3.5:9b) und Embeddings (bge-m3) sowie einen eingebetteten Qdrant Vector Store ohne API-Keys und Docker.
- Die Codebasis verwendet ein Provider-Swap-Design: Ein Wechsel erfolgt rein über die Konfiguration, ohne Ingestion- oder Retrieval-Code anzupassen.
- Die Ingest-Pipeline ermittelt die Embedding-Dimensionalität dynamisch per Testabfrage und erstellt eine passende Qdrant-Collection (bge-m3 liefert im Beispiel 1024 Dimensionen).
- Operative Herausforderungen umfassen leere Synthese-Antworten des lokalen 9B-Modells, Verzeichnis-Sperren des eingebetteten Qdrants, zwingend übereinstimmende Embedding-Dimensionen und Latenzen beim ersten Modellstart.
Verknüpfte Unternehmen
5 verknüpfte Unternehmen“Ollama running two models — one for chat, one for embeddings:...”
“Embedded Qdrant — no server, no container. The vector store writes to a local directory....”
“Most RAG tutorials open with "set your `OPENAI_API_KEY`."...”
“Both branches return the same LangChain `Embeddings` interface, so the ingestion and retrieval code never knows which one it got....”
“Short-term memory: PostgreSQL (PostgresSaver) stores per-thread conversation state; swappable to Redis (RedisSaver) if needed....”
Ontologie & Marktkonzepte
Verwandte Marktsignale & Trends
Aktuelle verifizierte Unternehmensentwicklungen und Deal-Aktivitäten in diesem Marktsegment.
Lokale RAG-KI mit Ollama und Chroma für absolute Datensouveränität
Ein Entwickler hat ein lokales Retrieval-Augmented Generation (RAG)-System implementiert, das Code, Dokumente und Notizen in eine lokale Vektordatenbank indiziert. Dadurch kann ein selbst gehostetes LLM projektspezifische Fragen beantworten – völlig ohne Cloud-Dienste oder laufende API-Kosten. Der Technologie-Stack nutzt Ollama für das Modell-Hosting sowie Einbettungen via nomic-embed-text, Chroma als lokale Vektordatenbank und LangChain für das Dokumentenladen sowie Chunking. Der Autor beschreibt die Architektur, Installationsschritte, Code-Snippets für Indexierung und Abfragen sowie eine inkrementelle Aktualisierungslogik auf Basis von Datei-Hashes. Das System verarbeitet rund 4.800 Chunks, liefert Abfrageergebnisse in unter zwei Sekunden auf einem Mac Mini M4 mit 8 GB RAM und arbeitet komplett ohne monatliche Fixkosten.
Lokales RAG-System entwickelt sich mit LangGraph zu Agentic AI weiter
Ein Entwickler beschreibt die Umstellung eines lokal gehosteten RAG-Assistenten auf eine Agentic-AI-Architektur unter Verwendung von LangGraph. Der ursprüngliche Tech-Stack basiert auf Ollama, ChromaDB, LangChain und Docker. Das System nutzt einen gemeinsamen AgentState-Vertrag und implementiert drei spezialisierte Agenten: einen RAG-Agenten für die Dokumentationsrecherche, einen Diagnose-Agenten für die Fehlersuche mit LLM-Fallback sowie einen Eskalations-Agenten zur automatisierten Generierung strukturierter Support-Tickets bei Bedarf. Ein zentraler Orchestrator steuert Anfragen mithilfe eines Klassifizifiers über einen Zustandsgraphen. Der Artikel beleuchtet zentrale Design-Erkenntnisse wie die Fragilität von Klassifizierern, den Overhead bei der Embedding-Initialisierung sowie fest codierte Eskalationsschwellenwerte und empfiehlt, evolutionär mit RAG zu starten und Agenten bedarfsbasiert zu ergänzen.
Lokaler RAG-Assistent mit Ollama, ChromaDB und LangChain implementiert
Ein Masterstudent hat einen vollständig lokalen RAG-Assistenten (Retrieval-Augmented Generation) entwickelt, der Technikern die Abfrage privater PDF-Handbücher ermöglicht, ohne sensible Daten an Cloud-Anbieter zu übermitteln. Die Pipeline nutzt ein 300-Zeichen-Chunking, all-MiniLM-L6-v2-Embeddings in ChromaDB, das Abrufen der Top-3-Chunks sowie lokale Llama-3-Inferenz über Ollama. Die Architektur basiert auf vier Docker-Compose-Services (Ollama, ChromaDB, FastAPI, Streamlit). Der Entwickler dokumentiert zentrale Hürden und Lösungsansätze: ChromaDB v2 verwarf Daten ohne expliziten HttpClient lautlos, LangChain erforderte eine Umstellung auf langchain_core, und die träge CPU-Inferenz von Llama 3 wurde durch Chunk-Reduzierung, Begrenzung der Ausgabelänge via num_predict sowie mehr RAM optimiert. Das Projekt ist Open Source auf GitHub verfügbar; künftig ist eine Erweiterung zu einer agentenbasierten Architektur geplant.
Marktsignale & Strategische Shifts in Echtzeit verfolgen
Erstellen Sie benutzerdefinierte Watchlists, um automatisierte, evidenzbasierte Executive Briefings zu erhalten, sobald wesentliche Signale oder Marktverschiebungen auftreten.