Beobachtetes Signal · 3. Juni 2026 · Technical Release · Quelle: DEV Community · Relevanz: 2/5 · Sentiment: Positiv
Lookspan v0.4.0: Local-First Observability für LLM-Apps
Lookspan ist ein auf Local-First ausgerichtetes Observability- und Replay-Tool für Applikationen, die Large Language Models (LLMs) nutzen. Die Version 0.4.0 führt Datasets und Experiments ein, um eine echte Evaluationsschleife zu ermöglichen: Testsets definieren, Batches ausführen, Ergebnisse per LLM-as-judge bewerten und aggregierte Metriken wie Erfolgsraten und Diffs einsehen. Lookspan erfasst Spans und Traces von LLM-Aufrufen, unterstützt Replay-and-Diff zum Vergleichen von Durchläufen, ist MCP-native zur Integration in das Ökosystem und speichert alle Traces lokal auf dem Entwicklerrechner. Das Paket ist auf npm veröffentlicht und lässt sich direkt via npx ausführen.
Bietet einen Local-First-Workflow zur Observability und Evaluation von LLM-Anwendungen, der Entwicklern beim Debuggen, Replay und quantitativen Vergleichen von Modell- und Prompt-Änderungen hilft; relevant für Teams im Bereich generative KI, jedoch ohne marktverändernde Tragweite.
Marktsignale zu NPM Capital in Echtzeit verfolgen
Polaris7 erfasst behördliche Registrierungen, Primärquellen, Führungswechsel und Deal-Aktivitäten rund um die Uhr. Erstellen Sie Ihren kostenlosen Explorer-Workspace, um automatisierte Executive Briefings zu erhalten.
Wichtigste Kernpunkte & Evidenz
- Lookspan ist ein Observability- und Replay-Tool für LLM-Apps zur Erfassung von Prompts, Responses und Tool-Calls.
- Version 0.4.0 bringt Datasets und Experiments für Batch-Evaluierungen, automatisches Judgement und aggregierte Metriken.
- Das Tool arbeitet MCP-native und im Local-First-Ansatz, wodurch Traces lokal auf dem Rechner verbleiben.
- Das npm-Paket 'lookspan' ist verfügbar und lässt sich per 'npx lookspan' ausführen.
- Die Ankündigung für Version 0.4.0 wurde am 03.06.2026 veröffentlicht.
Verknüpfte Unternehmen
2 verknüpfte UnternehmenOntologie & Marktkonzepte
Verwandte Marktsignale & Trends
Aktuelle verifizierte Unternehmensentwicklungen und Deal-Aktivitäten in diesem Marktsegment.
LLM-Aufrufe mit OpenTelemetry nachverfolgen und debuggen
Ein praxisorientiertes Entwickler-Tutorial erläutert, wie sich Large Language Model-Aufrufe instrumentieren und nachverfolgen lassen, um Prompts, Antworten, Latenzen und Kosten transparenter zu machen. Der Autor empfiehlt eine OpenTelemetry-basierte Instrumentation über kompakte Wrapper-Bibliotheken, um Interaktionen systematisch aufzuzeichnen. Der Beitrag listet etablierte Observability-Tools für LLMs wie LangSmith, Langfuse, Helicone, PromptLayer, Braintrust und Arize Phoenix auf und hebt Enprompta als einsteigerfreundliche Lösung hervor. Ein begleitendes GitHub-Projekt veranschaulicht die praktische Umsetzung. Zudem verdeutlicht ein kompakter Code-Snippet die automatische Tracing-Funktionalität anhand eines Anthropic-Instrumentors, was Ingenieuren bei der Fehlerbehebung von KI-Agenten hilft.
llama-dash: Open-Source-Dashboard und Logging-Proxy für lokale LLM-Ops veröffentlicht
Ein auf Dev.to veröffentlichter Beitrag von Nico Domino stellt llama-dash vor, ein Open-Source-Dashboard sowie Logging-Proxy für selbst gehostete, lokale LLM-Infrastrukturen. Die Lösung leitet OpenAI- und Anthropic-kompatible /v1/*-Endpunkte weiter, unterstützt Streaming SSE Passthrough und protokolliert Anfragen inklusive Token-Zahlen sowie geschätzter Kosten. Zu den weiteren Funktionen gehören gehashte API-Keys, ratenbasierte Limits pro Schlüssel, Modell-Whitelistings, Routing-Regeln sowie UI-Steuerelemente zum Laden und Entladen von Modellen. Das Projekt wird als Docker-Compose-Stack über GitHub bereitgestellt. Der Proxy lässt sich zudem als ANTHROPIC_BASE_URL konfigurieren, um Claude-Nutzungen direkt über das Dashboard zu leiten.
Observability für selbst gehostete LLMs mit SigNoz
Eine technische Fallstudie von Shivani Bhati beschreibt eine Pipeline für selbst gehostete LLM-Observability und FinOps. Die Autorin transformierte eine über vLLM betriebene Kaggle T4 GPU mit Qwen 1.5B in ein enterprise-fähiges System. Sie implementierte ein FastAPI FinOps- und SLO-Gateway, einen pynvml-basierten Hardware-Exporter für NVIDIA GPU-Telemetrie sowie eine Telemetrie-Batchverarbeitung über den OpenTelemetry Collector an SigNoz Cloud. Das Setup erzwingt ein 2,0s Latenz-SLA, visualisiert token-basierte Kosten pro Team via PromQL und löst Slack-Alerts bei Erreichen von Fehlerbudgets aus. Ein multithreaded Lastgenerator sowie ein „Poison Pill“-Prompt dienten zur Validierung der Erkennung von Halluzinationsschleifen und Ressourcenengpässen.
Marktsignale & Strategische Shifts in Echtzeit verfolgen
Erstellen Sie benutzerdefinierte Watchlists, um automatisierte, evidenzbasierte Executive Briefings zu erhalten, sobald wesentliche Signale oder Marktverschiebungen auftreten.