Beobachtetes Signal · 14. Mai 2026 · Technical Release · Quelle: DEV Community · Relevanz: 4/5 · Sentiment: Positiv
Azure Local Foundry CLI mit PowerShell für lokale LLMs nutzen
Ein Entwickler-Tutorial zeigt, wie sich die CLI von Microsoft Local Foundry über PowerShell zur Ausführung und Automatisierung lokaler LLM-Inferenzen einsetzen lässt. Der Autor erläutert die Bedeutung lokaler Modelle für Kostenkontrolle und Datenschutz, verweist auf die Preview-Verfügbarkeit als SDK und CLI für gängige Betriebssysteme und liefert Installationsbefehle via winget sowie brew. Demonstriert werden die Modellverwaltung, das Abrufen der Foundry REST API URI sowie PowerShell-Hilfsfunktionen wie ein Dienststarter, Invoke-FoundryRequest für REST-Aufrufe und New-FoundryChatCompletion für OpenAI-kompatible POST-Anfragen an /v1/chat/completions. Ergänzt wird dies durch Modellbeispiele und Parameterhinweise sowie die Ankündigung eines Folgebeitrags zum .NET SDK.
Die Bereitstellung eines lokalen Inference-SDKs und einer CLI durch einen Major Player wie Microsoft erweitert die Optionen für On-Premises- sowie datenschutzkonforme LLM-Deployments und ermöglicht Automatisierungen per PowerShell, die Cloud-Inferenzkosten und regulatorische Risiken für Unternehmen senken.
Marktsignale zu Microsoft in Echtzeit verfolgen
Polaris7 erfasst behördliche Registrierungen, Primärquellen, Führungswechsel und Deal-Aktivitäten rund um die Uhr. Erstellen Sie Ihren kostenlosen Explorer-Workspace, um automatisierte Executive Briefings zu erhalten.
Wichtigste Kernpunkte & Evidenz
- Microsoft Local Foundry ist als Preview-SDK für Windows, Linux und macOS sowie als CLI für Windows und macOS verfügbar.
- Installationsbeispiele umfassen 'winget install Microsoft.FoundryLocal' für Windows und 'brew install microsoft/foundrylocal/foundrylocal' für macOS.
- Die Foundry CLI unterstützt Befehle zur Modellverwaltung wie 'foundry model list', 'foundry model download', 'foundry model load' und 'foundry model run'.
- Die CLI stellt eine zu OpenAI Chat Completions kompatible REST API bereit, die über PowerShell per POST-Anfrage an /v1/chat/completions angesprochen werden kann.
- Der Beitrag liefert PowerShell-Hilfsfunktionen für Dienststatus und -start, REST-Wrapper sowie Beispiele mit Modellen wie 'phi-3-mini-128k-instruct-qnn-npu:3'.
Verknüpfte Unternehmen
6 verknüpfte UnternehmenOntologie & Marktkonzepte
Verwandte Marktsignale & Trends
Aktuelle verifizierte Unternehmensentwicklungen und Deal-Aktivitäten in diesem Marktsegment.
Run AI Locally on Private Files Offline
The briefing explains how organizations and individuals can use local or fine-tuned language models to process sensitive files without sending them to external model providers. It cites Bayer, which fine-tuned a small Microsoft Phi model on proprietary product-label and regulatory data to answer complex crop-protection questions in under thirty seconds, and Discovery Bank, which fine-tuned five variants across two Azure OpenAI models (4o-mini and 4.1-mini) to speed structured workflow outputs from ~5–6s to ~1.5–2s. Microsoft states customers’ prompts, training files, outputs, and fine-tuned models are not used to improve its general foundation models without permission and that fine-tuned models remain exclusive to customers. The piece also covers running models entirely offline on a laptop (LM Studio walkthrough), the limits of local setups versus enterprise systems, and lock-in considerations when a company’s corrections become tied to a specific model or provider.
GitHub Copilot CLI mit lokalen LM Studio Modellen ausführen
Dieser technische Leitfaden erläutert die Konfiguration der GitHub Copilot CLI für die Nutzung lokaler LLMs über LM Studio anstelle von GitHub-Cloud-Modellen. Er beschreibt den OpenAI-kompatiblen lokalen API-Endpunkt von LM Studio, erforderliche Umgebungsvariablen wie COPILOT_PROVIDER_BASE_URL, COPILOT_MODEL und COPILOT_OFFLINE sowie einen Test-Workflow. Der Artikel beleuchtet Hardware- und Modellgrößen-Kompromisse – kleinere Modelle laufen auf Laptops, größere benötigen GPUs – und empfiehlt Anwendungsfälle wie datenschutzsensible Entwicklung, Offline-Arbeit und Experimente. Zudem wird gewarnt, dass die Integration ohne gesetzten COPILOT_OFFLINE-Parameter auf Cloud-Modelle zurückfallen kann. Eine kleine VS Code Extension zur Sichtbarkeit des Copilot-Kontingents wird ebenfalls erwähnt.
Entwicklung eines lokalen Terminal-AI-Agents mit On-Premise-LLMs
Ein Entwickler-Tutorial auf Dev.to beschreibt den Aufbau eines terminalbasierten AI-Agents unter Verwendung lokaler LLMs. Der Leitfaden analysiert das Ökosystem von CLI-Agents, beleuchtet die Restriktionen Cloud-abhängiger Tools und liefert eine praxisnahe Implementierungsanleitung: von der Einrichtung via LM Studio und Ollama über das Hosting lokaler Modelle (wie Nous-Hermes-2-Mistral-7B-DPO) bis hin zur Bereitstellung eines OpenAI-kompatiblen API-Endpoints. Zudem wird eine Python-basierte TerminalAIAgent-Architektur inklusive tmux-Integration und maßgeschneiderter Developer-Tools wie Code-Search und Git-Helper demonstriert. Das Tutorial adressiert grundlegendes Context-Window-Management und bietet Software-Ingenieuren eine konkrete Blaupause zur Evaluierung von lokaler Inferenz und autarken Workflows abseits proprietärer Cloud-APIs.
Marktsignale & Strategische Shifts in Echtzeit verfolgen
Erstellen Sie benutzerdefinierte Watchlists, um automatisierte, evidenzbasierte Executive Briefings zu erhalten, sobald wesentliche Signale oder Marktverschiebungen auftreten.