GitHub – microsoft/Foundry-Local

Run powerful Azure AI models right on your machine, no cloud needed

If you’ve ever wanted to run advanced AI locally, and not worry about an Azure subscription, Foundry Local is worth a look. I tried it recently on my laptop, and the first thing that hit me was how gentle the onboarding is. Foundry Local automatically picks the best model variant for your hardware, downloads it when you run it, and starts an interactive chat session, so you’re chatting with a model in minutes. It really feels like plug and play.

Here’s the short version. Foundry Local installs on Windows and macOS (Apple silicon only), and you can install it for x64 or arm64. To run a model you can use a simple command, for example foundry model run <model>, and the CLI will handle the download and launch. If you like libraries, there are SDKs for C#, Python and JavaScript, plus an OpenAI-compatible API you can call from your apps. The C# SDK is self-contained and even supports in-process chat and audio transcription without HTTP calls, which I found handy when prototyping.

A bit of background. This project brings Azure AI Foundry capabilities to local devices, so developers can build, test, and iterate offline or on private networks. That’s useful for privacy-sensitive work, demos, or when you just don’t want cloud latency. You can install via package managers or manually, upgrade or uninstall with straightforward commands, and list available models with the CLI.

If you want to explore, contribute, or file feedback (they read every piece of feedback), check the repo here: https://github.com/microsoft/Foundry-Local. I’m optimistic about where this is headed. Local AI, when done right, gives us faster experiments and more control, and Foundry Local is a solid step in that direction.

Vielseitig, lokal, praktisch

Foundry Local bringt die Fähigkeiten von Azure AI Foundry direkt auf dein Gerät, ohne dass du ein Azure-Abo brauchst. Ich habe es auf meinem Mac ausprobiert, und ja, es fühlt sich sofort nützlich an. Die Software wählt automatisch das passende Modell für deine Hardware, lädt es bei Bedarf herunter und startet eine interaktive Sitzung. Kurz gesagt, weniger Hürden, mehr Experimentieren.

Installieren kannst du Foundry Local unter Windows und macOS (Apple Silicon). Um ein Modell zu starten, reicht ein einfacher Befehl wie foundry model run <model>, die CLI kümmert sich um Download und Start. Es gibt SDKs für C#, Python und JavaScript, und eine OpenAI-kompatible API für eigene Anwendungen. Besonders praktisch fand ich die C#-Bibliothek, die lokal in-process Chat- und Transkriptionsfunktionen bietet, ohne externe HTTP-Aufrufe.

Ein bisschen Kontext: Dieses Projekt ist dafür gedacht, Entwicklern lokale, datenschutzfreundliche und latenzarme Möglichkeiten zu geben, KI-Modelle zu nutzen. Das ist super für Prototypen, interne Tools, oder Szenarien, wo Daten nicht in die Cloud sollen. Installation, Updates und Deinstallation laufen über bekannte Paketmanager oder manuell, je nach Vorliebe.

Willst du mitmachen oder Feedback geben? Das Team liest eingehende Rückmeldungen sehr genau. Schau dir das Projekt an: https://github.com/microsoft/Foundry-Local. Ich bin gespannt, wie sich lokale KI-Workflows weiterentwickeln, und hoffe, Foundry Local macht den Einstieg für viele einfacher.