Lange galt KI als etwas, das in der Cloud passiert. Man schickt eine Frage an einen großen Anbieter, irgendwo in einem Rechenzentrum entsteht die Antwort, und man zahlt pro Nutzer oder pro Anfrage. Für viele Unternehmen war genau das der Grund, beim Thema KI zurückhaltend zu sein: Kundendaten, Verträge oder Konstruktionspläne wollte man nicht einfach an einen Konzern in den USA schicken.
Das ändert sich gerade sichtbar. Und zwar nicht nur bei spezialisierten Anbietern, sondern mitten im Mainstream.
Was Microsoft angekündigt hat
Auf seiner Windows-Keynote am 7. Oktober in San Francisco hat Microsoft gemeinsam mit NVIDIA mehrere Neuerungen für lokale KI vorgestellt:
- Große offene Modelle lokal unter Windows. Laut Berichten von der Keynote zeigte Microsoft auf einer Folie, dass das Modell DeepSeek V4 Flash des chinesischen Anbieters DeepSeek stark komprimiert mit rund 60 Gigabyte Speicher auf leistungsstarken Windows-Rechnern laufen soll. In den offiziellen Mitteilungen von Microsoft steht dazu bisher nichts.
- Ein neues Nemotron-Modell von NVIDIA. Nemotron 3.5 Bolt mit 74 Milliarden Parametern, erschienen am 15. Oktober.
- llama.cpp in Windows ML. Eines der wichtigsten Open-Source-Werkzeuge zum Betreiben von Sprachmodellen auf eigener Hardware wird Teil der KI-Schnittstelle von Windows, zunächst als experimentelle Vorschau.
Schon im Juni hatte NVIDIA eine Prozessorfamilie für lokale KI-Agenten vorgestellt, die bis zu 128 Gigabyte Arbeitsspeicher vorsieht. Zusammengenommen zeigt das eine klare Richtung: Die großen Hersteller bereiten Rechner darauf vor, KI-Modelle selbst auszuführen, ohne Umweg über die Cloud.
Was bedeutet das in einfachen Worten?
KI-Modelle, die bisher nur auf Servern in Rechenzentren liefen, sollen künftig direkt auf Rechnern in Ihrem Unternehmen arbeiten. Ohne Internetverbindung, ohne dass Ihre Daten das Gerät verlassen, ohne Kosten pro Anfrage.
Dass Microsoft dabei auf llama.cpp setzt, ist bemerkenswert. Das Werkzeug ist frei verfügbar, wird von einer großen Gemeinschaft weiterentwickelt und ist seit Jahren der Standard, wenn es darum geht, Sprachmodelle effizient auf normaler Hardware laufen zu lassen. Wenn der größte Betriebssystemhersteller der Welt es in Windows einbaut, zeigt das, wie weit die offene KI-Welt inzwischen ist.
Ein Detail, das man kennen sollte: Kompression
DeepSeek V4 Flash hat laut DeepSeek 284 Milliarden Parameter. Normalerweise bräuchte ein Modell dieser Größe ein Vielfaches an Speicher. Damit es in rund 60 Gigabyte passt, müsste es laut den Berichten von der Keynote stark komprimiert werden, auf 1,6 Bit pro Wert.
Diese Technik heißt Quantisierung. Vereinfacht gesagt werden die Zahlen, aus denen ein Modell besteht, ungenauer gespeichert. Das spart enorm viel Speicher und macht das Modell schneller. Es kostet aber in der Regel auch etwas Genauigkeit. Wie viel, hängt vom Modell und von der Aufgabe ab. Bei einfachen Aufgaben fällt es oft kaum auf, bei anspruchsvollen Analysen oder exakten Zahlen manchmal schon.
Das ist kein Grund zur Sorge, aber ein Grund zum Testen. Ein stark komprimiertes Spitzenmodell ist nicht automatisch besser als ein kleineres Modell, das weniger stark komprimiert wurde.
Standpunkt von MintCode Solutions
Einordnung von MintCode
Für MintCode Solutions ist der Schritt von Microsoft zu lokaler KI unter Windows eine Bestätigung des eigenen Wegs: Wir betreiben KI für unsere Kunden auf eigener Hardware im Unternehmen, mit unserer KI-Workstation und unserer Plattform Nexus. Die Argumente waren von Anfang an dieselben: Die Daten bleiben im Haus. Die Kosten sind planbar, weil nicht pro Nutzer oder Anfrage abgerechnet wird. Und niemand kann den Zugang über Nacht abschalten, die Preise verdoppeln oder die Nutzungsbedingungen ändern. Wenn jetzt selbst Microsoft lokale Modelle ins Betriebssystem holt, ist das kein Nischenthema mehr.
Gleichzeitig warnen wir vor einem Missverständnis. Ein Modell auf einem einzelnen Laptop ist noch keine Unternehmenslösung.
Sobald mehrere Mitarbeitende dieselbe KI nutzen sollen, braucht es eine zentrale Stelle. Sobald Dokumente, ERP oder Dokumentenmanagement angebunden werden sollen, braucht es Schnittstellen und Rechte. Sobald jemand nachvollziehen muss, wer was gefragt hat und welche Daten verwendet wurden, braucht es Protokolle. Und sobald es Updates für Modelle oder Sicherheitslücken gibt, braucht es jemanden, der sich darum kümmert.
Das ist der Unterschied zwischen einem Experiment und einem Werkzeug, auf das sich ein Team verlassen kann. Lokale KI auf jedem einzelnen Rechner führt schnell zu dem, was wir aus der IT kennen: zwanzig verschiedene Stände, niemand weiß, was wo läuft, und die Daten liegen am Ende doch wieder verstreut.
Und noch ein Punkt, der uns wichtig ist: Bei Modellen aus China lohnt sich ein genauer Blick. Lokal betrieben verlassen zwar keine Daten das Haus, das ist ein echter Vorteil. Welche Inhalte ein Modell aber wie beantwortet, hängt davon ab, wie es trainiert wurde. Bei Fragen zu bestimmten politischen Themen können sich Modelle unterschiedlicher Herkunft sehr verschieden verhalten. Für das Auslesen von Lieferscheinen spielt das keine Rolle, für einen Assistenten, der mit Kunden spricht, vielleicht schon.
Einzelrechner, Workstation oder Server?
Welche Hardware für lokale KI sinnvoll ist, hängt davon ab, was Sie vorhaben.
Einzelner Rechner: Gut zum Ausprobieren und für einzelne Mitarbeitende mit besonderen Aufgaben, etwa in der Entwicklung. Für den Einsatz im Team eher ungeeignet.
Zentrale KI-Workstation: Eine leistungsstarke Maschine im Unternehmen, auf die alle berechtigten Mitarbeitenden zugreifen. Sie lässt sich an Ihre Systeme anbinden, zentral verwalten und absichern. Nach Einschätzung von MintCode ist die zentrale KI-Workstation für die meisten KMU der sinnvollste Einstieg in lokale KI.
Server oder mehrere Workstations: Wenn sehr viele Nutzer gleichzeitig arbeiten oder besonders große Modelle laufen sollen.
Ein Hinweis zur Planung: Grafikkarten und Speicher sind durch den KI-Boom gerade knapp und teuer, Lieferzeiten von mehreren Monaten sind keine Seltenheit. Wer lokale KI plant, sollte die Hardware früh einplanen.
Wann lokale KI sinnvoll ist
- Bei sensiblen Daten. Kundendaten, Gesundheitsdaten, Verträge, Konstruktionsdaten, Personaldaten.
- Bei planbarem Bedarf. Wenn viele Mitarbeitende regelmäßig mit KI arbeiten, rechnet sich eigene Hardware oft schneller als gedacht, weil keine Kosten pro Nutzer anfallen.
- Bei Abhängigkeitssorgen. Wenn ein Ausfall, eine Sperre oder eine Preisänderung beim Anbieter Ihr Geschäft treffen würde.
- Bei gesetzlichen Vorgaben. Wenn Berufsgeheimnisse, Branchenregeln oder Kundenverträge die Weitergabe von Daten einschränken.
Und wann eher nicht: Wenn Sie nur gelegentlich KI für allgemeine Texte nutzen, ohne sensible Daten, ist ein Clouddienst oft einfacher. Wir bei MintCode AI empfehlen vielen Unternehmen eine Mischung: lokale KI für Kernprozesse und sensible Daten, Cloud-KI für allgemeine Aufgaben.
Quellen
- Microsoft Foundry on Windows Blog: Build on Windows ML (llama.cpp in Windows ML, RTX Spark), 07.10.2026
- Thurrott: Microsoft to Hold Surface and Windows Event on October 7
- NVIDIA: RTX Spark PCs Available Today (Pressemitteilung)
- Pasquale Pillitteri: Bericht zur Keynote-Folie mit DeepSeek V4 Flash (einzige Quelle für diese Angabe), 7.10.2026
