Lokale KI: Sprachmodelle installieren und im Unternehmen betreiben.
Lokale KI läuft auf Ihrer eigenen Hardware: Kein Prompt geht an einen KI-Anbieter, und nach dem Download funktioniert sie auch offline. Dieser Ratgeber zeigt, welche lokalen KI-Modelle sich eignen, welche Hardware Sie brauchen, wie Sie ein lokales LLM in einer Stunde installieren und was sich für den Betrieb im Team ändert.
Kostenlos und Open Source · läuft auf Ihrem Server · Stand: 3. November 2026
Das Wichtigste in Kürze
Lokale KI heißt: Das Sprachmodell läuft auf Ihrem Laptop oder Server. Fragen, Dokumente und Antworten bleiben in Ihrem Netz; nach dem Download geht es auchoffline .- Die wichtigste Hardware-Größe ist der Speicher: etwa
0,6 GB pro Milliarde Parameter bei 4-Bit-Quantisierung, plus Reserve. Ein 8-Milliarden-Modell läuft auf einer 8-GB-Grafikkarte. - Für einen ersten Test reicht eine Stunde: Ollama installieren, Modell laden, Fragen stellen. Für das Team kommen Server, Zugriffe, Updates und eine Plattform für Ihre Dokumente dazu.
- Ein lokales Modell kennt Ihre Dokumente nicht. Damit es aus Ihrem Wissen antwortet, brauchen Sie RAG, etwa mit der kostenlosen RAGSuite Community Edition.
Was ist lokale KI, und wann lohnt sie sich?
Bei einem KI-Dienst im Internet geht jede Frage an die Server des Anbieters. Bei
Das lohnt sich vor allem in vier Fällen. Es gibt aber auch Grenzen, die Sie vorher kennen sollten.
Vertrauliche Daten
Personal-, Kunden- und Gesundheitsdaten oder Geschäftsgeheimnisse verlassen Ihr Netz nicht.
Offline und abgeschottet
Produktion, Labor oder Behörde ohne Internet: Lokale KI läuft auch dort.
Planbare Kosten
Keine Kosten pro Anfrage. Sie zahlen Hardware und Betrieb, egal wie viel gefragt wird.
Grenzen
Die größten gehosteten Modelle sind bei schweren Aufgaben stärker. Hardware, Updates und Betrieb liegen bei Ihnen.
Lokale KI Hardware: wie viel Speicher Sie brauchen.
Die wichtigste Frage ist nicht der Prozessor, sondern der Speicher: Das ganze Modell muss in den Grafikspeicher (VRAM) oder in schnellen gemeinsamen Arbeitsspeicher passen. Modelle werden dafür meist
Die Tabelle zeigt Faustwerte. Rechnen Sie Reserve für das Kontextfenster ein: Je mehr Text pro Frage, desto mehr Speicher.
Die Faustwerte gelten für eine Person. Fragen viele gleichzeitig, braucht jede laufende Anfrage eigenen Speicher für ihren Kontext (KV-Cache). Bei zehn gleichzeitigen Nutzern mit je 8.000 Tokens Kontext braucht dieser Cache (FP16) bei einem 8-Milliarden-Modell in 4 Bit rund doppelt so viel Speicher wie das Modell selbst. Der kostenlose LLM-VRAM-Rechner rechnet das für Ihr Setup aus, inklusive Embedding-Modell für RAG.
| Modellgröße | Speicher bei 4 Bit | Passende Hardware | Geeignet für |
|---|---|---|---|
| Klein · 1 bis 4 Mrd. Parameter | ca. 1 bis 3 GB | Laptop, auch ohne GPU | Tests, kurze Texte, Klassifizieren |
| Mittel · 7 bis 14 Mrd. | ca. 5 bis 10 GB | GPU mit 8 bis 16 GB oder Rechner mit 16 bis 32 GB gemeinsamem Speicher | Fragen zu Dokumenten, Zusammenfassungen |
| Groß · 27 bis 34 Mrd. | ca. 17 bis 22 GB | GPU mit 24 GB | Bessere Qualität für ein Team |
| Sehr groß · 70 Mrd. und mehr | ab ca. 40 GB | Server mit mehreren GPUs oder 48 GB und mehr | Hohe Qualität, viele Nutzer |
Faustwert: Parameter in Milliarden × 0,6 GB bei 4 Bit, plus 10 bis 20 % Reserve für Kontext und Laufzeit. Bei 8 Bit etwa doppelt so viel. Die tatsächlichen Werte hängen von Modell und Kontextlänge ab.
Lokale KI-Modelle auswählen: fünf Kriterien.
Offene Modelle gibt es in vielen Größen und Varianten. Statt einer Rangliste, die in wenigen Wochen veraltet ist, helfen diese Kriterien bei der Auswahl. Testen Sie danach zwei bis drei Kandidaten mit Ihren echten Fragen.
Lizenz
Erlaubt die Lizenz den Einsatz im Unternehmen? Manche Modelle haben Grenzen bei Nutzerzahl oder Zweck.
Deutschqualität
Nicht jedes Modell schreibt gutes Deutsch. Prüfen Sie Fachbegriffe und Tonfall mit eigenen Texten.
Größe und Tempo
Größere Modelle antworten besser, aber langsamer und brauchen mehr Speicher. Passend zur Hardware wählen.
Kontextlänge
Wie viel Text passt in eine Anfrage? Für Fragen zu Dokumenten brauchen Sie Platz für die gefundenen Textstellen.
Embedding-Modell
Für die Suche in Dokumenten brauchen Sie zusätzlich ein Embedding-Modell, ebenfalls lokal.
Lokale KI installieren: der Test in einer Stunde.
Für den ersten Test nehmen Sie Ollama, ein kostenloses Open-Source-Werkzeug, das lokale LLMs lädt und über eine Schnittstelle bereitstellt. Für macOS und Windows gibt es ein Installationsprogramm auf ollama.com, unter Linux reicht ein Befehl.
Ersetzen Sie den Platzhalter durch ein Modell aus der Ollama-Bibliothek, das zu Ihrer Hardware und Lizenzanforderung passt. Neuere Ollama-Versionen bieten auch Cloud-Modelle und Websuche an; für rein lokalen Betrieb nutzen Sie nur lokale Modelle und schalten Online-Funktionen ab (siehe Ollama-Dokumentation).
$ curl -fsSL https://ollama.com/install.sh | sh $ ollama pull <modell> # Modell laden $ ollama run <modell> # Chat im Terminal ✔ API http://localhost:11434
Installieren
Ollama von ollama.com installieren. Die Schnittstelle läuft danach lokal auf Port 11434.
Modell laden
Mit ollama pull ein Modell laden, das in Ihren Speicher passt.
Testen
Mit ollama run chatten. Stellen Sie zehn typische Fragen und vergleichen Sie die Antworten.
Netz trennen
Trennen Sie das Internet und fragen Sie erneut. Läuft es weiter, läuft es wirklich lokal.
Lokale KI im Unternehmen betreiben: was sich ändert.
Ein Laptop-Test zeigt, ob ein Modell taugt. Für den Betrieb im Team wird daraus ein kleines Infrastrukturprojekt: ein Server im Firmennetz, mehrere gleichzeitige Nutzer, Zugriffsrechte, Protokolle und Updates.
Vor allem fehlt dem Modell Ihr Wissen. Damit es aus Handbüchern, Verträgen und Richtlinien antwortet, brauchen Sie eine Plattform, die Dokumente einliest, durchsucht und Antworten mit Quelle zeigt.
| Thema | Laptop-Test | Betrieb im Team |
|---|---|---|
| Hardware | Vorhandener Rechner | Server mit GPU im Firmennetz |
| Nutzer | Eine Person | Viele gleichzeitig, mit Anmeldung |
| Wissen | Nur das Modell | Ihre Dokumente per RAG, mit Quelle |
| Zugriff | Nur lokal | Nur im internen Netz, Rechte pro Projekt |
| Betrieb | Manuell | Updates, Überwachung, Backups, Zuständige |
So prüfen Sie, dass Ihre lokale KI wirklich nichts nach außen sendet.
„Läuft lokal“ ist eine Behauptung, die Sie selbst prüfen können, und für Datenschutzbeauftragte und Betriebsrat sollten Sie das auch. Fünf Schritte liefern einen belastbaren Nachweis, und das Ergebnis gehört in Ihre Dokumentation, etwa in die Datenschutz-Folgenabschätzung.
Die RAGSuite Community Edition sendet keine Telemetrie an den Hersteller. Auch die Enterprise-Lizenz wird offline mit einem lokal geprüften Schlüssel aktiviert, ohne Lizenzserver.
Netz trennen
Internet trennen, dieselben Testfragen stellen. Alles muss weiter funktionieren, auch die Suche in Dokumenten.
Verbindungen mitschneiden
Bei bestehender Verbindung ausgehenden Verkehr in Firewall oder Proxy protokollieren, während das Team normal arbeitet.
DNS prüfen
Welche Namen löst der Server auf? Erwartet sind nur interne Dienste und, falls freigegeben, Ihr Update-Spiegel.
Online-Funktionen abschalten
Cloud-Modelle, Websuche und automatische Updates der Laufzeit deaktivieren; Modelle aus einem internen Spiegel laden.
Dokumentieren
Datum, Version, Testfragen und Mitschnitt festhalten. Nach jedem Update wiederholen.
Keine eigenen Server? Die Alternative mit Standort Deutschland.
Nicht jedes Unternehmen will GPUs kaufen und betreiben. Mit der RAGSuite Engine bekommen Sie dieselbe Plattform mit Rechenzentrum in Deutschland, inklusive Speicher und Credits, ab 39 € im Monat bei jährlicher Zahlung, zzgl. MwSt. Wer später selbst hosten will, wechselt in die Community Edition oder zu Enterprise.
Bevor lokale KI in den Betrieb geht.
Haken Sie ab, was erledigt ist. Nichts wird gespeichert.
Fragen zu lokaler KI.
Was ist lokale KI?
Lokale KI bedeutet, dass ein Sprachmodell auf Ihrer eigenen Hardware läuft, auf einem Laptop oder einem Server im Firmennetz. Fragen und Antworten verlassen Ihr Netz nicht, und nach dem Herunterladen des Modells funktioniert die KI auch offline.
Welche Hardware brauche ich für lokale KI?
Entscheidend ist der Speicher. Als Faustwert braucht ein Modell bei 4-Bit-Quantisierung etwa 0,6 GB pro Milliarde Parameter, dazu Reserve für den Kontext. Ein Modell mit 8 Milliarden Parametern läuft damit auf einer Grafikkarte mit 8 GB, ein Modell mit 70 Milliarden braucht 40 GB und mehr.
Läuft lokale KI ohne Grafikkarte?
Ja, kleine Modelle laufen auch auf der CPU, aber deutlich langsamer. Für einzelne Tests reicht das. Sobald mehrere Personen gleichzeitig fragen, brauchen Sie eine GPU oder einen Rechner mit schnellem gemeinsamem Speicher.
Ist lokale KI so gut wie große Cloud-Modelle?
Bei allgemeinen, schwierigen Aufgaben sind die größten gehosteten Modelle meist stärker. Für Fragen zu Ihren eigenen Dokumenten reicht ein gutes lokales Modell oft aus, weil die Antwort aus den gefundenen Textstellen entsteht. Testen Sie mit Ihren echten Fragen.
Wie installiere ich ein lokales LLM?
Am schnellsten mit Ollama: installieren, mit ollama pull ein Modell laden und mit ollama run starten. Für den Betrieb im Team kommen ein Server, Zugriffsregeln, Updates und eine Plattform für Ihre Dokumente dazu.
Ist lokale KI kostenlos?
Viele Modelle und Werkzeuge sind kostenlos und Open Source, auch die RAGSuite Community Edition. Kosten entstehen für Hardware, Strom und Betrieb. Prüfen Sie die Lizenz jedes Modells, ob sie den Einsatz im Unternehmen erlaubt.
Was ist der Unterschied zwischen lokaler und privater KI?
Lokale KI beschreibt, wo das Modell läuft: auf Ihrer Hardware. Private KI beschreibt, dass Ihre Daten nicht beim Anbieter landen und nicht zum Training genutzt werden. Lokale KI ist die strengste Form privater KI.
Was ist ein self-hosted LLM?
Ein self-hosted LLM ist ein Sprachmodell, das Sie auf eigenen Servern oder in Ihrer eigenen Cloud-Umgebung betreiben statt über die Schnittstelle eines KI-Anbieters. Sie bestimmen damit, wo Daten verarbeitet werden, wer Zugriff hat und wann Updates kommen.
Wie viel Speicher braucht lokale KI für mehrere Nutzer?
Mehr als für eine Person, weil jede gleichzeitige Anfrage eigenen Speicher für ihren Kontext braucht. Bei zehn Nutzern kann dieser Anteil größer sein als das Modell selbst. Der kostenlose LLM-VRAM-Rechner zeigt den Bedarf für Modell, Kontext, Nutzerzahl und Embedding-Modell.
Lokale KI mit Ihren Dokumenten, ohne Daten nach außen.
Installieren Sie die Community Edition, oder lassen Sie sich von Mihaela den Weg vom Test in den Betrieb zeigen.