Lokale KI mit eigenen Daten: RAG mit Ollama, Schritt für Schritt.
Lokale KI mit eigenen Daten heißt: Ein Sprachmodell läuft auf Ihrem eigenen Rechner oder Server und beantwortet Fragen aus Ihren Dokumenten. Ollama betreibt das Modell. Damit es Fragen aus Ihren Dokumenten beantwortet, braucht es eine Suche, die zu jeder Frage die passenden Textstellen findet und mitliefert: Retrieval-Augmented Generation, kurz RAG. Diese Anleitung zeigt, wie Sie Ollama mit der kostenlosen RAGSuite Community Edition verbinden.
Kostenlos und Open Source · läuft auf Ihrem Server · Stand: 5. November 2026
Das Wichtigste in Kürze
- Ollama stellt lokale Sprachmodelle über eine standardisierte Schnittstelle bereit, lokal unter
http://localhost:11434/v1. - Die RAGSuite Community Edition übernimmt den RAG-Teil: Dokumente einlesen, durchsuchen und Antworten mit Quelle anzeigen. Ollama wählen Sie in den Modell-Einstellungen als Anbieter „Custom LLM / Ollama“.
- Damit keine Daten Ihr Netz verlassen, müssen Chat-Modell und Embedding-Modell lokal laufen. Nutzen Sie für eines davon einen gehosteten Anbieter, gehen Fragen und Textstellen dorthin.
- Die häufigsten Fehler: Ollama ist aus einem Docker-Container nicht erreichbar, das Kontextfenster ist zu klein, oder nach einem Wechsel des Embedding-Modells fehlt die Neuindexierung.
Was Ollama und RAG zusammen leisten.
Ollama allein kennt Ihre Dokumente nicht. Erst zusammen mit einer RAG-Plattform beantwortet ein lokales Modell Fragen aus Ihrem Wissen. Die Aufgaben sind klar verteilt:
Ollama: das Modell
Ollama lädt offene Sprachmodelle und betreibt sie auf Ihrer Hardware. Es formuliert Antworten, durchsucht aber keine Dokumentensammlung.
Zu jeder Frage werden die passenden Stellen aus Ihren Dokumenten gesucht und dem Modell mitgegeben. So antwortet es aus Ihren Quellen.
RAG System →Quellen anbinden, Suchindex aufbauen, Chat und Suche mit Quellenangabe. Open Source unter Apache 2.0.
Open-Source-KI für Unternehmen →Zusammen: alles lokal
Laufen Modell, Index und Plattform bei Ihnen, verlässt keine Anfrage Ihr Netz. RAGSuite sendet keine Telemetrie.
Voraussetzungen für RAG mit Ollama.
| Baustein | Was Sie brauchen | Hinweis |
|---|---|---|
| RAGSuite CLI | Node 18+ (20/22 LTS empfohlen), npm, Git 2.30+ | macOS, Linux oder Windows mit WSL2/Git Bash |
| Nativer Modus (Standard) | Python 3.14, Yarn 1.22+, PostgreSQL 15+, Redis 7+ | Prüfung mit ragsuite doctor |
| Docker-Modus (optional) | Docker mit Compose v2 | Auswahl mit ragsuite init --docker |
| Ollama | Ollama installiert, ein Chat-Modell und ein Embedding-Modell geladen | Installation laut ollama.com |
| Hardware | Genug Arbeitsspeicher für das gewählte Modell; eine GPU beschleunigt deutlich | Kleine Modelle laufen auch auf der CPU, aber langsamer |
Schritt für Schritt: Modelle laden und RAGSuite installieren.
Laden Sie zuerst zwei Modelle in Ollama: ein Chat-Modell für die Antworten und ein Embedding-Modell für den Suchindex. Ersetzen Sie die Platzhalter durch Modelle aus der Ollama-Bibliothek, deren Lizenz den Einsatz im Unternehmen erlaubt.
Installieren und starten Sie dann RAGSuite über die öffentliche CLI. Standard ist der native Betrieb, auf Wunsch mit Docker.
$ ollama pull <chat-modell> # Modell für Antworten $ ollama pull <embedding-modell> # Modell für den Suchindex $ ollama list # geladene Modelle prüfen
$ npm install -g @ragsuite/ragsuite@latest $ ragsuite init # Standard: nativ $ ragsuite start ✔ web http://localhost:9191 ✔ api http://localhost:9090
Ollama in RAGSuite verbinden.
Nach der Installation verbinden Sie beides in der Web-Oberfläche. Die Modell-Einstellungen sehen etwa so aus; Ihre Modellnamen stehen dort, wo hier Platzhalter sind.
Projekt anlegen
Öffnen Sie http://localhost:9191 und legen Sie ein Projekt an.
Anbieter wählen
In den Modell-Einstellungen (Model Settings) wählen Sie als Anbieter „Custom LLM / Ollama“ und hinterlegen die Adresse Ihres Ollama-Servers, lokal meist Port 11434 mit dem Pfad /v1. Das genaue Feld beschreibt die Dokumentation.
Modelle zuordnen
Wählen Sie Ihr Chat-Modell und Ihr Embedding-Modell. Nur wenn beide lokal laufen, verlassen keine Textstellen Ihr Netz.
Verbindung prüfen
Speichern Sie die Einstellungen und stellen Sie eine Testfrage. Antwortet der Chat mit Quelle, ist Ollama verbunden.
Quellen anbinden
Laden Sie Dokumente hoch oder binden Sie SharePoint, Confluence, Google Drive, Notion oder Slack an. Danach beantwortet der Chat Fragen aus Ihren Dokumenten, mit Quelle.
Die genauen Feldnamen und weitere Einstellungen finden Sie in der Dokumentation unter docs.ragsuite.de.
Typische Fehler bei RAG mit Ollama und wie Sie sie beheben.
| Fehler | Ursache | Lösung |
|---|---|---|
| RAGSuite erreicht Ollama nicht (Docker-Modus) | Im Container zeigt localhost auf den Container selbst, nicht auf Ihren Server. | Die Adresse des Hosts verwenden, mit Docker Desktop etwa host.docker.internal (unter Linux zusätzlich host-gateway eintragen), und Ollama auf eine erreichbare Adresse binden. |
| Ollama ist von einem anderen Rechner nicht erreichbar | Ollama lauscht standardmäßig nur auf 127.0.0.1, Port 11434. | Mit OLLAMA_HOST eine andere Adresse setzen, etwa 0.0.0.0:11434, und den Port nur im internen Netz freigeben. |
| Antworten übergehen Teile der gefundenen Stellen | Das Kontextfenster des Modells ist zu klein für Frage und Textstellen. | Kontext mit OLLAMA_CONTEXT_LENGTH erhöhen oder weniger Textstellen pro Frage abrufen (Top K Results). |
| Nach dem Modellwechsel fehlen Treffer | Der Suchindex wurde mit einem anderen Embedding-Modell erstellt. | Quellen neu indexieren („Reindex now“ in den Modell-Einstellungen). |
| Antworten kommen sehr langsam | Das Modell läuft auf der CPU oder ist zu groß für die Hardware. | Ein kleineres Modell wählen oder eine GPU nutzen. |
| Antworten auf Englisch oder in holprigem Deutsch | Nicht jedes Modell beherrscht Deutsch gleich gut. | Ein Modell mit guter Deutschqualität wählen und mit eigenen Fragen testen. |
Vom Test in den Betrieb.
Ein Test auf dem Laptop zeigt, ob Modell und Dokumente zusammenpassen. Für den Betrieb mit mehreren Nutzern planen Sie diese Punkte:
Eigener Server
Ollama und RAGSuite auf einem Server im Firmennetz, mit GPU, wenn mehrere Personen gleichzeitig fragen.
Mehrere Nutzer
Die Community Edition hat unbegrenzte Nutzer und Projekte. Rollen, SSO und vollständiges Audit-Log bringt Enterprise.
Updates
RAGSuite aktualisieren Sie mit ragsuite update --restart; Datenbank, .env und Schlüssel bleiben erhalten.
Qualität prüfen
Testen Sie mit echten Fragen und prüfen Sie die Quellen. Ein kleines lokales Modell antwortet oft knapper als ein großes gehostetes Modell.
Bevor Sie RAG mit Ollama produktiv nutzen.
Haken Sie ab, was erledigt ist. Nichts wird gespeichert.
Fragen zu RAG mit Ollama.
Was ist Ollama?
Ollama ist ein Open-Source-Werkzeug, mit dem Sie Sprachmodelle auf eigener Hardware laden und betreiben. Es stellt die Modelle über eine lokale, standardisierte Schnittstelle bereit, die viele Werkzeuge ansprechen können.
Wie nutze ich lokale KI mit eigenen Daten?
Sie brauchen zwei Bausteine: ein lokales Sprachmodell, etwa über Ollama, und eine RAG-Plattform, die Ihre Dokumente einliest, einen Suchindex aufbaut und zu jeder Frage die passenden Textstellen mitgibt. Mit der kostenlosen RAGSuite Community Edition laden Sie in Ollama ein Chat- und ein Embedding-Modell, installieren RAGSuite und wählen Ollama in den Modell-Einstellungen als Anbieter. Laufen beide Modelle lokal, verlassen keine Daten Ihr Netz.
Kann Ollama allein RAG?
Nein. Ollama betreibt das Modell, durchsucht aber keine Dokumentensammlung. Für RAG brauchen Sie eine Plattform, die Dokumente einliest, einen Suchindex aufbaut und zu jeder Frage die passenden Stellen liefert. Das übernimmt die RAGSuite Community Edition.
Ist RAG mit Ollama kostenlos?
Ollama und die RAGSuite Community Edition sind kostenlos und Open Source. Kosten entstehen für Hardware, Strom und Betrieb. Wer keine eigenen Server betreiben will, kann die RAGSuite Engine nutzen, ab 39 € im Monat bei jährlicher Zahlung, zzgl. MwSt.
Welches Modell sollte ich nehmen?
Das hängt von Sprache, Hardware und Aufgabe ab. Achten Sie auf gute Deutschqualität, eine Lizenz, die den Einsatz im Unternehmen erlaubt, und eine Größe, die zu Ihrem Arbeitsspeicher passt. In RAGSuite können Sie das Modell später wechseln.
Verlassen Daten mein Netz?
Nicht, wenn Plattform, Suchindex, Chat-Modell und Embedding-Modell bei Ihnen laufen. RAGSuite sendet keine Telemetrie. Wählen Sie für eines der Modelle einen gehosteten Anbieter, gehen Fragen und Textstellen an diesen Anbieter.
Läuft das auch ohne Internet?
Für die Installation brauchen Sie Internet: npm für RAGSuite, Ollama zum Laden der Modelle. Danach können Modelle und Plattform ohne Verbindung nach außen laufen. Für vollständig abgeschottete Umgebungen unterstützen wir Sie im Rahmen von Enterprise.
Lokale KI mit Ihren Dokumenten, ohne Daten nach außen.
Installieren Sie die Community Edition, oder lassen Sie sich von Mihaela den Weg vom Test in den Betrieb zeigen.