Lokale KI mit eigenen Daten: RAG mit Ollama, Schritt für Schritt.
Lokale KI mit eigenen Daten heißt: Ein Sprachmodell läuft auf Ihrem eigenen Rechner oder Server und beantwortet Fragen aus Ihren Dokumenten. Ollama betreibt das Modell. Damit es Fragen aus Ihren Dokumenten beantwortet, braucht es eine Suche, die zu jeder Frage die passenden Textstellen findet und mitliefert: Retrieval-Augmented Generation, kurz RAG. Diese Anleitung zeigt, wie Sie Ollama mit RAGSuite Enterprise auf Ihrem eigenen Server verbinden.
Selbst betrieben mit RAGSuite Enterprise · läuft auf Ihrem Server · Stand: 5. November 2026
Das Wichtigste in Kürze
- Ollama stellt lokale Sprachmodelle über eine standardisierte Schnittstelle bereit, lokal unter
http://localhost:11434/v1. - RAGSuite Enterprise übernimmt auf Ihrem Server den RAG-Teil: Dokumente einlesen, durchsuchen und Antworten mit Quelle anzeigen. Ollama wählen Sie in den Modell-Einstellungen als Anbieter „Custom LLM / Ollama“.
- Damit keine Daten Ihr Netz verlassen, müssen Chat-Modell und Embedding-Modell lokal laufen. Nutzen Sie für eines davon einen gehosteten Anbieter, gehen Fragen und Textstellen dorthin.
- Die häufigsten Fehler: Ollama ist aus einem Docker-Container nicht erreichbar, das Kontextfenster ist zu klein, oder nach einem Wechsel des Embedding-Modells fehlt die Neuindexierung.
Was Ollama und RAG zusammen leisten.
Ollama allein kennt Ihre Dokumente nicht. Erst zusammen mit einer RAG-Plattform beantwortet ein lokales Modell Fragen aus Ihrem Wissen. Die Aufgaben sind klar verteilt:
Ollama: das Modell
Ollama lädt offene Sprachmodelle und betreibt sie auf Ihrer Hardware. Es formuliert Antworten, durchsucht aber keine Dokumentensammlung.
Zu jeder Frage werden die passenden Stellen aus Ihren Dokumenten gesucht und dem Modell mitgegeben. So antwortet es aus Ihren Quellen.
RAG System →Quellen anbinden, Suchindex aufbauen, Chat und Suche mit Quellenangabe. Auf Ihrem eigenen Server mit RAGSuite Enterprise.
RAGSuite selbst betreiben →Zusammen: alles lokal
Laufen Modell, Index und Plattform bei Ihnen, verlässt keine Anfrage Ihr Netz. RAGSuite sendet keine Telemetrie.
Voraussetzungen für RAG mit Ollama.
| Baustein | Was Sie brauchen | Hinweis |
|---|---|---|
| RAGSuite Enterprise | Lizenz für den Betrieb auf Ihrem eigenen Server, auf Wunsch air-gapped | Preis auf Anfrage |
| Ollama | Ollama installiert, ein Chat-Modell und ein Embedding-Modell geladen | Installation laut ollama.com |
| Hardware | Genug Arbeitsspeicher für das gewählte Modell; eine GPU beschleunigt deutlich | Kleine Modelle laufen auch auf der CPU, aber langsamer |
Schritt für Schritt: Modelle laden und RAGSuite bereitstellen.
Laden Sie zuerst zwei Modelle in Ollama: ein Chat-Modell für die Antworten und ein Embedding-Modell für den Suchindex. Ersetzen Sie die Platzhalter durch Modelle aus der Ollama-Bibliothek, deren Lizenz den Einsatz im Unternehmen erlaubt.
RAGSuite selbst läuft bei diesem Aufbau als RAGSuite Enterprise auf Ihrem Server. Lokale Modelle über Ollama und der vollständige Offline-Betrieb sind Teil von Enterprise.
$ ollama pull <chat-modell> # Modell für Antworten $ ollama pull <embedding-modell> # Modell für den Suchindex $ ollama list # geladene Modelle prüfen
Ollama in RAGSuite verbinden.
Sobald RAGSuite auf Ihrem Server läuft, verbinden Sie beides in der Web-Oberfläche. Die Modell-Einstellungen sehen etwa so aus; Ihre Modellnamen stehen dort, wo hier Platzhalter sind.
Projekt anlegen
Öffnen Sie http://localhost:9191 und legen Sie ein Projekt an.
Anbieter wählen
In den Modell-Einstellungen (Model Settings) wählen Sie als Anbieter „Custom LLM / Ollama“ und hinterlegen die Adresse Ihres Ollama-Servers, lokal meist Port 11434 mit dem Pfad /v1. Das genaue Feld beschreibt die Dokumentation.
Modelle zuordnen
Wählen Sie Ihr Chat-Modell und Ihr Embedding-Modell. Nur wenn beide lokal laufen, verlassen keine Textstellen Ihr Netz.
Verbindung prüfen
Speichern Sie die Einstellungen und stellen Sie eine Testfrage. Antwortet der Chat mit Quelle, ist Ollama verbunden.
Quellen anbinden
Laden Sie Dokumente hoch oder binden Sie SharePoint, Confluence, Google Drive, Notion oder Slack an. Danach beantwortet der Chat Fragen aus Ihren Dokumenten, mit Quelle.
Die genauen Feldnamen und weitere Einstellungen finden Sie in der Dokumentation unter docs.ragsuite.de.
Typische Fehler bei RAG mit Ollama und wie Sie sie beheben.
| Fehler | Ursache | Lösung |
|---|---|---|
| RAGSuite im Container erreicht Ollama nicht | Im Container zeigt localhost auf den Container selbst, nicht auf Ihren Server. | Die Adresse des Hosts verwenden, mit Docker Desktop etwa host.docker.internal (unter Linux zusätzlich host-gateway eintragen), und Ollama auf eine erreichbare Adresse binden. |
| Ollama ist von einem anderen Rechner nicht erreichbar | Ollama lauscht standardmäßig nur auf 127.0.0.1, Port 11434. | Mit OLLAMA_HOST eine andere Adresse setzen, etwa 0.0.0.0:11434, und den Port nur im internen Netz freigeben. |
| Antworten übergehen Teile der gefundenen Stellen | Das Kontextfenster des Modells ist zu klein für Frage und Textstellen. | Kontext mit OLLAMA_CONTEXT_LENGTH erhöhen oder weniger Textstellen pro Frage abrufen (Top K Results). |
| Nach dem Modellwechsel fehlen Treffer | Der Suchindex wurde mit einem anderen Embedding-Modell erstellt. | Quellen neu indexieren („Reindex now“ in den Modell-Einstellungen). |
| Antworten kommen sehr langsam | Das Modell läuft auf der CPU oder ist zu groß für die Hardware. | Ein kleineres Modell wählen oder eine GPU nutzen. |
| Antworten auf Englisch oder in holprigem Deutsch | Nicht jedes Modell beherrscht Deutsch gleich gut. | Ein Modell mit guter Deutschqualität wählen und mit eigenen Fragen testen. |
Vom Test in den Betrieb.
Ein erster Test zeigt, ob Modell und Dokumente zusammenpassen. Für den Betrieb mit mehreren Nutzern planen Sie diese Punkte:
Eigener Server
Ollama und RAGSuite auf einem Server im Firmennetz, mit GPU, wenn mehrere Personen gleichzeitig fragen.
Mehrere Nutzer
Mehrere Teams arbeiten in getrennten Projekten. Rollen, SSO und ein vollständiges Audit-Log sind Teil von RAGSuite Enterprise.
Updates
Planen Sie feste Termine für Updates von RAGSuite und Ollama ein. Datenbank, Einstellungen und Schlüssel bleiben dabei erhalten.
Qualität prüfen
Testen Sie mit echten Fragen und prüfen Sie die Quellen. Ein kleines lokales Modell antwortet oft knapper als ein großes gehostetes Modell.
Bevor Sie RAG mit Ollama produktiv nutzen.
Haken Sie ab, was erledigt ist. Nichts wird gespeichert.
Fragen zu RAG mit Ollama.
Was ist Ollama?
Ollama ist ein Open-Source-Werkzeug, mit dem Sie Sprachmodelle auf eigener Hardware laden und betreiben. Es stellt die Modelle über eine lokale, standardisierte Schnittstelle bereit, die viele Werkzeuge ansprechen können.
Wie nutze ich lokale KI mit eigenen Daten?
Sie brauchen zwei Bausteine: ein lokales Sprachmodell, etwa über Ollama, und eine RAG-Plattform, die Ihre Dokumente einliest, einen Suchindex aufbaut und zu jeder Frage die passenden Textstellen mitgibt. Mit RAGSuite Enterprise auf Ihrem Server laden Sie in Ollama ein Chat- und ein Embedding-Modell und wählen Ollama in den Modell-Einstellungen als Anbieter. Laufen beide Modelle lokal, verlassen keine Daten Ihr Netz.
Kann Ollama allein RAG?
Nein. Ollama betreibt das Modell, durchsucht aber keine Dokumentensammlung. Für RAG brauchen Sie eine Plattform, die Dokumente einliest, einen Suchindex aufbaut und zu jeder Frage die passenden Stellen liefert. Das übernimmt RAGSuite, selbst betrieben mit RAGSuite Enterprise.
Was kostet RAG mit Ollama?
Ollama selbst ist kostenlos. RAGSuite auf dem eigenen Server betreiben Sie mit RAGSuite Enterprise, der Preis ist auf Anfrage. Dazu kommen Hardware, Strom und Betrieb. Wer keine eigenen Server betreiben will, nutzt die RAGSuite Engine, gehostet in Deutschland, ab 39 € im Monat bei jährlicher Zahlung, zzgl. MwSt.
Welches Modell sollte ich nehmen?
Das hängt von Sprache, Hardware und Aufgabe ab. Achten Sie auf gute Deutschqualität, eine Lizenz, die den Einsatz im Unternehmen erlaubt, und eine Größe, die zu Ihrem Arbeitsspeicher passt. In RAGSuite können Sie das Modell später wechseln.
Verlassen Daten mein Netz?
Nicht, wenn Plattform, Suchindex, Chat-Modell und Embedding-Modell bei Ihnen laufen. RAGSuite sendet keine Telemetrie. Wählen Sie für eines der Modelle einen gehosteten Anbieter, gehen Fragen und Textstellen an diesen Anbieter.
Läuft das auch ohne Internet?
Ja. Der vollständige Offline-Betrieb ist Teil von RAGSuite Enterprise, selbst betrieben auf Ihren Servern oder air-gapped. Ollama braucht nur zum Laden der Modelle eine Verbindung. Danach laufen Modelle und Plattform ohne Verbindung nach außen. Für abgeschottete Umgebungen unterstützen wir Sie im Rahmen von Enterprise.
Lokale KI mit Ihren Dokumenten, ohne Daten nach außen.
Fragen Sie RAGSuite Enterprise für Ihren Server an, oder lassen Sie sich von Mihaela den Weg vom Test in den Betrieb zeigen.