Wer eine KI mit eigenen Daten nutzen will, muss sie in den meisten Fällen nicht trainieren. Für Fragen zu Richtlinien, Handbüchern oder Produkten reicht es meist, dem Sprachmodell zu jeder Frage die passenden Textstellen mitzugeben. Dieses Verfahren heißt Retrieval-Augmented Generation, kurz RAG.
Training und Fine-Tuning haben trotzdem ihren Platz, etwa wenn ein Modell einen bestimmten Stil oder eine Fachsprache lernen soll. Dieser Beitrag erklärt die drei Wege in einfachen Worten, vergleicht Kosten, Aktualität und Datenschutz und zeigt, wann welcher Weg passt.
- Ein Modell von Grund auf zu trainieren, ist für fast alle Unternehmen zu teuer. Realistisch sind Fine-Tuning und RAG.
- Fine-Tuning verändert das Modell und eignet sich für Stil, Format und Fachsprache. Neues Wissen kommt nur mit erneutem Training hinein.
- RAG lässt das Modell unverändert und gibt ihm zu jeder Frage passende Textstellen mit. Neues Wissen ist nach dem Einlesen verfügbar, und jede Antwort kann ihre Quelle nennen.
Drei Wege, KI mit eigenem Wissen zu nutzen
Ein Sprachmodell lernt sein Wissen im Training aus großen Textmengen. Was danach passiert, also Ihre Richtlinien, Produkte und Abläufe, kennt es nicht. Um das zu ändern, gibt es drei Wege:
| Weg | Was passiert | Typischer Einsatz |
|---|---|---|
| Training von Grund auf | ein neues Modell wird aus sehr vielen Daten gelernt | Anbieter von Sprachmodellen |
| Fine-Tuning | ein vorhandenes Modell wird mit eigenen Beispielen nachtrainiert | Stil, Format, Fachsprache, eine bestimmte Aufgabe |
| RAG | das Modell bleibt unverändert; zu jeder Frage werden passende Textstellen mitgegeben | Fragen zu Dokumenten, Richtlinien, Produkten |
Training von Grund auf braucht enorme Datenmengen und Rechenleistung und kommt für Unternehmen außerhalb der KI-Branche kaum infrage. In der Praxis geht es um die Wahl zwischen Fine-Tuning und RAG, oder um die Kombination beider.
Training und Fine-Tuning: das Modell verändern
Beim Fine-Tuning trainieren Sie ein vorhandenes Modell mit eigenen Beispielen nach, etwa Frage-Antwort-Paaren aus Ihrem Support. Verfahren wie LoRA lassen die ursprünglichen Gewichte unverändert und trainieren nur wenige zusätzliche Parameter. Das macht Nachtrainieren deutlich günstiger als ein volles Training.
Fine-Tuning ist gut darin, einem Modell ein Verhalten beizubringen: einen Tonfall, ein Ausgabeformat, Fachbegriffe oder eine eng umrissene Aufgabe. Weniger gut ist es als Speicher für Fakten. Das Modell gibt Gelerntes nicht verlässlich wörtlich wieder, kann nicht verlässlich angeben, woher eine Aussage stammt, und jede Änderung im Wissen braucht eine neue Trainingsrunde.
Fine-Tuning
- Verändert die Gewichte des Modells.
- Neues Wissen braucht erneutes Training.
- Antworten nennen keine verlässliche Quelle.
Gut geeignet für
- Tonfall und Ausgabeformat.
- Fachsprache und feste Aufgaben.
- Kombination mit RAG für beides.
RAG: Wissen mitgeben statt trainieren
Bei RAG bleibt das Sprachmodell unverändert. Ihre Dokumente werden eingelesen und in einen Suchindex gebracht. Kommt eine Frage, sucht das System die passenden Textstellen und gibt sie dem Modell mit. Das Modell formuliert daraus die Antwort und kann auf die Quelle verweisen.
Der Vorteil: Neues Wissen ist verfügbar, sobald das Dokument eingelesen ist, ohne Training. Gelöschte Dokumente fallen aus dem Index. Und weil die Antwort aus konkreten Textstellen entsteht, lässt sie sich im Original prüfen. Fehler sind damit nicht ausgeschlossen, etwa wenn die Suche die falsche Stelle findet; mehr dazu im Beitrag zu KI-Halluzinationen.
Einlesen Dokumente, Wiki, Ablagen in den SuchindexSuchen zu jeder Frage die passenden Stellen findenAntworten das Modell formuliert aus den StellenBelegen die Quelle wird mit angezeigt
Wie ein RAG-System im Detail aufgebaut ist, erklärt der Beitrag zum RAG System.
Vergleich: Kosten, Aktualität, Datenschutz
Für die meisten Einsatzfälle im Unternehmen entscheiden drei Fragen: Was kostet es, wie aktuell bleibt das Wissen, und wie gehen Sie mit personenbezogenen Daten um?
| Kriterium | Fine-Tuning | RAG |
|---|---|---|
| Kosten | Training, Datenaufbereitung, erneutes Training bei Änderungen | Einlesen und Suchindex; kein Training |
| Aktualität | Stand des letzten Trainings | Stand des letzten Einlesens |
| Quellen | keine verlässliche Quellenangabe | Antwort mit Quelle möglich |
| Rechte | Wissen steckt im Modell, für alle gleich | Inhalte lassen sich nach Projekten trennen |
| Löschen | gezieltes Entfernen aus dem Modell schwierig | Dokument aus dem Index entfernen |
Beim Datenschutz ist der Unterschied besonders deutlich. Der Europäische Datenschutzausschuss hat in seiner Stellungnahme 28/2024 festgehalten, dass KI-Modelle, die mit personenbezogenen Daten trainiert wurden, nicht automatisch als anonym gelten. Wer ein Modell mit personenbezogenen Daten trainiert, muss deshalb auch Fragen wie Auskunft und Löschung beantworten können. Bei RAG bleiben die Daten in Ihren Dokumenten und im Suchindex, wo Sie sie verwalten und löschen.
Wann welcher Weg passt
Die Faustregel: Geht es um Wissen, also um Inhalte, die sich ändern und belegt werden sollen, nehmen Sie RAG. Geht es um Verhalten, also wie ein Modell schreibt oder eine Aufgabe ausführt, kann Fine-Tuning helfen. Viele Teams kombinieren beides: ein angepasstes Modell, das aus den Textstellen einer RAG Engine antwortet.
Alle Punkte abgehakt. Gut vorbereitet.
Für den Einstieg empfehlen wir fast immer RAG: schneller startklar, ohne Trainingsdaten und mit nachprüfbaren Antworten.
KI mit eigenen Daten in RAGSuite
RAGSuite ist eine RAG Engine. Sie bindet Ihre Quellen an, von Upload und Website über SharePoint, Confluence, Google Drive, Notion und Slack, und beantwortet Fragen mit Quelle. Mit Ihren Daten trainiert RAGSuite kein Modell. Das Sprachmodell wählen Sie pro Projekt, gehostet oder lokal über Ollama.
Sie können RAGSuite selbst betreiben, mit der kostenlosen Community Edition, oder die RAGSuite Engine in einem Rechenzentrum in Deutschland nutzen. Mehr zur Wissensdatenbank zeigt die Seite KI-Wissensdatenbank, und wie die Engine arbeitet, die Seite RAG Engine.
Sehen Sie selbst, wie RAGSuite Ihr Wissen nutzt, ohne ein Modell zu trainieren: 7 Tage kostenlos mit dem Starter-Tarif der RAGSuite Engine oder im Gespräch mit Mihaela.
Häufige Fragen
Kann man eine KI mit eigenen Daten trainieren?
Ja, über Fine-Tuning, also das Nachtrainieren eines vorhandenen Modells mit eigenen Beispielen. Für Fragen zu Dokumenten, Richtlinien oder Produkten ist das aber selten der beste Weg. Meist reicht RAG: Das Modell bleibt unverändert und bekommt zu jeder Frage die passenden Textstellen aus Ihren Dokumenten.
Was ist der Unterschied zwischen RAG und Fine-Tuning?
Fine-Tuning verändert das Modell selbst und eignet sich für Stil, Format und Fachsprache. RAG lässt das Modell unverändert und gibt ihm zu jeder Frage Textstellen aus Ihren Dokumenten mit. Neues Wissen ist bei RAG nach dem Einlesen verfügbar, und Antworten können ihre Quelle nennen.
Was kostet es, eine KI mit eigenen Daten zu trainieren?
Fine-Tuning kostet Rechenzeit, vor allem aber Arbeit für gute Trainingsbeispiele und erneutes Training bei Änderungen. Ein Training von Grund auf ist für die meisten Unternehmen nicht wirtschaftlich. RAG braucht kein Training; Kosten entstehen für Einlesen, Suchindex und die Nutzung des Sprachmodells.
Ist RAG datenschutzfreundlicher als Training?
In der Regel ja. Bei RAG bleiben personenbezogene Daten in Ihren Dokumenten und im Suchindex, wo Sie sie verwalten und löschen. In einem trainierten Modell lassen sie sich kaum gezielt entfernen. Der Europäische Datenschutzausschuss sieht trainierte Modelle nicht automatisch als anonym an.
Trainiert RAGSuite Modelle mit meinen Daten?
Nein. RAGSuite ist eine RAG Engine: Ihre Daten werden eingelesen und durchsucht, aber nicht zum Training eines Modells verwendet. In der RAGSuite Engine gilt das auch für Microsoft, das die KI-Verarbeitung in der EU/EFTA übernimmt: Microsoft trainiert keine Modelle mit Ihren Daten. Zur Missbrauchserkennung prüft Microsoft auffällige Anfragen automatisiert und bei Bedarf durch Personal im EWR; diese Daten bleiben in Deutschland. Self-hosted oder mit eigenem API-Schlüssel regelt der Vertrag Ihres Modellanbieters, ob er Daten nutzt.
Quellen
- Lewis et al. (2020): Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks: Grundlagenarbeit zu RAG
- Hu et al. (2021): LoRA, Low-Rank Adaptation of Large Language Models: günstigeres Fine-Tuning
- EDPB: Opinion 28/2024 on AI models (Dezember 2024): Personenbezogene Daten in KI-Modellen
Mihaela begleitet Kunden von der Installation bis zum ersten produktiven Projekt. Sie schreibt über Betrieb, Konnektoren und die Kosten im eigenen Rechenzentrum.