RAG System einfach erklärt: So antwortet KI mit Ihrem Firmenwissen

Was ist RAG? Die Abkürzung einfach erklärt

RAG steht für Retrieval Augmented Generation, auf Deutsch etwa „durch Abruf angereicherte Erzeugung“. Retrieval heißt: Die KI holt sich zuerst passende Informationen. Generation heißt: Daraus erzeugt sie ihre Antwort. Den Begriff hat 2020 ein Forschungsteam um Patrick Lewis geprägt.

Warum das wichtig ist, zeigt eine einfache Frage: „Wie lang ist die Kündigungsfrist im Rahmenvertrag mit unserem Lieferanten?“ Ein allgemeiner KI-Assistent antwortet darauf flüssig und sicher. Die Antwort ist trotzdem geraten, denn den Vertrag hat das Modell nie gesehen. Es weiß, was in solchen Verträgen üblicherweise steht, nicht, was in Ihrem steht.

Ein RAG-System sucht stattdessen zuerst in Ihren Verträgen, findet § 14.2 und antwortet: „90 Tage, schriftlich“, mit einem Link auf genau diese Stelle. Für ein Unternehmen ist das der ganze Unterschied, denn die wichtigen Fragen bei der Arbeit sind fast immer konkret: Was steht in unserer Richtlinie, was haben wir mit diesem Kunden vereinbart, was gilt seit März?

Kurz gesagtRAG heißt: erst in Ihren Dokumenten suchen, dann antworten, dann die Quelle zeigen. Damit kennt die KI Ihr Firmenwissen, ohne es zu raten.

Wie funktioniert ein RAG-System?

Ein RAG-System arbeitet in vier Schritten. Der erste passiert einmal beim Einrichten und danach bei jeder Änderung, die anderen drei bei jeder Frage.

Der Trick steckt im zweiten Schritt. Das System soll nicht nur Abschnitte finden, die dieselben Wörter enthalten, sondern solche, die die Frage beantworten. Wer nach der „Kündigungsfrist“ fragt, soll auch den Satz finden: „Das Vertragsverhältnis endet 90 Tage nach schriftlicher Mitteilung.“

Dafür werden Texte in sogenannte Embeddings umgerechnet: lange Zahlenreihen, bei denen Abschnitte mit ähnlicher Bedeutung nahe beieinanderliegen. Gespeichert werden sie in einer Vektordatenbank. Die Suche ist dann die Frage, welche Abschnitte der Frage am nächsten liegen.

Ein gutes RAG-System prüft dabei auch die Zugriffsrechte. Es findet nur, was die fragende Person sehen darf. Und weil die Dokumente nicht ins Modell hineintrainiert werden, sind neue Unterlagen sofort verfügbar und gelöschte sofort weg.

Kurz gesagtEinlesen, Suchen, Antworten, Belegen. Embeddings finden passende Stellen nach Bedeutung, nicht nur nach gleichen Wörtern.

RAG, Fine-Tuning oder allgemeiner KI-Assistent?

Wer KI mit eigenem Wissen nutzen will, stößt auf drei Wege. Sie lösen unterschiedliche Probleme:

Für Wissen, das sich ändert und geprüft werden muss, ist RAG in Unternehmen meist der passende Weg. Fine-Tuning kann später dazukommen, etwa für eine einheitliche Tonalität.

Welche Modelle nutzt ein RAG-System? RAG ist kein eigenes Modell, sondern ein Verfahren. Es funktioniert mit fast jedem Sprachmodell: großen Modellen internationaler Anbieter, Modellen von Anbietern mit Sitz in der EU oder lokalen Modellen auf eigenen Servern. Die Wahl hängt von Datenschutz, Kosten und Qualität ab. In RAGSuite wählen Sie das Modell pro Projekt und können es jederzeit wechseln.

Kurz gesagtFür Wissen, das sich ändert und geprüft werden muss, ist RAG meist der richtige Weg. RAG ist ein Verfahren und funktioniert mit fast jedem Modell.

Warum die Quelle bei jeder Antwort entscheidet

Stellen Sie sich vor, jemand aus der Buchhaltung fragt nach der Kündigungsfrist und bekommt einen Satz zurück. Die nächsten dreißig Sekunden entscheiden, ob sich das Werkzeug lohnt.

Steht unter der Antwort ein Link auf § 14.2 des echten Vertrags, öffnet die Person die Stelle, liest sie und handelt. Das System hat ihr zwanzig Minuten Suche erspart, und geprüft hat sie in einer halben Minute.

Steht nichts darunter, bleiben zwei schlechte Wege: alles selbst nachprüfen, dann hat das Werkzeug nichts gespart. Oder nicht prüfen und auf einen Satz hin handeln, den niemand kontrolliert hat.

Das ist keine Geschmacksfrage der Oberfläche. Es ist der Unterschied zwischen einem System, das eine Prüfung übersteht, und einem, das still Risiken produziert. Auch die Datenschutzkonferenz hält in ihrer Orientierungshilfe zu RAG fest: RAG kann die Richtigkeit verbessern, falsche Aussagen lassen sich aber nicht ganz ausschließen. Die Quelle macht einen unsichtbaren Fehler zu einem prüfbaren.

Kurz gesagtDie Quelle macht aus einer Behauptung eine prüfbare Aussage. Testen Sie jede Demo mit einer Frage, deren Antwort Sie kennen.

Was ein RAG-System nicht kann

Jeder dieser Punkte wird irgendwo überverkauft. Deshalb hier klar gesagt:

• Es macht das Modell nicht klüger. RAG gibt dem Modell besseres Material. Gute Suche mit schwachem Modell ergibt richtige, aber holprige Antworten. Schwache Suche mit starkem Modell ergibt gut formulierte Antworten aus dem falschen Dokument, und die fallen schwerer auf.
• Es räumt Ihre Ablage nicht auf. Liegen drei Fassungen einer Richtlinie im Ordner, kann das System jede davon zitieren. RAG macht Probleme in Ihren Inhalten sichtbar und konkret. Lösen müssen Sie sie selbst.
• Es ersetzt keine verantwortliche Person. Jemand muss entscheiden, was eingelesen wird, was bei einer neuen Fassung rausfliegt und wer was sehen darf. Ohne diese Person sinkt die Qualität ab dem zweiten Monat.
• Es entscheidet nicht über Zugriffsrechte. Sobald ein System einen Ordner lesen kann, wird „Wer darf was sehen?“ eine echte Frage. Klären Sie sie bewusst, bevor sie in einer Prüfung auftaucht.

Darum lohnt ein Test mit Ihren eigenen Dokumenten mehr als jede Demo mit fremden Inhalten: Nur dort sehen Sie, wie gut Suche und Modell bei Ihnen zusammenspielen.

Kurz gesagtRAG macht das Modell nicht klüger, räumt nicht auf und ersetzt keine verantwortliche Person. Testen Sie mit eigenen Dokumenten.

Was brauchen Sie für den Start?

Für einen ersten Test braucht es weniger, als viele denken, aber drei Dinge müssen stimmen:

Mit RAGSuite, einer Wissens-Engine für Ihre Daten, bauen Sie ein RAG-System ohne eigene Entwicklung: Konto in der RAGSuite Engine anlegen oder die Community Edition auf Ihren Servern installieren, Quellen wie SharePoint oder Confluence verbinden, Modell wählen. Jede Antwort nennt ihre Quelle. Was das pro Monat kostet, rechnen Sie mit dem KI-Kosten-Rechner aus.

Wie die Plattform aufgebaut ist, zeigt die Seite RAG-System für Unternehmen. Ob die RAGSuite Engine oder eigene Server besser passen, klärt der Ratgeber RAGSuite Engine oder Self-hosted?. Und wenn Ihr RAG-System personenbezogene Daten verarbeitet, lesen Sie, wann eine Datenschutz-Folgenabschätzung nötig ist.

Kurz gesagtDrei Quellen mit vielen Fragen, ein Betriebsort, der zu Ihren Daten passt, und eine Person, die die Inhalte verantwortet.