RAG-Pipeline: so wird aus Dokumenten eine Antwort mit Quelle.
Eine RAG-Pipeline sorgt dafür, dass ein Sprachmodell aus Ihren Dokumenten antwortet statt aus dem Gedächtnis. Dieser Ratgeber erklärt die RAG-Architektur Baustein für Baustein: Chunking, Embeddings, Vektordatenbank, hybride Suche, Reranking und RAG-Evaluation, mit Startwerten, typischen Fehlern und einer Checkliste.
Für IT- und Fachteams · Stand: 5. November 2026
Das Wichtigste in Kürze
- Eine
RAG-Pipeline hat zwei Teile: dieIndexierung (Dokumente einlesen, in Chunks zerlegen, einbetten, speichern) und dieAbfrage (suchen, neu sortieren, Antwort mit Quelle erzeugen). - Die meisten Qualitätsprobleme entstehen vor dem Sprachmodell: schlecht aufbereitete Dokumente, ungünstiges Chunking oder eine Suche, die die richtige Stelle nicht findet.
Hybride Suche undReranking verbessern die Treffer meist spürbar, besonders bei Fachbegriffen, Nummern und Namen.- Ohne
RAG-Evaluation mit festen Testfragen wissen Sie nicht, ob eine Änderung hilft. Messen Sie Suche und Antwort getrennt.
Was ist eine RAG-Pipeline?
RAG steht für Retrieval-Augmented Generation: Vor jeder Antwort sucht das System die passenden Stellen in Ihren Dokumenten und gibt sie dem Sprachmodell mit. Die
Der erste Teil läuft im Hintergrund: Dokumente werden eingelesen, in Abschnitte zerlegt und als Vektoren gespeichert. Der zweite Teil läuft bei jeder Frage: suchen, die besten Treffer auswählen, eine Antwort mit Quelle erzeugen.
Die RAG-Architektur: acht Bausteine im Überblick.
Jeder Baustein hat Stellschrauben. Die Tabelle zeigt, worauf es ankommt und welcher Fehler dort am häufigsten passiert.
| Baustein | Aufgabe | Worauf es ankommt | Häufigster Fehler |
|---|---|---|---|
| 1 Quellen anbinden | Dokumente aus Ablagen, Wikis, Websites holen | Berechtigungen mitnehmen, Änderungen nachladen | Veraltete Kopien im Index |
| 2 Aufbereiten | Text aus PDF, Word und HTML extrahieren | Tabellen, Überschriften, Kopfzeilen sauber behandeln | Fußzeilen und Menüs im Text |
| 3 Chunking | Text in suchbare Abschnitte zerlegen | Größe, Überlappung, Grenzen an Überschriften | Abschnitte reißen mitten im Satz ab |
| 4 Embedding | Abschnitte in Vektoren umwandeln | Mehrsprachiges Modell für deutsche Texte | Modellwechsel ohne Neuindexierung |
| 5 Index | Vektoren speichern und schnell durchsuchen | Metadaten wie Quelle, Datum, Rechte | Keine Quelle am Chunk gespeichert |
| 6 Retrieval | Passende Abschnitte zur Frage finden | Top-K, Schwellenwert, hybride Suche | Zu wenige oder zu viele Treffer |
| 7 Reranking | Treffer genauer bewerten und neu sortieren | Kandidatenzahl und Antwortzeit | Bester Treffer landet auf Platz 9 |
| 8 Generierung | Antwort aus den Stellen formulieren, mit Quelle | Prompt, Kontextfenster, „weiß ich nicht“ erlauben | Antwort ohne Beleg |
RAG Chunking: Dokumente richtig zerlegen.
Chunking entscheidet, was die Suche überhaupt finden kann. Ein Chunk sollte eine Aussage enthalten, die für sich verständlich ist. Ist er zu klein, fehlt der Zusammenhang; ist er zu groß, verwässert die Suche und das Kontextfenster füllt sich.
| Strategie | So funktioniert es | Gut für |
|---|---|---|
| Feste Größe mit Überlappung | Alle 300 bis 800 Tokens schneiden, 10 bis 20 % überlappen | Einstieg, gleichförmige Texte |
| Nach Struktur | An Überschriften, Absätzen oder Paragrafen schneiden | Handbücher, Richtlinien, Verträge |
| Semantisch | Dort schneiden, wo das Thema wechselt | Lange, wenig gegliederte Texte |
| Mit Kontext-Kopf | Titel und Überschrift des Dokuments vor jeden Chunk setzen | Viele ähnliche Dokumente |
Hybride Suche und Reranking: die richtigen Stellen finden.
Vektordatenbank für RAG wählen (selbst gehostet).
Die
Die Kriterien sind herstellerneutral. Welche Lösung passt, hängt von Datenmenge, Team und Infrastruktur ab.
| Kriterium | Worauf Sie achten | Frage vor der Entscheidung |
|---|---|---|
| Betriebsform | Eingebettet läuft die Datenbank als Bibliothek im Prozess der Anwendung: wenig Betrieb, gut für einen einzelnen Server. Als eigener Server-Dienst teilen sich mehrere Anwendungen einen Index und skalieren getrennt; dafür ist ein weiterer Dienst zu betreiben und zu überwachen. | Wie viele Anwendungen und Server greifen auf den Index zu? |
| Persistenz und Sicherung | Der Index muss Neustarts überstehen und sich sichern lassen. Aus den Quellen lässt er sich zwar immer neu aufbauen, bei großen Beständen kostet das aber Zeit und Rechenleistung für die Embeddings. | Gibt es Snapshots, und haben Sie eine Wiederherstellung getestet? |
| Filter nach Metadaten und Berechtigungen | Die Suche sollte schon bei der Abfrage nach Quelle, Projekt, Datum oder Berechtigung filtern können. Ein nachträglicher Filter auf eine kurze Trefferliste lässt oft zu wenige passende Stellen übrig. | Lassen sich Mandanten, Projekte oder Bereiche sauber trennen? |
| Hybride Suche | Für Artikelnummern, Paragrafen und Namen brauchen Sie neben der Vektorsuche eine Stichwortsuche. Manche Datenbanken bringen beides mit; sonst betreiben Sie einen zweiten Index und führen die Ergebnislisten zusammen. | Wird Stichwortsuche mitgeliefert oder separat betrieben? |
| Datenmenge und Arbeitsspeicher | Grob gerechnet belegen 1 Million Chunks mit 1.024 Dimensionen als 32-Bit-Gleitkommazahlen rund 4,1 Milliarden Byte (3,8 GiB) reine Vektordaten; dazu kommen Indexstrukturen, Text und Metadaten. Viele gängige Indexverfahren halten diese Daten für schnelle Suche im Arbeitsspeicher. | Wie viele Chunks erwarten Sie in zwei Jahren? |
| Lizenz | Prüfen Sie, ob die Lizenz Selbstbetrieb, Änderungen und Weitergabe erlaubt (etwa Apache 2.0, MIT oder die PostgreSQL-Lizenz) und ob wichtige Funktionen nur in einer kommerziellen Ausgabe stecken. Lizenzen, die den Quellcode nur einsehbar machen, schränken oft den Betrieb als Dienst für Dritte ein. | Passt die Lizenz zu Ihrem Einsatz, auch wenn Sie Kunden bedienen? |
| Löschverhalten | Viele Vektorindizes markieren gelöschte Einträge zunächst nur als gelöscht (Tombstone) und entfernen sie erst bei einer Verdichtung (Compaction) physisch. Auch Snapshots und Backups enthalten gelöschte Daten, bis sie ablaufen. Für Löschpflichten nach Art. 17 DSGVO zählt, wann die Daten wirklich weg sind. | Wann wird physisch gelöscht, und wie lange leben Backups? |
Eigene Darstellung. Open-Source-Beispiele für die Betriebsformen, ohne Wertung: ChromaDB (eingebettet oder als Server) und pgvector (Vektorsuche als Erweiterung einer vorhandenen PostgreSQL-Datenbank). Speicherrechnung: 1.000.000 × 1.024 × 4 Byte = 4.096.000.000 Byte. RAGSuite bringt seinen Suchindex mit: ChromaDB, daneben PostgreSQL für Nutzer, Einstellungen und Verlauf.
RAG Evaluation: Qualität messen statt raten.
Jede Änderung an Chunking, Modell oder Suche kann helfen oder schaden. Ohne Messung merken Sie es erst, wenn Nutzer sich beschweren. Legen Sie deshalb früh einen festen Satz von 50 bis 100 echten Fragen an, jeweils mit der erwarteten Quelle, und prüfen Sie nach jeder Änderung dieselben Kennzahlen.
| Ebene | Kennzahl | Frage dahinter |
|---|---|---|
| Suche | Trefferquote (Recall@k) | Ist die richtige Stelle unter den ersten k Treffern? |
| Suche | Mittlerer reziproker Rang (MRR) | Wie weit oben steht die richtige Stelle? |
| Antwort | Quellentreue (Faithfulness) | Steht alles in der Antwort auch in den Quellen? |
| Antwort | Relevanz | Beantwortet sie die gestellte Frage? |
| Antwort | Zitatgenauigkeit | Verweist die Quelle auf die richtige Stelle? |
| Betrieb | Feedback, Antwortzeit, Kosten | Sind Nutzer zufrieden, und bleibt es schnell und bezahlbar? |
In RAGSuite sammeln alle Editionen Nutzer-Feedback zu Antworten. Detaillierte Abfrageanalyse mit Zeiten für Suche, Reranking und Modell sowie der Modellvergleich (Compare Models) gehören zu Enterprise.
RAG System aufbauen: selbst entwickeln oder Plattform nutzen?
Ein Prototyp mit einer Bibliothek und ein paar PDFs ist schnell gebaut. Der Aufwand steckt im Betrieb: Quellen synchron halten, Berechtigungen beachten, neu indexieren, eine Oberfläche bereitstellen und Qualität überwachen.
| Aufgabe | Selbst entwickeln | Mit RAGSuite |
|---|---|---|
| Quellen anbinden | Je Quelle eigene Integration | Upload, Website-Crawl, SharePoint, Confluence, Google Drive, Notion, Slack, Gmail |
| Modelle | Selbst einbinden und pflegen | Anbieter wählbar, auch lokal mit Ollama; Embedding-Wechsel mit „Reindex now“ |
| Suche | Index, Parameter, Reranker selbst bauen | Vektorindex, Top-K, Schwellenwert, Reranker per Schalter |
| Oberfläche | Selbst entwickeln | Chat, Suche, Website-Widget, Mobile App, REST-API |
| Quellen in Antworten | Selbst umsetzen | Jede Antwort mit Quelle |
| Kosten | Entwicklerzeit und Betrieb | Community Edition kostenlos, RAGSuite Engine ab 39 € im Monat (jährlich, zzgl. MwSt.) |
Bevor Ihre RAG-Pipeline live geht.
Haken Sie ab, was erledigt ist. Nichts wird gespeichert.
Fragen zur RAG-Pipeline.
Was ist eine RAG-Pipeline?
Eine RAG-Pipeline ist die Kette von Schritten, die Dokumente durchsuchbar macht und zu jeder Frage die passenden Textstellen an ein Sprachmodell gibt. Sie hat zwei Teile: die Indexierung (Dokumente einlesen, zerlegen, einbetten, speichern) und die Abfrage (suchen, sortieren, antworten mit Quelle).
Welche Chunk-Größe ist richtig?
Ein guter Startwert sind 300 bis 800 Tokens pro Chunk mit 10 bis 20 % Überlappung, besser noch entlang der Überschriften. Kleinere Chunks treffen genauer, größere liefern mehr Zusammenhang. Testen Sie mit Ihren Dokumenten und Fragen.
Welche Vektordatenbank eignet sich für RAG?
Eine beste für alle gibt es nicht. Für eine selbst gehostete RAG-Pipeline zählen Betriebsform (eingebettet oder eigener Server), Sicherung, Filter nach Metadaten und Berechtigungen, hybride Suche, die erwartete Datenmenge, die Lizenz und wann gelöschte Einträge wirklich entfernt werden. Für einen einzelnen Server reicht oft eine eingebettete Lösung; mehrere Anwendungen und große Datenmengen sprechen eher für einen eigenen Dienst.
Was ist hybride Suche?
Hybride Suche kombiniert die klassische Stichwortsuche mit der Vektorsuche nach Bedeutung und führt beide Ergebnislisten zusammen. Sie hilft besonders bei Artikelnummern, Namen, Abkürzungen und Fachbegriffen, die eine reine Vektorsuche verfehlen kann.
Was bringt Reranking?
Ein Reranker bewertet die ersten 20 bis 50 Treffer der Suche noch einmal genauer gegen die Frage und sortiert sie neu. Danach gehen nur die besten fünf bis acht Stellen an das Sprachmodell. Das verbessert die Treffsicherheit, kostet aber etwas Zeit pro Anfrage.
Wie misst man die Qualität einer RAG-Pipeline?
Mit einem festen Satz von 50 bis 100 echten Fragen und erwarteten Quellen. Gemessen wird die Suche (wird die richtige Stelle gefunden?) und die Antwort (stützt sie sich auf die Quelle, beantwortet sie die Frage, stimmt das Zitat?). Dazu kommen Feedback der Nutzer und Antwortzeit.
Soll ich eine RAG-Pipeline selbst bauen?
Für einen Prototyp ist das in wenigen Tagen machbar. Für den Betrieb kommen Konnektoren, Berechtigungen, Neuindexierung, Oberfläche, Protokolle und Updates dazu. Eine fertige Plattform wie die kostenlose RAGSuite Community Edition spart einen Großteil davon.
Muss ich nach einem Modellwechsel neu indexieren?
Beim Embedding-Modell ja: Vektoren verschiedener Modelle sind nicht vergleichbar, also müssen alle Dokumente neu eingebettet werden. Beim Chat-Modell nein, das können Sie ohne Neuindexierung wechseln.
Die RAG-Pipeline, fertig gebaut. Mit Quelle bei jeder Antwort.
Installieren Sie die Community Edition kostenlos, oder lassen Sie sich von Sanjay zeigen, wie RAGSuite Ihre Dokumente durchsuchbar macht.