Eine KI-Halluzination ist eine Antwort, die überzeugend klingt und trotzdem falsch ist. Das Modell erfindet eine Zahl, eine Quelle oder einen Zusammenhang und präsentiert ihn so sicher wie jede richtige Auskunft. Genau das macht Halluzinationen gefährlich: Man sieht sie der Antwort nicht an.
Für Unternehmen ist das keine Theorie. Im Juli 2025 stellte das Amtsgericht Köln fest, dass die Fundstellen in einem anwaltlichen Schriftsatz „frei erfunden“ waren, offenbar von einer KI. Wer KI im Arbeitsalltag einsetzt, braucht deshalb ein klares Bild davon, warum Halluzinationen entstehen und was gegen sie hilft.
- Eine KI halluziniert, wenn sie etwas Falsches überzeugend als Tatsache ausgibt, etwa eine erfundene Quelle, eine falsche Frist oder eine Funktion, die es nicht gibt.
- Das liegt daran, dass Sprachmodelle wahrscheinliche Texte erzeugen und beim Training eher fürs Raten als fürs Eingestehen von Wissenslücken belohnt werden.
- Antworten aus Ihren eigenen Dokumenten mit sichtbarer Quelle senken das Risiko deutlich und machen Fehler prüfbar, beseitigen sie aber nicht ganz.
Was sind KI-Halluzinationen?
Von einer Halluzination spricht man, wenn ein Sprachmodell eine falsche Aussage macht oder fälschlich behauptet, eine Quelle stütze eine Aussage. Typisch sind drei Formen:
- Erfundene Fakten. Eine Zahl, ein Datum, eine Produkteigenschaft, die es nicht gibt.
- Erfundene oder falsche Quellen. Ein Urteil, ein Paragraf oder ein Fachartikel, der nicht existiert oder etwas anderes sagt.
- Falsche Zusammenfassungen. Das Dokument stimmt, aber die KI gibt es verkürzt oder verdreht wieder.
Der Begriff ist bildhaft, aber nicht ganz treffend. Die KI sieht nichts, was nicht da ist. Sie erzeugt Text, der plausibel klingt, ohne zu prüfen, ob er stimmt.
Kurz gesagtErfundene Fakten, falsche Quellen, verdrehte Zusammenfassungen: überzeugend formuliert.
Warum halluziniert KI?
Ein Sprachmodell sagt Wort für Wort voraus, was am wahrscheinlichsten folgt. Es hat dabei kein eingebautes Wissen darüber, ob eine Aussage wahr ist. Bei häufigen Fakten liegt die wahrscheinlichste Fortsetzung meist richtig. Bei seltenen Details, neuen Ereignissen oder internen Informationen fehlt dem Modell die Grundlage, und es füllt die Lücke mit etwas Plausiblem.
Dazu kommt das Training. Eine Forschungsarbeit von 2025 zeigt, dass die üblichen Tests Modelle eher fürs Raten belohnen als fürs Eingestehen von Unsicherheit. Wer bei einer Prüfung rät, sammelt manchmal Punkte; wer „weiß ich nicht“ sagt, nie. Modelle lernen also, lieber eine Antwort zu geben als keine.
Für Unternehmen heißt das: Fragen zu Ihren eigenen Verträgen, Produkten oder Abläufen kann ein allgemeines Modell gar nicht sicher beantworten. Diese Informationen hat es nie gesehen.
Kurz gesagtModelle erzeugen wahrscheinlichen Text und lernen, lieber zu raten als zu schweigen.
Beispiele aus der Praxis
Der Fall vor dem Amtsgericht Köln zeigt das Muster. In einem Schriftsatz zum Sorgerecht standen Zitate aus Kommentaren und Fachzeitschriften. Ein Autor gab den genannten Kommentar gar nicht heraus, eine Randnummer existierte nicht, ein Zeitschriftenzitat führte zu einer ganz anderen Entscheidung. Das Gericht verwies auf das anwaltliche Berufsrecht.
Im Unternehmensalltag sind die Fehler leiser, aber nicht harmloser:
- Die KI nennt im Kundenservice eine Kündigungsfrist, die im Vertrag anders steht.
- Sie beschreibt eine Produktfunktion, die erst geplant ist.
- Sie mischt die Reisekostenregel von 2023 mit der von 2026.
Gemeinsam ist allen drei: Die Antwort klingt sicher. Ohne Quelle fällt der Fehler erst auf, wenn er Schaden angerichtet hat.
Kurz gesagtVom Gerichtssaal bis zum Kundenservice: Ohne Quelle fällt der Fehler zu spät auf.
Was gegen Halluzinationen hilft: Antworten aus Ihren Dokumenten
Der wirksamste Hebel ist, das Modell nicht aus dem Gedächtnis antworten zu lassen. Bei RAG, Retrieval-Augmented Generation, sucht das System zuerst passende Textstellen in Ihren Dokumenten und gibt sie dem Modell mit. Die Antwort soll sich nur darauf stützen. Wie das funktioniert, erklärt unser Beitrag RAG-System erklärt.
KI ohne eigene Quellen
- Antwortet aus dem, was das Modell beim Training gelernt hat.
- Kennt Ihre Verträge, Produkte und Regeln nicht.
- Zeigt nicht, woher eine Aussage stammt.
KI mit Antworten aus Ihren Dokumenten
- Sucht zuerst passende Textstellen in Ihren Dokumenten.
- Stützt die Antwort auf diese Textstellen.
- Zeigt die Quelle, damit jeder die Aussage prüfen kann.
Wichtig ist die ehrliche Grenze. In der Studie im Journal of Empirical Legal Studies lagen auch spezialisierte Werkzeuge mit Quellenanbindung in 17 bis 33 Prozent der Fälle daneben. Sie waren besser als allgemeine Chatbots, aber nicht fehlerfrei. Das Modell kann eine Quelle falsch lesen, die falsche Stelle finden oder die Lücke trotzdem füllen. Der Gewinn von Quellen liegt deshalb vor allem darin, dass Fehler prüfbar werden.
Kurz gesagtAntworten aus Ihren Dokumenten senken das Risiko und machen Fehler prüfbar: fehlerfrei sind sie nicht.
Sechs Regeln für den Alltag
Technik senkt das Risiko, Regeln begrenzen den Schaden. Diese sechs helfen in jedem Unternehmen:
Alle Punkte abgehakt. Gut vorbereitet.
Dazu kommt die Schulung. Beschäftigte, die wissen, dass auch eine gut formulierte KI-Antwort falsch sein kann, öffnen die Quelle eher. Das passt zur KI-Schulungspflicht nach Art. 4.
Kurz gesagtQuelle zeigen, „weiß ich nicht“ erlauben, pflegen, eingrenzen, testen, gegenprüfen.
Fragen an Ihren KI-Anbieter, auch an uns
Kein Anbieter kann versprechen, dass seine KI nie halluziniert. Entscheidend ist, wie gut ein System Fehler sichtbar macht und wie Sie es verbessern können. Fragen Sie nach:
- Zeigt jede Antwort die Textstellen, aus denen sie stammt?
- Sagt die KI, wenn Ihre Dokumente keine Antwort enthalten?
- Können Nutzer falsche Antworten melden, mit Grund?
- Lässt sich nachvollziehen, ob ein Fehler an der Suche, der Quelle oder dem Modell lag?
- Können Sie das Modell wechseln und Ergebnisse vergleichen?
Bei RAGSuite, einer Wissens-Engine für Ihre Daten, zeigt jede Antwort ihre Quelle. Ihr Team meldet schwache Antworten mit einem Grund wie „veraltet“ oder „falsche Quelle“, Query-Tracing zeigt, an welchem Schritt es lag, und Modelle lassen sich vergleichen. So sinkt die Fehlerquote mit der Zeit. Wie das zusammenspielt, zeigt der Quality Loop.
Dies ist eine allgemeine Information. Prüfen Sie wichtige Auskünfte immer an der Quelle.
Kurz gesagtFragen Sie, wie ein System Fehler sichtbar macht, auch uns.
Sehen Sie selbst, wie RAGSuite jede Antwort mit Quelle belegt: 7 Tage kostenlos in der RAGSuite Engine oder im Gespräch mit Jürgen.
Häufige Fragen
Was sind KI-Halluzinationen?
KI-Halluzinationen sind falsche Aussagen, die ein Sprachmodell überzeugend als Tatsache ausgibt. Dazu gehören erfundene Zahlen, Quellen oder Produkteigenschaften und falsche Zusammenfassungen echter Dokumente. Gefährlich sind sie, weil sie genauso sicher formuliert sind wie richtige Antworten. Ohne sichtbare Quelle fallen sie oft erst auf, wenn sie Schaden angerichtet haben.
Warum halluziniert KI?
Sprachmodelle sagen voraus, welcher Text am wahrscheinlichsten folgt, ohne zu prüfen, ob er stimmt. Fehlt ihnen Wissen, etwa zu internen Informationen, füllen sie die Lücke mit Plausiblem. Forschung von 2025 zeigt zudem, dass Training und Tests Raten eher belohnen als das Eingeständnis, etwas nicht zu wissen.
Wie kann man KI-Halluzinationen vermeiden?
Ganz vermeiden lassen sie sich nicht, aber deutlich reduzieren. Am meisten hilft eine KI, die aus Ihren eigenen Dokumenten antwortet und die Quelle zeigt. Dazu kommen gepflegte Dokumente, klar abgegrenzte Assistenten, Tests mit echten Fragen, die Erlaubnis zu „weiß ich nicht“ und eine menschliche Prüfung bei Wichtigem.
Halluziniert RAG auch?
Ja, seltener, aber es kommt vor. Eine Studie von 2025 fand bei spezialisierten Werkzeugen mit Quellenanbindung Fehlerquoten von 17 bis 33 Prozent. Das Modell kann eine Quelle falsch lesen oder die falsche Stelle finden. Der wichtigste Vorteil ist, dass jede Antwort ihre Quelle zeigt und Fehler dadurch prüfbar werden.
Woran erkennt man eine KI-Halluzination?
Am sichersten am Abgleich mit der Quelle. Fehlt eine Quelle, ist die Antwort ungeprüft. Warnzeichen sind sehr genaue Zahlen ohne Beleg, Zitate, die sich nicht finden lassen, und Aussagen zu neuen oder internen Themen. Prüfen Sie Fristen, Beträge und Rechtsfragen immer im Originaldokument, bevor Sie sie weitergeben.
Quellen
- Magesh et al.: Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools, Journal of Empirical Legal Studies 22 (2025): 17–33 % Fehlerquote
- Kalai et al.: Why Language Models Hallucinate (arXiv, September 2025): Raten wird belohnt
- beck-aktuell: AG Köln, Beschluss vom 2.7.2025, 312 F 130/25: erfundene Fundstellen
- BSI: Große KI-Sprachmodelle: Chancen und Risiken für Industrie und Behörden: Halluzinationen, Vertrauen in Texte
Jürgen berät Unternehmen bei der Einführung von KI auf eigener Infrastruktur und verantwortet RAGSuite bei NITSAN. Er schreibt über Souveränität, Strategie und Kosten.