KI-Halluzinationen: warum sie passieren und was hilft

Im Frühjahr 2023 reichten zwei Anwälte in New York einen Schriftsatz ein, der sich auf mehrere Gerichtsentscheidungen stützte. Das Problem: Es gab sie nicht. ChatGPT hatte die Urteile samt Aktenzeichen und Zitaten erfunden. Richter P. Kevin Castel verhängte im Juni 2023 eine Geldstrafe von 5.000 US-Dollar gegen die Anwälte. Der Fall Mata gegen Avianca ist seitdem das Lehrbuchbeispiel für das, was man KI-Halluzination nennt.

Das Tückische daran ist nicht, dass die KI Fehler macht. Menschen machen auch Fehler. Tückisch ist, dass erfundene Inhalte genauso selbstsicher klingen wie richtige.

Was eine Halluzination genau ist

Der Begriff ist etwas irreführend, weil er nach Wahrnehmungsstörung klingt. Gemeint ist: Ein Sprachmodell erzeugt eine Aussage, die plausibel formuliert, aber sachlich falsch oder frei erfunden ist. Typisch sind ausgedachte Quellen und Studien, falsche Zahlen, nicht existierende Funktionen in Software, verwechselte Personen und Daten.

Halluzinationen sind keine Lüge im menschlichen Sinn. Das Modell hat keine Absicht. Es erzeugt Wort für Wort den wahrscheinlichsten nächsten Text, und manchmal ist der wahrscheinlichste Text eben ein plausibel klingendes Aktenzeichen, das es nicht gibt.

Warum Sprachmodelle raten

Eine viel beachtete Arbeit von Forschenden um Adam Tauman Kalai, erschienen im September 2025 unter dem Titel „Why Language Models Hallucinate“, liefert eine nüchterne Erklärung. Kurz gefasst: Training und Bewertung belohnen das Raten mehr als das Eingeständnis von Unsicherheit.

Man kann sich das wie eine Multiple-Choice-Prüfung ohne Punktabzug vorstellen. Wer bei einer unbekannten Frage rät, hat eine Chance auf Punkte. Wer „weiß ich nicht“ schreibt, bekommt sicher keine. Die meisten Benchmarks, an denen Modelle gemessen werden, funktionieren genau so. Die Autoren schlagen deshalb vor, die Bewertung bestehender Tests zu ändern, statt nur neue Halluzinationstests zu erfinden.

Für dich als Nutzer folgt daraus etwas sehr Praktisches. Wenn du im Prompt ausdrücklich erlaubst, „weiß ich nicht“ zu sagen, nimmst du dem Modell den Anreiz zum Raten zumindest teilweise.

Wo Halluzinationen besonders häufig auftreten

Nicht jede Aufgabe ist gleich riskant. Eine Faustregel: Je spezifischer und je seltener eine Information ist, desto eher wird sie erfunden.

Kriterium	Risiko	Was hilft
Text umformulieren, kürzen	gering	Vergleich mit Original
Eigenes Dokument zusammenfassen	mittel	Zitate mit Seitenzahl
Allgemeinwissen erklären	mittel	Quelle nachschlagen
Quellen, Studien, Urteile nennen	hoch	jede Quelle selbst öffnen
Zahlen zu Nischenthemen	hoch	Primärquelle suchen
Angaben über reale Personen	hoch	nicht ungeprüft verwenden

Eigene Einordnung. Websuche senkt das Risiko bei Fakten, beseitigt es aber nicht.

Die gefährlichste Kategorie sind Literaturangaben. Ein Modell, das nach „drei Studien zu diesem Thema“ gefragt wird, liefert drei Titel mit Autoren und Jahr. Manche davon gibt es, manche nicht, und manche gibt es, aber sie sagen etwas anderes. Ohne jede Quelle selbst zu öffnen, weißt du es nicht.

Typische Fehler im Büroalltag

Die spektakulären Fälle aus Gerichtssälen sind selten. Im Alltag sind es kleinere Fehler, die durchrutschen:

• Ein Paragraf wird richtig benannt, aber mit falschem Absatz oder aus einer alten Fassung zitiert.
• Die KI beschreibt Menüpunkte in einer Software, die es so nicht gibt, weil sie aus einer älteren Version oder einem ähnlichen Programm stammen.
• Preise, Fristen und Förderbedingungen stammen aus dem Trainingsstand des Modells und sind längst überholt.
• Datum und Wochentag passen nicht zusammen.
• Bei Übersetzungen werden Dezimalkomma und Tausenderpunkt vertauscht, aus 1.500 Euro werden 1,5 Euro.
• Ein Zitat wird einer bekannten Person zugeschrieben, die es nie gesagt hat.

Der dritte Punkt wird oft unterschätzt. Jedes Modell hat einen Wissensstand, nach dem es nichts mehr aus dem Training weiß. Fragst du ohne Websuche nach aktuellen Preisen oder Gesetzesänderungen, bekommst du den Stand von damals, ohne Hinweis darauf. Gerade bei KI-Werkzeugen selbst, deren Preise und Funktionen sich alle paar Monate ändern, ist das eine häufige Fehlerquelle.

Wenn Halluzinationen Folgen haben

Der Fall aus New York blieb nicht der einzige. Im Februar 2024 entschied das Civil Resolution Tribunal in British Columbia im Fall Moffatt gegen Air Canada. Der Chatbot der Fluggesellschaft hatte einem Kunden erklärt, er könne einen Trauerfall-Rabatt nachträglich beantragen. Das stimmte nicht. Air Canada argumentierte, der Chatbot sei für seine Aussagen selbst verantwortlich. Das Tribunal nannte das bemerkenswert, wies es zurück und sprach dem Kunden rund 812 kanadische Dollar zu.

Die Lehre für jedes Unternehmen: Was der eigene Chatbot sagt, gilt als Aussage des Unternehmens.

Auch der Datenschutz ist berührt, sobald es um Personen geht. Die DSGVO verlangt in Art. 5, dass personenbezogene Daten sachlich richtig sind. Im März 2025 reichte die Datenschutzorganisation noyb bei der norwegischen Aufsicht Datatilsynet Beschwerde gegen OpenAI ein, weil ChatGPT einen Mann fälschlich als verurteilten Mörder zweier seiner Kinder beschrieben hatte. Solche Fälle zeigen, warum man KI-Aussagen über reale Menschen nie ungeprüft übernehmen sollte.

Fünf Gewohnheiten, die Fehler abfangen

Halluzinationen lassen sich nicht abschalten, aber stark eingrenzen. Diese fünf Gewohnheiten bringen am meisten:

1. Quellen mitgebenEigene Dokumente hochladen und anweisen: nur daraus antworten.
2. Unsicherheit erlauben„Wenn du es nicht weißt oder es nicht im Text steht, sag das.“
3. Belege verlangenZu jeder Aussage Fundstelle und wörtliches Zitat.
4. Stichprobe prüfenMindestens die wichtigsten Zahlen und jede Quelle selbst öffnen.
5. Gegenfrage stellen„Welche Aussagen in deiner Antwort sind am unsichersten?“

Der erste Schritt bringt am meisten. Ein Modell, das aus einem mitgegebenen Dokument antwortet, erfindet deutlich seltener als eines, das aus seinem Trainingswissen schöpft. Wie das bei langen Dateien funktioniert, zeigt der Ratgeber PDF mit KI zusammenfassen.

Ein Prompt-Baustein, den du an fast jede Faktenfrage hängen kannst:

Beantworte die Frage nur, wenn du dir sicher bist.
Kennzeichne jede Aussage mit [sicher] oder [unsicher].
Nenne keine Quellen, die du nicht wörtlich zitieren kannst.
Wenn du etwas nicht weißt, schreib "weiß ich nicht".

Die Selbsteinschätzung des Modells ist nicht perfekt. Sie lenkt deinen Blick aber auf die Stellen, die du prüfen solltest. Mehr Bausteine dieser Art findest du im Beitrag gute Prompts schreiben.

Was Websuche ändert und was nicht

Viele Assistenten können inzwischen im Web suchen und Quellen verlinken. Das hilft enorm, weil du die Quelle mit einem Klick prüfen kannst. Zwei Fehler bleiben aber möglich: Die KI gibt eine echte Quelle falsch wieder, oder sie stützt sich auf eine schlechte Quelle. Ein Link unter der Antwort ist deshalb kein Beweis, sondern eine Einladung zum Nachlesen.

Praktisch heißt das: Öffne bei wichtigen Aussagen den verlinkten Text und such die Stelle, auf die sich die KI beruft. Steht sie dort nicht oder nur abgeschwächt, verwirf die Aussage. Das dauert eine Minute und erspart dir die peinliche Rückfrage eines Kunden.

Was das für dein Unternehmen heißt

Wer KI-Texte nach außen gibt, ob als Mail, Angebot oder Website-Inhalt, braucht eine klare Regel: Ein Mensch prüft Fakten, Zahlen und Namen vor der Veröffentlichung. Das gehört auch zur Pflicht aus dem AI Act, Beschäftigte über Risiken wie Halluzinationen aufzuklären; die EU-Kommission nennt genau dieses Beispiel in ihren Fragen und Antworten zur KI-Kompetenz. Mehr dazu im Beitrag zur KI-Kompetenz-Pflicht.

Wer einen Chatbot für Kunden betreiben will, sollte ihn so bauen, dass er nur aus geprüften Unternehmensdaten antwortet und bei Unsicherheit an einen Menschen übergibt. Solche Systeme entwickelt etwa OnlineBuilders für den Kundenservice.

Dein nächster Schritt: Nimm die letzte KI-Antwort, die eine Quelle oder Studie genannt hat, und öffne diese Quelle. Weitere Grenzen der Werkzeuge findest du unter Datenschutz & Grenzen.

Häufige Fragen

Halluzinieren neuere Modelle weniger?

Tendenziell ja, vor allem wenn sie im Web suchen und Quellen angeben können. Verschwunden ist das Problem aber nicht, weil es aus der Funktionsweise der Modelle folgt. Auch mit Websuche können Quellen falsch wiedergegeben werden.

Hilft es, die KI zu fragen, ob sie sich sicher ist?

Nur begrenzt. Modelle bestätigen falsche Aussagen manchmal auf Nachfrage, oder sie rudern bei richtigen zurück. Zuverlässiger ist es, nach einem wörtlichen Beleg mit Fundstelle zu fragen.

Wer haftet, wenn ich eine falsche KI-Auskunft weitergebe?

In aller Regel du oder dein Unternehmen. Ein kanadisches Schiedsgericht hat 2024 entschieden, dass eine Fluggesellschaft für die falsche Auskunft ihres Website-Chatbots einstehen muss.

Kann ich mich gegen falsche Aussagen einer KI über mich wehren?

Die DSGVO gibt ein Recht auf Berichtigung unrichtiger personenbezogener Daten. Ob und wie Anbieter das bei Sprachmodellen umsetzen können, ist umstritten und Gegenstand von Beschwerden bei Aufsichtsbehörden.