Lösungen für
Bitte auswählen
Web-App testen
ki-konzepte

Halluzinationen bei LLMs — Ursachen und Gegenmittel

Redaktion ·

Halluzinationen bei LLMs — Ursachen und Gegenmittel

Eine Halluzination ist eine flüssig und selbstbewusst formulierte Aussage eines großen Sprachmodells (LLM), die schlicht falsch oder frei erfunden ist. Das Tückische: Sie klingt genauso überzeugend wie eine korrekte Antwort. Genau deshalb sind Halluzinationen das größte Vertrauensproblem im praktischen Einsatz von LLMs — und der Grund, warum man Modellausgaben bei wichtigen Themen nie ungeprüft übernehmen sollte. Der kompakte Begriff steht im Glossar unter Halluzination; dieser Artikel erklärt Ursachen, Typen und vor allem die Gegenmittel.

Warum LLMs halluzinieren

Der Kern liegt in der Funktionsweise: Ein LLM sagt das wahrscheinlichste nächste Token voraus, nicht das wahre. Es optimiert auf plausible Fortsetzungen, nicht auf Faktentreue. Zwischen „klingt plausibel” und „ist korrekt” klafft eine Lücke — und in dieser Lücke entstehen Halluzinationen.

Mehrere Faktoren verstärken das:

  • Wissenslücken. Zu Themen, die im Training kaum vorkamen (Nischen, lokale Details, sehr aktuelle Ereignisse), erfindet das Modell plausibel klingende Lücken-Füller.
  • Trainings-Cutoff. Wissen endet zu einem bestimmten Stichtag. Was danach passiert ist, kennt das Modell nicht — rät aber trotzdem.
  • Mehrdeutige Prompts. Unklare oder unterspezifizierte Anweisungen geben dem Modell Spielraum, in die falsche Richtung zu raten.
  • Trainingsanreize. Aktuelle Forschung argumentiert, dass übliche Trainings- und Bewertungsverfahren das Raten belohnen statt das Eingeständnis von Unsicherheit — ein selbstbewusster Tipp bringt im Test eher Punkte als ein ehrliches „weiß nicht” (OpenAI, 2025).

Typen von Halluzinationen

Nicht jede Halluzination sieht gleich aus. Drei Muster begegnen einem im Alltag besonders oft:

Faktisch falsch. Das Modell behauptet eine konkrete, überprüfbare Tatsache, die nicht stimmt — ein falsches Datum, eine erfundene Zahl, eine vertauschte Zuordnung.

Erfundene Quellen und Zitate. Besonders heikel: Das Modell „belegt” eine Aussage mit einer Studie, einem Paragraphen oder einem URL, den es nie gegeben hat. Die Referenz sieht echt aus, existiert aber nicht.

Instruktions-Drift. Das Modell weicht von der Anweisung ab — beantwortet eine andere Frage, ignoriert eine Vorgabe oder vermischt Kontexte. Bei langen Prompts, die das Kontextfenster füllen, verliert es leichter den Faden und füllt Lücken mit Erfundenem.

Gegenmittel, die wirklich helfen

Es gibt keinen einzelnen Schalter. Wirksam ist eine Kombination mehrerer Schichten — je höher das Risiko, desto mehr davon.

RAG / Grounding. Die stärkste Maßnahme: Statt das Modell aus dem Gedächtnis antworten zu lassen, lieferst du ihm relevante, geprüfte Dokumente als Kontext mit. Das Modell soll aus diesen Quellen zitieren oder paraphrasieren, nicht frei generieren. Wie das funktioniert, behandelt der Artikel RAG verstehen im Detail. Grounding verschiebt die Antwort von „was ist wahrscheinlich” zu „was steht in der Quelle”.

Quellenzwang. Verlange im Prompt, dass jede Aussage mit einer Quelle aus dem mitgelieferten Kontext belegt wird — und dass das Modell explizit „nicht in den Quellen enthalten” sagt, wenn es etwas nicht findet. Das macht erfundene Belege sichtbar.

Determinismus für Fakten. Wo das Modell es erlaubt, senkt eine niedrige Zufalls-Einstellung (etwa eine niedrige Temperature) die Streuung und damit kreative Abschweifungen — sinnvoll bei faktischen, nicht bei kreativen Aufgaben. Hinweis: Manche aktuellen Modelle bieten diesen Regler nicht mehr an; dann steuert man über klare Prompts und einen Verifikations-Pass.

Verifikation / zweiter Pass. Lass eine Aussage in einem zweiten Schritt gegen die Quellen prüfen — durch das Modell selbst mit einem strengen Prüf-Prompt oder durch eine separate Kontrolle. Was der erste Pass behauptet, muss der zweite belegen können.

Klare, eindeutige Prompts. Je präziser die Anweisung, desto weniger Raum zum Raten. Gib Format, Umfang und Grenzen vor und sage explizit, was bei Unsicherheit zu tun ist.

Human-in-the-Loop bei Hochrisiko. Bei rechtlichen, medizinischen oder finanziellen Aussagen gehört ein Mensch in die Schleife. Sinnvoll ist ein Fail-Closed-Design: Liegt die Sicherheit unter einer Schwelle, eskaliert das System an einen Menschen, statt selbstbewusst zu raten.

FAQ

Was ist eine Halluzination bei einem LLM? Eine flüssig und überzeugend formulierte Modellausgabe, die faktisch falsch oder frei erfunden ist. Das Problem ist die Selbstsicherheit: Halluzinationen klingen genau wie korrekte Antworten und sind ohne Prüfung kaum zu erkennen.

Warum halluzinieren LLMs überhaupt? Weil sie das wahrscheinlichste nächste Token vorhersagen, nicht das wahre. Dazu kommen Wissenslücken, ein Trainings-Cutoff und Trainingsanreize, die selbstbewusstes Raten gegenüber dem Eingeständnis von Unsicherheit belohnen.

Kann man Halluzinationen ganz abstellen? Nein. Sie sind eine inhärente Eigenschaft probabilistischer Modelle; die Genauigkeit erreicht nie 100 %. Man kann sie aber durch Grounding, Quellenzwang, Verifikation und menschliche Prüfung deutlich reduzieren.

Was ist das wirksamste einzelne Gegenmittel? RAG beziehungsweise Grounding: Dem Modell geprüfte Quellen als Kontext mitgeben und es daraus zitieren lassen, statt aus dem Gedächtnis zu antworten. Das verschiebt die Antwort von „plausibel” zu „belegt”.

Warum sind erfundene Quellen besonders gefährlich? Weil sie Vertrauen vortäuschen. Eine erfundene Studie oder ein nicht existenter Paragraph wirkt wie ein Beleg, ist aber keiner. Deshalb sollte jede zitierte Quelle gegen den tatsächlich mitgelieferten Kontext geprüft werden.

Themenuebersicht

KI-KonzepteLLM-Grundlagen