LLM Halluzinationen: 13 Forschungsansätze im Vergleich

Stell dir vor, dein KI-Assistent beantwortet eine Kundenanfrage mit einer Telefonnummer, die gar nicht existiert. Oder nennt einen Preis, der seit zwei Jahren nicht mehr gilt. Oder erfindet eine Produkteigenschaft, die dein Unternehmen nie beworben hat.

Das passiert jeden Tag — tausendfach. Und es hat einen Namen: Halluzination.

Large Language Models (LLMs) wie GPT-4, Claude, Mistral oder Qwen sind beeindruckend leistungsfähig. Aber sie haben eine fundamentale Schwäche: Sie können nicht zwischen Wissen und Erfindung unterscheiden. Was sie generieren, klingt immer überzeugend — egal ob es stimmt oder nicht.

Für Unternehmen, die KI in der Kundenkommunikation einsetzen, ist das kein theoretisches Problem. Es ist ein Geschäftsrisiko. Falsche Informationen zerstören Vertrauen, können rechtliche Konsequenzen haben und kosten im schlimmsten Fall Kunden.

Ich bin Werner Graser, CTO von getVIA, und seit zwei Jahren beschäftige ich mich damit, wie wir Halluzinationen in der Praxis verhindern können. Für diesen Artikel habe ich 13 aktuelle Forschungsansätze analysiert — von Stanford und Anthropic über Alibabas Qwen-Team bis zu europäischen Initiativen. Hier sind die fünf wichtigsten, die tatsächlich funktionieren.

Die 5 Ansätze, die wirklich zählen

1. RAG und Self-RAG — Wissen statt Raten

Retrieval-Augmented Generation (RAG) ist heute der wichtigste Ansatz gegen Halluzinationen in der Praxis. Die Idee: Statt sich auf das Trainings-Wissen des Modells zu verlassen, wird vor jeder Antwort eine externe Wissensdatenbank durchsucht. Das Modell generiert seine Antwort auf Basis der gefundenen Dokumente — nicht auf Basis dessen, was es „gelernt" hat.

Self-RAG (Asai et al., Stanford 2023) geht einen entscheidenden Schritt weiter. Das Modell lernt drei zusätzliche Fähigkeiten:

• Entscheidung: Brauche ich für diese Frage überhaupt externe Quellen?
• Bewertung: Stützen die gefundenen Dokumente meine Antwort tatsächlich?
• Kritik: Ist meine Antwort vollständig und korrekt im Kontext der Quellen?

Das Ergebnis: 30–50 % weniger Halluzinationen im Vergleich zu reinen LLM-Antworten. Bei domänenspezifischen Fragen (z. B. Produktinfos, Öffnungszeiten, Preise) liegt die Verbesserung noch höher.

Warum das für dich relevant ist: RAG ist keine Zukunftsvision. Es ist heute produktiv einsetzbar — und die Basis jeder seriösen KI-Implementierung in der Kundenkommunikation.

2. F-DPO — Fakten-Training aus China

Direct Preference Optimization (DPO) ist ein Trainingsverfahren, bei dem ein Modell lernt, „gute" Antworten von „schlechten" zu unterscheiden. F-DPO (Factuality-aware DPO) wurde im Umfeld von Alibabas Qwen-Team entwickelt und fokussiert diese Unterscheidung auf einen einzigen Faktor: Stimmt die Antwort faktisch?

Klassisches RLHF-Training (Reinforcement Learning from Human Feedback) optimiert auf „hilfreich und harmlos". Das Problem: Ein Modell kann extrem hilfreich klingen und trotzdem komplett falsch liegen. F-DPO behebt genau das, indem faktische Korrektheit das primäre Optimierungsziel wird.

Die Ergebnisse aus dem Qwen-Team: Bis zu 40 % weniger faktische Fehler bei Open-Domain-Fragen. Besonders beeindruckend: Qwen 2.5 72B liegt auf dem Vectara Hallucination Leaderboard teilweise vor deutlich größeren westlichen Modellen.

Was wir davon lernen: Die besten Ideen kommen nicht immer aus dem Silicon Valley. Chinesische Forschungsteams — insbesondere Alibaba (Qwen) und DeepSeek — haben bei der Halluzinationsreduktion massiv aufgeholt und setzen eigene Akzente.

3. MemoryOS — Ein Gedächtnis für KI

Eines der häufigsten Halluzinations-Probleme in der Praxis: Das Modell widerspricht sich selbst. In Nachricht 3 sagt es A, in Nachricht 12 sagt es B. Der Kunde merkt das — und vertraut ab diesem Moment nicht mehr.

MemoryOS adressiert genau dieses Problem. Es implementiert ein dreistufiges Gedächtnissystem, das an die menschliche Kognition angelehnt ist:

• Sensorisches Gedächtnis: Kurzfristiger Input-Buffer für die aktuelle Nachricht
• Arbeitsgedächtnis: Aktive Verarbeitung des laufenden Gesprächs mit Priorisierung
• Langzeitgedächtnis: Persistentes Wissen über den Kunden und den Kontext

Das Resultat: Konsistentere Antworten über lange Gesprächsverläufe hinweg. Das Modell „vergisst" nicht mehr, was es drei Nachrichten zuvor gesagt hat, und produziert weniger Widersprüche.

Praxis-Relevanz: Für Kundenservice-Szenarien, in denen ein Gespräch über Stunden oder Tage laufen kann, ist Konsistenz genauso wichtig wie Korrektheit.

4. Circuit Tracing — Die Black Box öffnen (Anthropic)

Anthropic hat mit Circuit Tracing einen radikal anderen Ansatz gewählt. Statt das Modell besser zu trainieren, wird es durchschaubar gemacht. Circuit Tracing macht die internen Berechnungswege eines LLMs sichtbar: Welche Neuronen feuern bei welcher Frage? Wo wird auf Faktenwissen zugegriffen, und wo beginnt das Modell zu „erfinden"?

Das ist Grundlagenforschung, keine fertige Lösung. Aber die Implikationen sind enorm: Wenn wir verstehen, warum ein Modell halluziniert, können wir gezielt eingreifen — nicht mit Pflastern, sondern an der Wurzel.

Anthropic hat gezeigt, dass bestimmte Halluzinations-Muster konsistent in den gleichen „Circuits" (Berechnungspfaden) auftreten. Das öffnet die Tür für chirurgische Korrekturen statt globalem Re-Training.

Status: Forschungsstadium. Noch nicht produktiv einsetzbar, aber langfristig der vielversprechendste Ansatz überhaupt.

5. Self-Verification und Chain-of-Verification (CoVe)

Chain-of-Verification (Dhuliawala et al., Meta 2023) nutzt einen elegant einfachen Trick: Das Modell wird sein eigener Faktenchecker.

Der Ablauf:

1. Das Modell generiert eine Antwort
2. Es erstellt automatisch Prüffragen zur eigenen Antwort
3. Es beantwortet diese Prüffragen unabhängig (ohne die ursprüngliche Antwort zu sehen)
4. Es vergleicht die Ergebnisse und korrigiert Widersprüche

Beispiel: Wenn das Modell antwortet „Unsere Öffnungszeiten sind Mo–Fr 8–18 Uhr", generiert es die Prüffrage „Was sind die Öffnungszeiten?" und beantwortet sie separat auf Basis der Knowledge Base. Stimmen die Antworten nicht überein, wird die ursprüngliche Antwort verworfen.

Ergebnis: 20–30 % weniger Halluzinationen bei faktenbasierten Fragen. Der Vorteil: Der Ansatz funktioniert mit jedem Modell — ohne Retraining.

Vectara Hallucination Leaderboard — Wer halluziniert am wenigsten?

Das Vectara Hallucination Leaderboard ist der bekannteste Benchmark für Halluzinationsraten. Es misst, wie häufig Modelle bei Zusammenfassungsaufgaben Fakten erfinden.

Stand: Q1 2026 — Werte ändern sich mit Modell-Updates.

Drei Dinge fallen auf:

1. Die Spitzenmodelle liegen eng beieinander (1,5–3,5 %). Der Abstand hat sich gegenüber 2024 deutlich verkleinert.
2. Chinesische Modelle (Qwen, DeepSeek) spielen in der gleichen Liga wie westliche Top-Modelle.
3. Die beste Halluzinationsrate nützt nichts ohne RAG — selbst GPT-4o mit 1,5 % erfindet bei jeder 67. Aussage etwas.

EU vs. China vs. USA — Drei Welten, ein Problem

Für österreichische und deutsche Unternehmen ist die Herkunft der Modelle ein realer Faktor. Wer DSGVO-konform arbeiten will, braucht entweder ein EU-Modell (Mistral) oder einen Anbieter, der EU-Processing garantiert. Chinesische Modelle — so gut sie technisch sind — fallen für die meisten europäischen Use Cases aus Datenschutzgründen aus.

Was das für dein Unternehmen bedeutet

Die Forschung ist beeindruckend, aber was bringt sie dir konkret? Hier sind fünf Quick Wins, die jedes KMU sofort umsetzen kann:

1. RAG ist Pflicht, nicht optional

Jeder KI-Assistent, der Kundenanfragen beantwortet, braucht eine Knowledge Base. Ohne RAG ist die Halluzinationsrate inakzeptabel hoch. Eine gepflegte Wissensdatenbank mit Produktinfos, Preisen und FAQ senkt die Fehlerquote dramatisch.

2. Strictness konfigurieren

Nicht jeder Bot braucht die gleiche Freiheit. Für Produktanfragen und Preisauskünfte: maximale Strictness. Für Small Talk und allgemeine Beratung: lockerer. Manche Plattformen — darunter VIA — bieten dafür konfigurierbare Stufen.

3. Knowledge Base aktuell halten

Die beste RAG-Implementierung hilft nichts, wenn die Wissensdatenbank von 2023 ist. Plane feste Zyklen für die Aktualisierung ein. Veraltete Informationen sind schlimmer als keine Information.

4. Feedback-Loop einrichten

Falsche Antworten müssen erkannt und markiert werden können. Richte ein System ein, bei dem Mitarbeiter fehlerhafte KI-Antworten flaggen können. Dieses Feedback fließt direkt in die Optimierung.

5. EU-Modelle bevorzugen

Für DSGVO-Konformität und Datenschutz sind europäische Modelle (Mistral) oder Anbieter mit garantiertem EU-Processing die sicherste Wahl. Das ist nicht nur rechtlich relevant — es ist auch ein Vertrauensargument gegenüber deinen Kunden.

Wie VIA Halluzinationen verhindert

Bei VIA kombinieren wir mehrere dieser Forschungsansätze in unserem ProtectedPromptBuilder. Jede Anfrage durchläuft automatisch:

• RAG-Pipeline mit Qdrant-Vektordatenbank (self-hosted in Österreich)
• Strictness-System mit 5 konfigurierbaren Stufen
• PII-Scanner zum Schutz personenbezogener Daten
• Industry-Codes für branchenspezifische Verhaltensregeln

Das Ergebnis: Unsere Kunden können KI in der Kundenkommunikation einsetzen, ohne sich vor Halluzinationen fürchten zu müssen. Nicht weil wir sie eliminieren können — das kann niemand zu 100 %. Sondern weil wir sie auf ein Minimum reduzieren und die verbleibenden Risiken transparent machen.

Du willst wissen, wie VIA Halluzinationen in der Praxis verhindert? Buche eine kostenlose Demo — wir zeigen dir, wie der ProtectedPromptBuilder funktioniert und wie du deine KI-Kommunikation absichern kannst.

Quellen: Asai et al. (2023), arXiv:2310.11511 · Dhuliawala et al. (2023), arXiv:2309.11495 · Anthropic Research (2025), Circuit Tracing · Vectara Hallucination Leaderboard · EU AI Act, Verordnung (EU) 2024/1689