LLM Halluzinationen: 13 Forschungsansätze im Vergleich
Von Werner Graser, Entwickler von getVIA
Stell Dir vor, Dein KI-Assistent beantwortet eine Kundenanfrage mit einer Telefonnummer, die gar nicht existiert. Oder nennt einen Preis, der seit zwei Jahren nicht mehr gilt. Oder erfindet eine Produkteigenschaft, die Dein Unternehmen nie beworben hat.
Das passiert jeden Tag, tausendfach. Und es hat einen Namen: Halluzination.
Large Language Models (LLMs) wie GPT-4, Claude, Mistral oder Qwen sind beeindruckend leistungsfähig. Sie haben aber eine fundamentale Schwäche: Sie können nicht zwischen Wissen und Erfindung unterscheiden. Was sie generieren, klingt immer überzeugend, egal ob es stimmt.
Für Unternehmen, die KI in der Kundenkommunikation einsetzen, ist das ein Geschäftsrisiko. Falsche Informationen zerstören Vertrauen, können rechtliche Konsequenzen haben und kosten im schlimmsten Fall Kunden.
Ich bin Werner Graser, CTO von getVIA, und seit zwei Jahren beschäftige ich mich damit, wie wir Halluzinationen in der Praxis verhindern können. Für diesen Überblick habe ich 13 aktuelle Forschungsansätze analysiert, von Stanford und Anthropic über Alibabas Qwen-Team bis zu europäischen Initiativen. Hier sind die fünf wichtigsten, die tatsächlich funktionieren.
Die 5 Ansätze, die wirklich zählen
1. RAG und Self-RAG: Wissen nachschlagen
Retrieval-Augmented Generation (RAG) ist heute der wichtigste Ansatz gegen Halluzinationen in der Praxis. Die Idee: Vor jeder Antwort wird eine externe Wissensdatenbank durchsucht. Das Modell generiert seine Antwort auf Basis der gefundenen Dokumente.
Self-RAG (Asai et al., Stanford 2023) geht einen Schritt weiter. Das Modell lernt drei zusätzliche Fähigkeiten:
- Entscheidung: Brauche ich für diese Frage überhaupt externe Quellen?
- Bewertung: Stützen die gefundenen Dokumente meine Antwort tatsächlich?
- Kritik: Ist meine Antwort vollständig und korrekt im Kontext der Quellen?
Das Ergebnis: 30 bis 50 % weniger Halluzinationen im Vergleich zu reinen LLM-Antworten. Bei domänenspezifischen Fragen (z. B. Produktinfos, Öffnungszeiten, Preise) liegt die Verbesserung noch höher.
Warum das für Dich relevant ist: RAG ist heute produktiv einsetzbar und die Basis jeder seriösen KI-Implementierung in der Kundenkommunikation.
2. F-DPO: Fakten-Training aus China
Direct Preference Optimization (DPO) ist ein Trainingsverfahren, bei dem ein Modell lernt, „gute“ Antworten von „schlechten“ zu unterscheiden. F-DPO (Factuality-aware DPO) wurde im Umfeld von Alibabas Qwen-Team entwickelt und fokussiert diese Unterscheidung auf einen einzigen Faktor: Stimmt die Antwort faktisch?
Klassisches RLHF-Training (Reinforcement Learning from Human Feedback) optimiert auf „hilfreich und harmlos“. Das Problem: Ein Modell kann extrem hilfreich klingen und trotzdem komplett falsch liegen. F-DPO macht faktische Korrektheit zum primären Optimierungsziel.
Die Ergebnisse aus dem Qwen-Team: Bis zu 40 % weniger faktische Fehler bei Open-Domain-Fragen. Qwen 2.5 72B liegt auf dem Vectara Hallucination Leaderboard teilweise vor deutlich größeren westlichen Modellen.
Was wir davon lernen: Die besten Ideen kommen nicht immer aus dem Silicon Valley. Chinesische Forschungsteams, insbesondere Alibaba (Qwen) und DeepSeek, haben bei der Halluzinationsreduktion massiv aufgeholt und setzen eigene Akzente.
3. MemoryOS: ein Gedächtnis für KI
Eines der häufigsten Halluzinations-Probleme in der Praxis: Das Modell widerspricht sich selbst. In Nachricht 3 sagt es A, in Nachricht 12 sagt es B. Der Kunde merkt das und vertraut ab diesem Moment nicht mehr.
MemoryOS adressiert genau dieses Problem. Es implementiert ein dreistufiges Gedächtnissystem, das an die menschliche Kognition angelehnt ist:
- Sensorisches Gedächtnis: Kurzfristiger Input-Buffer für die aktuelle Nachricht
- Arbeitsgedächtnis: Aktive Verarbeitung des laufenden Gesprächs mit Priorisierung
- Langzeitgedächtnis: Persistentes Wissen über den Kunden und den Kontext
Das Resultat: konsistentere Antworten über lange Gesprächsverläufe hinweg. Das Modell „vergisst“ nicht mehr, was es drei Nachrichten zuvor gesagt hat, und produziert weniger Widersprüche.
Praxis-Relevanz: Für Kundenservice-Szenarien, in denen ein Gespräch über Stunden oder Tage laufen kann, ist Konsistenz genauso wichtig wie Korrektheit.
4. Circuit Tracing: die Black Box öffnen (Anthropic)
Anthropic macht mit Circuit Tracing das Modell durchschaubar. Circuit Tracing zeigt die internen Berechnungswege eines LLMs: Welche Neuronen feuern bei welcher Frage? Wo wird auf Faktenwissen zugegriffen, und wo beginnt das Modell zu „erfinden“?
Das ist Grundlagenforschung. Die Implikationen sind enorm: Wenn wir verstehen, warum ein Modell halluziniert, können wir gezielt an der Wurzel eingreifen.
Anthropic hat gezeigt, dass bestimmte Halluzinations-Muster konsistent in den gleichen „Circuits“ (Berechnungspfaden) auftreten. Das öffnet die Tür für chirurgische Korrekturen ohne globales Re-Training.
Status: Forschungsstadium. Noch nicht produktiv einsetzbar, langfristig aber der vielversprechendste Ansatz überhaupt.
5. Self-Verification und Chain-of-Verification (CoVe)
Chain-of-Verification (Dhuliawala et al., Meta 2023) nutzt einen einfachen Trick: Das Modell wird sein eigener Faktenchecker.
Der Ablauf:
- Das Modell generiert eine Antwort
- Es erstellt automatisch Prüffragen zur eigenen Antwort
- Es beantwortet diese Prüffragen unabhängig (ohne die ursprüngliche Antwort zu sehen)
- Es vergleicht die Ergebnisse und korrigiert Widersprüche
Beispiel: Antwortet das Modell „Unsere Öffnungszeiten sind Mo bis Fr 8 bis 18 Uhr“, generiert es die Prüffrage „Was sind die Öffnungszeiten?“ und beantwortet sie separat auf Basis der Knowledge Base. Stimmen die Antworten nicht überein, wird die ursprüngliche Antwort verworfen.
Ergebnis: 20 bis 30 % weniger Halluzinationen bei faktenbasierten Fragen. Der Vorteil: Der Ansatz funktioniert mit jedem Modell, ohne Retraining.
Vectara Hallucination Leaderboard: Wer halluziniert am wenigsten?
Das Vectara Hallucination Leaderboard ist der bekannteste Benchmark für Halluzinationsraten. Es misst, wie häufig Modelle bei Zusammenfassungsaufgaben Fakten erfinden.
| Modell | Halluzinationsrate | Anbieter | Herkunft |
|---|---|---|---|
| GPT-4o | 1,5 % | OpenAI | USA |
| Claude 3.5 Sonnet | 1,8 % | Anthropic | USA |
| Gemini 1.5 Pro | 2,1 % | USA | |
| Qwen 2.5 72B | 2,4 % | Alibaba | China |
| Llama 3.1 405B | 2,7 % | Meta | USA |
| Mistral Large | 3,0 % | Mistral AI | EU/Frankreich |
| DeepSeek V3 | 3,2 % | DeepSeek | China |
| Mistral Medium | 3,5 % | Mistral AI | EU/Frankreich |
Stand: Q1 2026. Werte ändern sich mit Modell-Updates.
Drei Dinge fallen auf:
- Die Spitzenmodelle liegen eng beieinander (1,5 bis 3,5 %). Der Abstand hat sich gegenüber 2024 deutlich verkleinert.
- Chinesische Modelle (Qwen, DeepSeek) spielen in der gleichen Liga wie westliche Top-Modelle.
- Die beste Halluzinationsrate nützt nichts ohne RAG: Selbst GPT-4o mit 1,5 % erfindet bei jeder 67. Aussage etwas.
EU, China, USA: drei Welten, ein Problem
| Kriterium | EU | China | USA |
|---|---|---|---|
| Top-Modelle | Mistral Large/Medium | Qwen 2.5, DeepSeek V3 | GPT-4o, Claude, Gemini |
| Regulierung | EU AI Act (streng) | Interim Measures (moderat) | Keine bundesweite |
| Datenschutz | DSGVO (streng) | PIPL (staatl. Zugriff) | Sektorspezifisch |
| Open Source | Mistral (teilw. offen) | Qwen, DeepSeek (offen) | Llama (offen), GPT (geschl.) |
| DSGVO-kompatibel? | Ja (EU-Server) | Problematisch | Teilweise |
Für österreichische und deutsche Unternehmen ist die Herkunft der Modelle ein realer Faktor. Wer DSGVO-konform arbeiten will, braucht entweder ein EU-Modell (Mistral) oder einen Anbieter, der EU-Processing garantiert. Chinesische Modelle, so gut sie technisch sind, fallen für die meisten europäischen Use Cases aus Datenschutzgründen aus.
Was das für Dein Unternehmen bedeutet
Fünf Quick Wins, die jedes KMU sofort umsetzen kann:
1. RAG ist Pflicht
Jeder KI-Assistent, der Kundenanfragen beantwortet, braucht eine Knowledge Base. Ohne RAG ist die Halluzinationsrate inakzeptabel hoch. Eine gepflegte Wissensdatenbank mit Produktinfos, Preisen und FAQ senkt die Fehlerquote dramatisch.
2. Strictness konfigurieren
Nicht jeder Bot braucht die gleiche Freiheit. Für Produktanfragen und Preisauskünfte: maximale Strictness. Für Small Talk und allgemeine Beratung: lockerer. Manche Plattformen, darunter getVIA, bieten dafür konfigurierbare Stufen.
3. Knowledge Base aktuell halten
Die beste RAG-Implementierung hilft nichts, wenn die Wissensdatenbank von 2023 ist. Plane feste Zyklen für die Aktualisierung ein. Veraltete Informationen sind schlimmer als keine Information.
4. Feedback-Loop einrichten
Falsche Antworten müssen erkannt und markiert werden können. Richte ein System ein, bei dem Mitarbeiter fehlerhafte KI-Antworten flaggen können. Dieses Feedback fließt direkt in die Optimierung.
5. EU-Modelle bevorzugen
Für DSGVO-Konformität und Datenschutz sind europäische Modelle (Mistral) oder Anbieter mit garantiertem EU-Processing die sicherste Wahl. Das ist rechtlich relevant und ein Vertrauensargument gegenüber Deinen Kunden.
Wie getVIA Halluzinationen verhindert
Bei getVIA kombinieren wir mehrere dieser Forschungsansätze in unserem ProtectedPromptBuilder. Jede Anfrage durchläuft automatisch:
- RAG-Pipeline mit Qdrant-Vektordatenbank (self-hosted in Österreich)
- Strictness-System mit 5 konfigurierbaren Stufen
- PII-Scanner zum Schutz personenbezogener Daten
- Industry-Codes für branchenspezifische Verhaltensregeln
Das Ergebnis: Unsere Kunden können KI in der Kundenkommunikation einsetzen, ohne sich vor Halluzinationen fürchten zu müssen. Eliminieren kann sie niemand zu 100 %. Wir reduzieren sie auf ein Minimum und machen die verbleibenden Risiken transparent.
Du willst wissen, wie getVIA Halluzinationen in der Praxis verhindert? Buche eine kostenlose Demo. Wir zeigen Dir, wie der ProtectedPromptBuilder funktioniert und wie Du Deine KI-Kommunikation absichern kannst.
Quellen: Asai et al. (2023), arXiv:2310.11511 · Dhuliawala et al. (2023), arXiv:2309.11495 · Anthropic Research (2025), Circuit Tracing · Vectara Hallucination Leaderboard · EU AI Act, Verordnung (EU) 2024/1689
Werner Graser, Inhaber von ylem e.U. und Entwickler von getVIA, macht Unternehmenswissen für KI-gestützte Kundenkommunikation nutzbar. Mehr über Werner Graser und KI-Wissensmanagement bei getVIA.
getVIA ist dein Team aus KI-Agenten für Telefon, WhatsApp und E-Mail, gebaut von ylem e.U. in Malta, Kärnten. Deine Agenten beantworten Anrufe, arbeiten Nachrichten ab und erledigen Anfragen, mit dem Wissen deines Betriebs. Sie laufen auf eigener Infrastruktur in Europa.