Hybrid Search gegen KI-Halluzinationen: warum einfache Vektorsuche nicht reicht
Von Werner Graser, Entwickler von getVIA
Jede KI, die Kundenfragen beantwortet, steht vor dem gleichen Problem: Sie muss die richtige Information finden, bevor sie antworten kann. Findet sie die falsche oder eine, die nur so ähnlich klingt, halluziniert sie. Sie erfindet Preise. Termine. Produktnamen. In der automatisierten Kundenkommunikation über Telefon, WhatsApp oder E-Mail kann das teuer werden.
Bei getVIA haben wir nach 179 dokumentierten Halluzinationen im Praxisbetrieb einen Weg gefunden, das radikal zu reduzieren: besseres Suchen.
Das Problem: Cosine Similarity misst nur Ähnlichkeit
Die meisten KI-Systeme nutzen Vektorsuche mit Cosine Similarity. Dabei wird jede Frage und jeder Wissenseintrag in einen mathematischen Vektor umgewandelt, und das System sucht den Eintrag, der dem Fragevektor am ähnlichsten ist.
Klingt logisch. Funktioniert in der Theorie. Scheitert in der Praxis.
Ein Beispiel: Ein Kunde fragt den KI-Agenten eines Versicherungsmaklers „Was kostet die Kfz-Haftpflicht für einen BMW 320d, Baujahr 2019?“ Die Vektorsuche findet einen Wissenseintrag über „Kfz-Versicherungstarife und Berechnungsgrundlagen“ mit einem hohen Similarity-Score von 0,78. Thematisch passt das: Beides handelt von Kfz-Versicherungen. Der gefundene Eintrag enthält aber keine konkreten Preise für dieses Fahrzeug. Die KI nimmt trotzdem an, dass der Kontext relevant ist, und halluziniert einen Preis.
Die aktuelle Forschung bestätigt das Problem: Eine Studie der ACM Web Conference 2024 hat formal bewiesen, dass Cosine Similarity von gelernten Embeddings willkürliche und damit bedeutungslose Ähnlichkeiten liefern kann. Der Score sagt aus, dass zwei Texte thematisch verwandt sind. Ob einer die Frage des anderen beantwortet, sagt er nicht.
Die Lösung: Hybrid Search, zwei Suchverfahren, ein Ergebnis
Hybrid Search kombiniert zwei grundverschiedene Suchansätze:
Vektorsuche (Dense Retrieval)
Findet semantisch ähnliche Inhalte. Gut bei umformulierten Fragen, Synonymen und wenn der Kunde die exakten Fachbegriffe nicht kennt. „Ich brauch eine Versicherung fürs Auto“ findet „Kfz-Haftpflicht“.
Keyword-Suche (BM25 Sparse Retrieval)
Findet exakte Begriffe. Unverzichtbar bei Produktnamen, Artikelnummern, PLZ, Preisen und Eigennamen. „ENplus A1 Pellets 15kg“ oder „PLZ 6330“ muss wortwörtlich gefunden werden.
Die Ergebnisse beider Suchen führt Reciprocal Rank Fusion (RRF) zusammen. RRF ignoriert die rohen Scores, die zwischen den beiden Verfahren ohnehin nicht vergleichbar sind, und fusioniert die Rang-Positionen. Ein Eintrag, der bei beiden Verfahren weit oben steht, wird im Endergebnis priorisiert. Ein Eintrag, der nur bei einem Verfahren gut abschneidet, wird niedriger eingestuft.
Das Resultat: In Benchmarks steigt die Retrieval-Qualität (MRR) von 0,41 bei reiner Vektorsuche auf 0,67 bei Hybrid Search. Eine Steigerung um 63 Prozent.
Was das für die Praxis bedeutet
Zurück zum Versicherungsmakler-Beispiel: Mit Hybrid Search findet das System jetzt den exakten Eintrag „BMW 320d, Baujahr 2019, Kfz-Haftpflicht, Jahresprämie ab 487 Euro“, weil BM25 den Modellnamen und das Baujahr wortwörtlich matcht und die Vektorsuche den thematischen Kontext bestätigt. Beide Signale zusammen ergeben einen hohen RRF-Score. Der alte, thematisch passende, inhaltlich nutzlose Eintrag über „Berechnungsgrundlagen“ fällt im Ranking nach unten.
Keine Halluzination. Keine erfundenen Preise. Die KI hat die richtige Information gefunden, bevor sie geantwortet hat.
Unsere Architektur: drei Stufen gegen Halluzinationen
Bei getVIA setzen wir auf eine dreistufige Retrieval-Architektur:
Stufe 1: Hybrid Search (BM25 + Vektor + RRF)
Zwei parallele Suchverfahren, fusioniert durch Reciprocal Rank Fusion. Läuft in unserer Qdrant-Vektordatenbank, gehostet in Österreich.
Stufe 2: Cross-Encoder Reranking
Ein spezialisiertes Reranking-Modell bewertet die Top-Ergebnisse aus Stufe 1 neu. Der Cross-Encoder vergleicht Frage und Antwort Wort für Wort: Token-Level-Interaktion statt globalem Vektorvergleich. In Benchmarks bringt das eine weitere Steigerung auf über 0,80 MRR.
Stufe 3: Confidence Gating mit Strictness-Slider
Die kalibrierten Scores aus Stufe 2 fließen direkt in unseren 5-stufigen Strictness-Slider. Für kritische Branchen wie Versicherung, Recht oder Medizin steht der Slider auf Stufe 1: Hier antwortet die KI ausschließlich mit Treffern, deren Konfidenz über einem strengen Schwellenwert liegt. Bei allen anderen Anfragen leitet der Agent freundlich an einen Menschen weiter. Lieber eine Weiterleitung zu viel als eine falsche Preisauskunft.
100 Prozent DSGVO, auch beim Suchen
Unsere gesamte Retrieval-Pipeline läuft in Österreich und der EU. Die Vektordatenbank (Qdrant) ist auf österreichischen Servern gehostet. Die Embeddings kommen von Mistral AI in Paris. Kein API-Call geht in die USA. Für österreichische Unternehmen ist das eine Grundvoraussetzung.
Was wir aus 179 Halluzinationen gelernt haben
Bevor wir Hybrid Search implementiert haben, haben wir 179 Halluzinationen im Produktivbetrieb dokumentiert und analysiert. Die wichtigste Erkenntnis: Die überwältigende Mehrheit der Halluzinationen entstand durch schlechtes Retrieval. Die KI bekam den falschen Kontext und machte das Beste daraus. Leider war das „Beste“ oft erfunden.
Anti-Halluzination ist eine Architektur. Sie muss vom ersten Suchaufruf bis zur letzten Antwort durchgezogen sein. Liefert die Suche die falschen Informationen, kompensiert das kein Prompt-Engineering der Welt.
Unser Prinzip: Build RIGHT > Build FAST.
Teste unsere KI-Agenten live: Wähle Deine Branche und erlebe Hybrid Search in Aktion. Jetzt testen
Werner Graser, Inhaber von ylem e.U. und Entwickler von getVIA, macht Unternehmenswissen für KI-gestützte Kundenkommunikation nutzbar. Mehr über Werner Graser und KI-Wissensmanagement bei getVIA.
getVIA ist dein Team aus KI-Agenten für Telefon, WhatsApp und E-Mail, gebaut von ylem e.U. in Malta, Kärnten. Deine Agenten beantworten Anrufe, arbeiten Nachrichten ab und erledigen Anfragen, mit dem Wissen deines Betriebs. Sie laufen auf eigener Infrastruktur in Europa.