Eine erfundene Richtlinie oder Lieferzusage kann aus einer gewöhnlichen Support-Frage eine Beschwerde machen. Falsche Antworten können durch fehlende oder veraltete Quellen, ungeeignetes Retrieval, ein missverstandenes Anliegen oder das Modell selbst entstehen. Prüfen Sie diese Fehlerquellen getrennt, bieten Sie eine funktionierende Übergabe an Menschen an und testen Sie, was ohne belastbare Belege geschieht.
Drei verschiedene Fehler, die unter einem Namen laufen
Fehler in Quellen und Antwortgenerierung brauchen unterschiedliche Prüfungen. Auch eine passende Fundstelle garantiert keine richtige Antwort; kontrollieren Sie deshalb Beleg und erzeugte Aussage getrennt. Die Tabelle zeigt mögliche Fehlerpunkte und passende Untersuchungen.
| Fehler | Wie er sich zeigt | Die eigentliche Lösung |
|---|---|---|
| Retrieval-Lücke | Der Kunde fragt nach einer Richtlinie, die existiert, aber der Suchschritt lieferte nichts Relevantes – also füllte das Modell die Lücke mit Allgemeinwissen. | Prüfen Sie Quellenabdeckung, Indexierung und Retrieval. Ergänzen Sie fehlende Inhalte oder korrigieren Sie den Suchpfad und testen Sie, ob unbelegte Fragen übergeben werden. |
| Veraltete Quelle | Die Antwort klingt überzeugt und war im letzten Quartal richtig. Der Artikel wurde nie aktualisiert. | Überprüfungsdaten und eine maßgebliche Seite pro Fakt. Das Modell wiederholt getreu, was Sie ihm gesagt haben. |
| Uneingeschränkte Generierung | Das Material war dünn, der Prompt verbot das Extrapolieren nicht, und das Modell lieferte eine plausibel klingende Richtlinie. | Prüfen Sie die Grounding-Anweisungen, die Nutzung der Belege durch das Modell und eine funktionierende Übergabe. Kontrollieren Sie Aussagen auch dann, wenn eine relevante Quelle gefunden wurde. |
Geben Sie ihr einen Ausweg – und machen Sie ihn zum einfachen Weg
Ein Modell ohne akzeptablen Weg zu scheitern, scheitert auf inakzeptable Weise. Wenn jede Runde eine Antwort liefern muss und das Referenzmaterial keine enthält, muss etwas nachgeben – und das ist die Genauigkeit. Die Lösung ist unspektakulär: Weisen Sie das System an, nur aus bereitgestelltem Material zu antworten, niemals Richtlinien, Preise oder Bestelldetails zu erfinden und, wenn es etwas nicht weiß, das klar zu sagen und an einen Menschen zu übergeben. Diese Anweisung ist nur etwas wert, wenn die Übergabe tatsächlich existiert und funktioniert; ein Ausweg, der in einer Sackgasse endet, trainiert dasselbe Verhalten wie gar keiner.
Trennen Sie, was sie lesen darf, von dem, was sie behaupten darf
Die schädlichsten erfundenen Antworten im Support sind nicht falsche Richtlinien, sondern falsche Einzelheiten: ein Lieferdatum, ein Erstattungsstatus, eine Kontostufe. Diese dürfen nie aus der Schlussfolgerung eines Modells stammen. Sie kommen aus einer Systemabfrage, nachdem die Identität des Kunden verifiziert wurde – oder sie werden gar nicht genannt. Der Unterschied ist so wichtig, dass wir die Identitätsprüfung und die neutrale Antwort bei fehlender Übereinstimmung in den Retrieval-Pfad eingebaut haben statt in den Prompt – eine Prompt-Anweisung ist eine Bitte, keine Kontrolle. Mehr dazu, wo das sitzt, finden Sie in der Funktionsübersicht.
Die Maßnahmen, geordnet nach ihrem Nutzen
- Prüfen Sie die Quellenabdeckung, bevor Sie Komplexität ergänzen. Untersuchen Sie Fragen ohne passende Fundstelle, einschließlich Eskalationen und wiederholter Anliegen. Priorisieren Sie damit fehlende Artikel und testen Sie, ob die überarbeiteten Quellen und Antwortkontrollen den Fehler beheben.
- Grounding-Anweisungen, die die verbotenen Kategorien ausdrücklich benennen – Richtlinien, Preise, Bestelldetails – statt einer allgemeinen Bitte um Genauigkeit.
- Ein funktionierender Eskalationspfad, damit das Ablehnen einer Antwort irgendwohin führt.
- Identitätsprüfung vor jeder kontobezogenen Aussage, mit einer neutralen Antwort bei nicht übereinstimmenden Angaben, damit eine fehlgeschlagene Abfrage nicht zum Ausforschungswerkzeug wird.
- Menschliche Freigabe für unumkehrbare Aktionen – so wird aus einer falschen Antwort ein abgelehnter Vorschlag statt einer erstatteten Bestellung.
- Erfassung von Wiedereröffnungen, denn eine überzeugt klingende, aber falsche Antwort schneidet bei Lösungsquote und Antwortzeit genauso ab wie eine richtige. Das ist das Argument für eine Wartefrist, bevor etwas als gelöst gezählt wird – die Begründung steht in Selbstlösungsquote oder Lösungsquote.
Was Sie einen Anbieter fragen sollten
Die meisten Demos laufen auf kuratierten Inhalten, bei denen das Retrieval nie versagt – das interessante Verhalten tritt also nie auf. Fragen Sie stattdessen: Was tut das System, wenn das Retrieval nichts liefert – lehnt es ab oder improvisiert es? Kann ich die Quellpassagen hinter einer bestimmten Antwort sehen? Sind diese Quellen für meine Agenten sichtbar, und – davon getrennt – können sie Kunden angezeigt werden? Kann ich eine Konfidenzschwelle festlegen, unterhalb derer eskaliert statt geantwortet wird? Und was speichert das Protokoll, damit sich eine Beschwerde rekonstruieren lässt? Unsere eigenen Antworten darauf stehen in der Dokumentation, die Messseite unter So messen wir.
Ein Vorbehalt, den man klar aussprechen sollte, weil Anbieter es selten tun: Nichts davon senkt die Fehlerquote auf null, und wer etwas anderes andeutet, will verkaufen. Das realistische Ziel ist, dass Fehler selten, sichtbar, auf umkehrbare Aktionen begrenzt und auf eine Quelle zurückführbar sind, die Sie korrigieren können. Das ist erreichbar. Perfektion nicht – deshalb ist die Freigabe-Warteschlange aus KI-Agent oder Chatbot wichtiger als jeder Prompt.
Häufig gestellte Fragen
Eine falsche Antwort kann durch fehlende oder veraltete Inhalte, eine ungeeignete Fundstelle, falschen Kundenkontext oder die Interpretation und Generierung des Modells entstehen. Prüfen Sie Quelle und Antwort getrennt. Beheben Sie den jeweiligen Fehler, wiederholen Sie den Test und kontrollieren Sie, ob unbelegte Anliegen an Menschen übergeben werden.
Beschränken Sie den KI-Chatbot darauf, nur aus bereitgestelltem Referenzmaterial zu antworten, benennen Sie die verbotenen Kategorien wie Richtlinien, Preise und Bestelldetails ausdrücklich, und weisen Sie ihn ausdrücklich an, zu sagen, dass er etwas nicht weiß, und an einen Menschen zu eskalieren, wenn das Material die Frage nicht abdeckt. Dieser Ausweg funktioniert nur, wenn die Übergabe tatsächlich einen Menschen erreicht – sonst lernt das System, dass Ablehnen keine echte Option ist.
Ja, und das ist die leichter lösbare Hälfte des Problems. Bestell- und Kontodetails sollten aus einer verifizierten Systemabfrage stammen statt aus dem Modell: Die Identität des Kunden wird zuerst bestätigt, und bei fehlender Übereinstimmung kommt eine neutrale Antwort statt einer Vermutung. Erst wenn das im Retrieval-Pfad statt in der Prompt-Formulierung durchgesetzt wird, ist es eine Kontrolle statt einer Bitte.
Fragen Sie die Support-KI nach einer Richtlinie, von der Sie wissen, dass Sie sie nirgends dokumentiert haben. Ein korrekt konfiguriertes System sagt, dass es unsicher ist, und bietet einen Menschen an; ein schlecht konfiguriertes liefert eine überzeugt klingende, plausible Antwort. Wiederholen Sie den Test mit Fragen, deren Antworten sich kürzlich geändert haben, denn Fehler aus veralteten Quellen sind für das Modell unsichtbar und werden mit derselben Sicherheit vorgetragen wie korrekte Antworten.
Die Wiedereröffnungsrate innerhalb eines festgelegten Zeitfensters, denn eine überzeugt vorgetragene falsche Antwort schneidet bei Lösungsquote, Zeit bis zur ersten Antwort und oft auch bei unmittelbaren Zufriedenheitsbewertungen genauso ab wie eine richtige. Der Kunde bemerkt den Fehler später und meldet sich erneut – jede Zählung gelöster Anfragen ohne Wartefrist überschätzt die Qualität also genau dort, wo sie am schlechtesten ist.
