Naar hoofdinhoud

BlogKennisbank

Zo voorkom je dat je support-AI antwoorden verzint

Beperk verzonnen supportantwoorden door bronnen, zoekresultaten, modelgedrag en rechten te controleren. Met menselijke overdracht en herhaalbare tests.

Geschreven door het team van CustomerEagleGepubliceerd 9 min leestijdBijgewerkt
KennisbankKwaliteitAutomatisering
Kenniskaarten gaan door blauwe controlepoorten; één kaart ligt voor beoordeling naast een naslagwerk.
Redactionele illustratie gemaakt met AI: antwoorden testen en menselijke goedkeuring.

Een verzonnen beleidsregel of leverbelofte kan een gewone supportvraag veranderen in een klacht. Fouten kunnen ontstaan door verouderde bronnen, verkeerde zoekresultaten, onjuiste klantcontext of het model zelf. Onderzoek die oorzaken afzonderlijk, geef de assistent een werkende overdracht naar een medewerker en test wat er gebeurt wanneer betrouwbare informatie ontbreekt.

Drie verschillende fouten die één naam krijgen

Bronfouten en fouten bij het genereren vragen verschillende controles. Het Generative AI Profile van NIST beschrijft hoe een generatief systeem onjuiste informatie en misleidende citaties overtuigend kan presenteren. Bronnen helpen om beweringen te controleren, maar het gegenereerde antwoord blijft een afzonderlijk controlepunt. De tabel onderscheidt enkele veelvoorkomende oorzaken.

FoutHoe het eruitzietDe echte oplossing
ZoekfoutDe klant vraagt naar beleid dat wél bestaat, maar de zoekstap leverde niets relevants op en het model vulde de leegte met algemene kennis.Controleer dekking van de bronnen, indexering en de zoekstap. Vul ontbrekende informatie aan of herstel het zoeken en test of de assistent onbewezen antwoorden achterwege laat.
Verouderde bronHet antwoord komt met overtuiging en klopte vorig kwartaal nog. Het artikel is nooit bijgewerkt.Herzieningsdata en één canonieke pagina per feit. Het model herhaalt trouw wat jij hebt opgeschreven.
Ongeremd genererenHet materiaal was dun, de instructie verbood doorredeneren niet, en het model produceerde een geloofwaardig klinkend beleid.Test broninstructies, hoe het model bewijs gebruikt en de overdracht naar een medewerker. Controleer beweringen ook wanneer een relevante bron is gevonden.

Geef hem een uitweg, en maak dat de makkelijkste route

Een model zonder acceptabele manier om te mislukken, mislukt op een onacceptabele manier. Moet elke beurt een antwoord opleveren terwijl het bronmateriaal er geen bevat, dan moet er iets wijken — en wat wijkt is de juistheid. De oplossing is weinig spectaculair: instrueer het systeem alleen te antwoorden uit aangeleverd materiaal, nooit beleid, prijzen of ordergegevens te verzinnen, en als het iets niet weet dat gewoon te zeggen en over te dragen aan een medewerker. Die instructie is alleen iets waard als de overdracht echt bestaat en werkt; een nooduitgang die op een muur uitkomt leert hetzelfde gedrag aan als helemaal geen uitgang.

Scheid wat hij mag lezen van wat hij mag beweren

De schadelijkste verzinsels in support zijn niet verkeerde beleidsregels maar verkeerde specifieke gegevens: een bezorgdatum, de status van een terugbetaling, een abonnementsvorm. Die horen nooit uit de redenering van een model te komen. Ze komen uit het systeem zelf, opgezocht ná verificatie van de identiteit van de klant, of ze worden niet genoemd. Dat onderscheid weegt genoeg dat de identiteitscontrole en het neutrale antwoord bij een mismatch in de zoekroute zitten en niet in de instructie — een instructie is een verzoek, geen beheersmaatregel. Waar dat zit staat op het functie-overzicht.

In Nederland heeft dit bovendien een juridische kant die vaak wordt vergeten. Verzint je assistent een ruimere bedenktijd of een coulanceregeling die je niet voert, dan is dat richting de consument een mededeling die je lastig terugneemt. Wat er wél geldt en hoe je dat vastlegt staat in retourrecht en bedenktijd in je klantenservice.

De maatregelen, op volgorde van opbrengst

  1. Dekking vóór slimmigheid. De grootste daling in verzonnen antwoorden komt van het vastleggen van de twintig vragen die nu niets opleveren. Pak de gesprekken erbij waarin de AI opschaalde of de klant twee keer herformuleerde, en schrijf die artikelen eerst.
  2. Instructies die de verboden categorieën met naam noemen — beleid, prijzen, ordergegevens — in plaats van een algemeen verzoek om nauwkeurig te zijn.
  3. Een werkende opschalingsroute, zodat niet-antwoorden ergens heen kan.
  4. Identiteitscontrole vóór elke accountspecifieke uitspraak, met een neutraal antwoord als de gegevens niet matchen, zodat een mislukte zoekactie geen hengelmiddel wordt.
  5. Menselijke goedkeuring voor onomkeerbare acties, waarmee een fout antwoord een afgewezen voorstel wordt in plaats van een uitgevoerde terugbetaling.
  6. Meten van heropende gesprekken, want een zelfverzekerd fout antwoord scoort identiek op oplospercentage en reactietijd. Dat is het argument voor een wachtperiode voordat je iets als opgelost telt — de redenering staat in klantenservice meten zonder schijnstatistieken.

Wat je een leverancier vraagt

De meeste demo's draaien op zorgvuldig ingerichte content waarin de zoekstap nooit faalt, waardoor het interessante gedrag nooit langskomt. Vraag daarom: wat doet het systeem als de zoekstap niets oplevert — weigeren of improviseren? Kan ik de bronpassages zien achter een gegeven antwoord? Zijn die bronnen zichtbaar voor mijn medewerkers, en apart daarvan: kunnen ze aan klanten getoond worden? Kan ik een grens instellen waaronder hij opschaalt in plaats van antwoordt? En wat bewaart het logboek, zodat een klacht te reconstrueren is? Onze eigen antwoorden staan in de documentatie en op hoe wij meten.

Eén voorbehoud dat leveranciers zelden hardop maken: hiermee gaat het foutpercentage niet naar nul, en wie anders suggereert is aan het verkopen. Het realistische doel is dat fouten zeldzaam zijn, zichtbaar, begrensd tot omkeerbare acties, en herleidbaar tot een bron die je kunt repareren. Dat is haalbaar. Perfectie niet, en daarom weegt de goedkeuringswachtrij uit AI-agent of chatbot zwaarder dan welke instructie ook.

Veelgestelde vragen

Een fout antwoord kan komen door ontbrekende of verouderde content, een verkeerde gevonden passage, onjuiste klantcontext of de interpretatie en tekstgeneratie van het model. Controleer de bron en het uiteindelijke antwoord afzonderlijk. Herstel de relevante oorzaak, test de vraag opnieuw en controleer of onbewezen verzoeken een medewerker bereiken.

Eagle AI

Los meer tickets automatisch op.

Verbind je helpcenter, test antwoorden op je eigen vragen en beoordeel overdrachten voordat je live gaat.