Una política o promesa de entrega inventada puede convertir una pregunta normal en una queja. Los errores pueden venir de fuentes desactualizadas, recuperación incorrecta, contexto equivocado del cliente o del propio modelo. Comprueba estas causas por separado, ofrece un traspaso real a una persona y prueba qué ocurre cuando falta información fiable.
Tres fallos distintos a los que se llama igual
Los fallos de las fuentes y de la generación requieren controles diferentes. El perfil de IA generativa del NIST explica que los sistemas generativos pueden presentar contenido falso y citas engañosas con seguridad. Las fuentes aportan información que comprobar, pero la respuesta generada también necesita evaluación. La tabla separa algunos fallos habituales.
| Fallo | Cómo se manifiesta | La solución real |
|---|---|---|
| Hueco de recuperación | El cliente pregunta por una política que existe, pero el paso de búsqueda no devolvió nada relevante, así que el modelo rellenó el hueco con conocimiento general. | Comprueba cobertura de fuentes, indexación y recuperación. Añade el contenido que falte o corrige la búsqueda, y prueba que el asistente no afirme respuestas sin respaldo. |
| Fuente desactualizada | La respuesta se da con seguridad y era correcta el trimestre pasado. El artículo nunca se actualizó. | Fechas de revisión y una única página canónica por dato. El modelo está repitiendo fielmente lo que le dijiste. |
| Generación sin restricciones | El material era escaso, las instrucciones no prohibían extrapolar y el modelo produjo una política que sonaba plausible. | Prueba las instrucciones de fundamentación, el uso de las pruebas por el modelo y el traspaso humano. Revisa las afirmaciones incluso cuando se recuperó una fuente relevante. |
Dale una salida y haz que sea el camino fácil
Un modelo sin ninguna forma aceptable de fallar fallará de forma inaceptable. Si cada turno tiene que producir una respuesta y el material de referencia no la contiene, algo tiene que ceder, y lo que cede es la precisión. La solución no tiene nada de glamuroso: indica al sistema que responda solo con el material proporcionado, que nunca se invente políticas, precios ni datos de pedidos y que, cuando no lo sepa, lo diga claramente y pase la conversación a una persona. Esa instrucción solo vale algo si el traspaso existe de verdad y funciona; una salida de emergencia que lleva a un callejón sin salida entrena el mismo comportamiento que no tener ninguna.
Separa lo que puede leer de lo que puede afirmar
Las respuestas inventadas más dañinas en soporte no son políticas erróneas, sino datos concretos erróneos: una fecha de entrega, el estado de un reembolso, el nivel de una cuenta. Esto nunca debería salir del razonamiento de un modelo. Sale de una consulta al sistema, después de verificar la identidad del cliente, o no se afirma en absoluto. La distinción importa tanto que integramos la verificación de identidad y la respuesta genérica ante una discrepancia en el proceso de recuperación y no en las instrucciones: una instrucción es una petición, no un control. Hay más sobre dónde se sitúa esto en el resumen de funciones.
Los controles, ordenados por lo que te aportan
- Cobertura antes que ingenio. La mayor reducción de respuestas inventadas viene de documentar las veinte preguntas que ahora mismo no devuelven nada. Saca las transcripciones en las que la IA escaló o el cliente reformuló dos veces y escribe esos artículos primero.
- Instrucciones de anclaje que nombren explícitamente las categorías prohibidas (políticas, precios, datos de pedidos) en lugar de una petición general de ser preciso.
- Una vía de escalado que funcione, para que negarse a responder lleve a algún sitio.
- Verificación de identidad antes de cualquier afirmación específica de una cuenta, con una respuesta neutra cuando los datos no coinciden, para que una consulta fallida no se convierta en una herramienta de sondeo.
- Aprobación humana para las acciones irreversibles, lo que convierte una respuesta errónea en una sugerencia rechazada en lugar de en un pedido reembolsado.
- Seguimiento de reaperturas, porque una respuesta errónea dada con seguridad puntúa igual que una correcta en tasa de resolución y tiempo de respuesta. Este es el argumento a favor de un periodo de confirmación antes de dar nada por resuelto; el razonamiento está en tasa de desvío frente a tasa de resolución.
Qué preguntar a un proveedor
La mayoría de las demos se hacen con contenido seleccionado en el que la recuperación nunca falla, así que el comportamiento interesante nunca aparece. Pregunta en su lugar: ¿qué hace el sistema cuando la recuperación no devuelve nada: se niega o improvisa? ¿Puedo ver los pasajes de origen detrás de una respuesta concreta? ¿Esas fuentes son visibles para mis agentes y, por separado, se pueden mostrar a los clientes? ¿Puedo fijar un umbral de confianza por debajo del cual escale en lugar de responder? ¿Y qué conserva el registro, para poder reconstruir una reclamación? Nuestras propias respuestas están en la documentación, y la parte de medición está en cómo medimos.
Una advertencia que conviene decir claramente, ya que los proveedores rara vez lo hacen: nada de esto reduce la tasa de error a cero, y cualquier proveedor que insinúe lo contrario está vendiendo. El objetivo realista es que los errores sean raros, visibles, limitados a acciones reversibles y rastreables hasta una fuente que puedas corregir. Eso es alcanzable. La perfección no, y por eso la cola de aprobación descrita en agente de IA o chatbot importa más que cualquier instrucción.
Preguntas frecuentes
Una respuesta errónea puede surgir de contenido ausente o desactualizado, un pasaje recuperado que no corresponde, contexto incorrecto del cliente o la interpretación y generación del modelo. Examina la fuente y la respuesta por separado. Corrige el fallo correspondiente, repite la prueba y verifica que las peticiones sin respaldo lleguen a una persona.
Limítalo a responder solo con el material de referencia proporcionado, nombra explícitamente las categorías prohibidas, como políticas, precios y datos de pedidos, y dale la instrucción explícita de decir que no lo sabe y escalar a una persona cuando el material no cubra la pregunta. Esa vía de escape solo funciona si el traspaso llega de verdad a una persona; si no, el sistema aprende que negarse no es una opción viable.
Sí, y esta es la mitad más abordable del problema. Los datos concretos de pedidos y cuentas deben proceder de una consulta verificada al sistema y no del modelo, es decir, primero se confirma la identidad del cliente y una discrepancia devuelve una respuesta neutra en lugar de una suposición. Aplicarlo en el proceso de recuperación y no en la redacción de las instrucciones es lo que lo convierte en un control y no en una petición.
Pregúntale por una política que sabes que nunca has documentado en ningún sitio. Un sistema bien configurado dirá que no está seguro y ofrecerá una persona; uno mal configurado producirá una respuesta segura y plausible. Repite la prueba con preguntas cuya respuesta haya cambiado hace poco, porque los errores por fuentes desactualizadas son invisibles para el modelo y se darán con la misma seguridad que las respuestas correctas.
La tasa de reapertura dentro de un plazo definido, porque una respuesta errónea dada con seguridad puntúa igual que una correcta en tasa de resolución, tiempo de primera respuesta y, a menudo, en las valoraciones de satisfacción inmediatas. El cliente descubre el error más tarde y vuelve, así que cualquier recuento de resoluciones sin periodo de confirmación sobrevalorará la calidad justo donde es peor.
