Mesurer la qualité du support sans indicateurs de façade

La plupart des tableaux de bord de support sont remplis de chiffres qui montent quand tout va bien, montent quand tout va mal, et ne permettent pas de savoir lequel des deux se produit. Ils survivent parce que personne n’a à les défendre : un indicateur qui a toujours l’air acceptable ne déclenche jamais de réunion inconfortable. Le prix à payer, c’est que la file peut se dégrader pendant un mois avant qu’un graphique ne s’en aperçoive.

Les indicateurs de façade, et ce que chacun cache

Aucun de ces chiffres n’est faux. Chacun mesure quelque chose de réel, puis sert à répondre à une question à laquelle il ne peut pas répondre.

Le taux de déflexion mérite une mention à part, car c’est celui que l’on présente le plus souvent comme un chiffre de qualité alors qu’il s’agit d’un chiffre de capacité. Il compte les contacts qui ne sont pas arrivés, et un client qui a abandonné compte autant qu’un client qui a été aidé — la différence est détaillée dans taux de déflexion ou taux de résolution.

Les indicateurs de remplacement

1. Le taux de résolution selon une définition stricte. Les conversations résolues divisées par les conversations tentées, une conversation résolue étant une conversation à laquelle aucun agent humain n’a répondu ; les conversations dans lesquelles le client ne s’est jamais engagé sont exclues plutôt que comptées comme des réussites, et une résolution est retirée si la conversation est rouverte.
2. Le taux de réouverture sur une fenêtre précisée. La fenêtre fait partie de l’indicateur : un taux de réouverture sans nombre de jours associé n’est comparable à rien, pas même à sa propre valeur du trimestre précédent.
3. Le taux de contact, par commande ou par compte actif. C’est le seul chiffre de l’ensemble qui peut baisser pour une bonne raison. Le volume augmente avec l’activité ; un taux de contact en hausse signifie que le produit ou les contenus se sont dégradés.
4. L’ancienneté du backlog sous forme de distribution. Une ancienneté moyenne de neuf heures est compatible avec onze conversations traitées instantanément et une qui attend depuis quatre jours, et c’est celle de quatre jours qui rédigera l’avis.
5. Le coût par contact résolu, accompagné de la raison de son évolution.

Des temps de réponse bien mesurés

Trois corrections transforment le temps de première réponse d’élément décoratif en véritable signal. Présentez la médiane et le 90e centile plutôt que la moyenne, car la moyenne est fixée par une poignée de conversations restées en attente pendant un week-end. Mesurez en heures ouvrées uniquement, sinon vous vous évaluez sur l’horloge plutôt que sur le service. Et mesurez-le sur les conversations qui ont atteint un humain, car y mêler les réponses instantanées de l’IA produit une moyenne techniquement exacte et opérationnellement vide de sens.

Le 90e centile est celui à surveiller d’une semaine à l’autre. Une médiane stable pendant que le 90e centile grimpe est la signature classique d’une file où le travail courant se passe bien et où le travail difficile pourrit en silence.

La seule version du CSAT qui vaille d’être présentée

Un score de satisfaction unique sur une file mixte ne vous apprend presque rien d’exploitable. Séparez-le selon la façon dont la conversation s’est terminée — résolue par l’IA ou résolue par une personne — et les mêmes réponses commencent à répondre à de vraies questions : l’automatisation maintient-elle la qualité, et quels sujets ne devraient pas être automatisés du tout ?

Cette séparation doit être intégrée dans le circuit de collecte plutôt que reconstruite après coup. Dans CustomerEagle, une note est un nombre entier de 1 à 5, une par conversation, et elle est enregistrée avec l’information indiquant si la conversation a été résolue par l’IA : la ventilation est donc disponible sans aucune jointure manuelle. Le client peut noter à deux endroits — la carte dans le widget et le lien dans l’e-mail de conversation résolue — et les deux passent volontairement par le même code, pour que les deux canaux ne puissent pas dériver vers la mesure de choses différentes.

Une note par conversation est une limite délibérée : une seconde soumission est rejetée plutôt que moyennée, afin qu’un suivi ne puisse pas écraser discrètement la première impression. Une note basse fait aussi plus que nourrir le reporting. Sur une conversation comptée comme résolue par l’IA, une note de 2 ou moins annule cette résolution — elle sort de la consommation et est créditée si elle avait déjà été facturée, selon le même mécanisme de fenêtre de stabilisation que celui décrit sur comment nous mesurons les résolutions IA. Un score de satisfaction qui peut coûter de l’argent à l’éditeur est un score que l’éditeur a intérêt à collecter honnêtement.

• Présentez le taux de réponse à côté du score, à chaque fois. Un 4,6 obtenu sur 6 % des conversations et un 4,3 obtenu sur 40 % ne sont pas comparables, et le second est le chiffre le plus utile.
• Présentez les deux segments séparément et ne publiez jamais un score combiné sans les deux effectifs en dessous.
• Surveillez la tendance plutôt que le niveau. Une baisse d’un tiers de point dans le segment résolu par l’IA est un problème de contenu daté.
• Lisez les commentaires. C’est la seule partie du CSAT qui vous dit pourquoi, et c’est généralement celle dont personne n’est responsable.
• Signalez le biais quand vous présentez les résultats à la direction : les clients qui notent se sélectionnent eux-mêmes, et les conversations qui se sont mal terminées ont moins de chances d’atteindre l’étape de notation.

Le coût par contact résolu, et pourquoi il devrait baisser

Le coût par contact résolu est le chiffre que demandent les dirigeants et celui que l’on améliore le plus facilement dans la mauvaise direction. Il baisse quand la durée de traitement est comprimée, quand les agents clôturent plus vite et quand les clients abandonnent — rien de tout cela n’est souhaitable. Il devrait baisser parce que le taux de contact a baissé : moins de personnes ont eu besoin de demander, parce que l’article existait, que la page de suivi était claire ou que le produit a cessé de générer la question.

Présentez-le donc en binôme. Le coût par contact résolu à côté du taux de contact : une évolution du premier que le second n’explique pas est une évolution à examiner plutôt qu’à célébrer. Si une partie de votre coût est facturée par résolution, la définition qui sous-tend cette facturation fait partie de l’indicateur — les modèles utilisés par les éditeurs sont comparés dans qu’est-ce qu’une résolution IA.

Le rapport hebdomadaire sur une page

Sept chiffres, une page, chacun accompagné d’une note sur ce à quoi il ressemblerait s’il était manipulé. Si un chiffre ne peut pas être défendu dans cette dernière colonne, il n’a pas sa place sur la page.

C’est la dernière ligne qui transforme un rapport en travail. Les motifs de transfert regroupés constituent un backlog de contenus par ordre de priorité, et le premier motif du lundi est généralement un article qui peut être rédigé le mardi.

L’instrumentation, c’est la partie difficile

Un indicateur ne vaut que ce que vaut l’événement qui le sous-tend, et la plupart des débats sur le reporting sont en réalité des débats sur les événements. Avant qu’un chiffre n’apparaisse sur la page, il lui faut trois choses : un événement défini avec un déclencheur écrit, un responsable nommé autorisé à modifier la définition, et un export que vous pouvez vérifier au regard de vraies transcriptions.

• Une attribution par auteur du message, et non par issue de la conversation. Le fait qu’un humain ait répondu est une donnée sur les messages ; tout ce qui est déduit d’un champ de statut finira par dériver.
• Un fichier de définitions daté. Quand un chiffre bouge, la première question est de savoir si la définition a bougé, et il devrait suffire de trente secondes pour y répondre.
• Un échantillonnage, chaque semaine. Dix conversations lues du début à la fin vous en apprendront plus sur la qualité que n’importe quel graphique, et c’est aussi ainsi que vous découvrez qu’un indicateur mesure la mauvaise chose.
• Un export avec les transcriptions jointes, pour que chaque chiffre du rapport puisse être rattaché aux conversations qui l’ont produit.

Rien de tout cela n’exige une équipe data. Il faut décider quels sept chiffres vous défendrez, écrire ce que chacun signifie, et accepter de publier un chiffre qui évolue dans le mauvais sens. L’endroit où se trouve le reporting du volet IA dans le produit est décrit dans la présentation des fonctionnalités, et les définitions utilisées pour nos propres chiffres figurent sur comment nous mesurons les résolutions IA.