Support-Qualität messen ohne Schönwetter-Kennzahlen

Die meisten Support-Dashboards sind voller Zahlen, die steigen, wenn es gut läuft, steigen, wenn es schlecht läuft, und nicht verraten, welcher der beiden Fälle gerade eintritt. Sie überleben, weil niemand sie verteidigen muss: Eine Kennzahl, die immer akzeptabel aussieht, löst nie ein unangenehmes Meeting aus. Der Preis dafür: Die Warteschlange kann sich einen Monat lang verschlechtern, bevor irgendein Diagramm es bemerkt.

Die Schönwetter-Liste — und was jede Kennzahl verbirgt

Keine dieser Zahlen ist gefälscht. Jede misst etwas Reales und wird dann verwendet, um eine Frage zu beantworten, die sie nicht beantworten kann.

Die Deflection-Rate verdient eine eigene Erwähnung, weil sie am häufigsten als Qualitätskennzahl berichtet wird, obwohl sie eine Kapazitätskennzahl ist. Sie zählt Kontakte, die nicht eingegangen sind, und ein Kunde, der aufgegeben hat, zählt genauso wie ein Kunde, dem geholfen wurde — der Unterschied wird ausführlich behandelt in Deflection-Rate oder Lösungsquote.

Die Ersatzkennzahlen

1. Lösungsquote nach einer strengen Definition. Gelöste Gespräche geteilt durch versuchte Gespräche, wobei „gelöst“ bedeutet, dass kein menschlicher Agent geantwortet hat, Gespräche, auf die sich der Kunde nie eingelassen hat, ausgeschlossen statt als Erfolg gezählt werden und eine Lösung zurückgenommen wird, wenn das Gespräch wieder geöffnet wird.
2. Wiedereröffnungsquote innerhalb eines festgelegten Zeitfensters. Das Zeitfenster ist Teil der Kennzahl: Eine Wiedereröffnungsquote ohne Angabe der Tage ist mit nichts vergleichbar, nicht einmal mit ihrem eigenen Wert aus dem letzten Quartal.
3. Kontaktrate pro Bestellung oder pro aktivem Konto. Das ist die einzige Zahl im Set, die aus einem guten Grund sinken kann. Das Volumen wächst mit dem Geschäft; eine steigende Kontaktrate bedeutet, dass das Produkt oder die Inhalte schlechter geworden sind.
4. Das Alter des Rückstaus als Verteilung. Ein Durchschnittsalter von neun Stunden ist vereinbar mit elf sofort beantworteten Gesprächen und einem, das vier Tage wartet — und es ist das Vier-Tage-Gespräch, das die Bewertung schreibt.
5. Kosten pro gelöstem Kontakt, mit dem Grund für jede Veränderung dazu.

Antwortzeiten richtig messen

Drei Korrekturen machen die Erstreaktionszeit von einer Dekoration zu einem Signal. Geben Sie Median und 90. Perzentil statt des Mittelwerts an, weil der Mittelwert von einer Handvoll Gesprächen bestimmt wird, die über ein Wochenende liegen geblieben sind. Messen Sie nur während der Geschäftszeiten, sonst bewerten Sie die Uhr statt des Service. Und messen Sie an Gesprächen, die bei einem Menschen angekommen sind, denn wer sofortige KI-Antworten einrechnet, erhält einen Durchschnitt, der technisch stimmt und betrieblich nichts aussagt.

Das 90. Perzentil ist die Zahl, die Sie von Woche zu Woche beobachten sollten. Ein stabiler Median bei steigendem 90. Perzentil ist das klassische Muster einer Warteschlange, in der die Routinearbeit gut läuft und die schwierige Arbeit still verrottet.

Die einzige CSAT-Variante, die sich zu berichten lohnt

Ein einziger Zufriedenheitswert über eine gemischte Warteschlange sagt Ihnen fast nichts, worauf Sie reagieren können. Teilen Sie ihn danach auf, wie das Gespräch endete — von der KI gelöst oder von einer Person gelöst —, und dieselben Antworten beginnen, echte Fragen zu beantworten: ob die Automatisierung die Qualität hält und welche Themen gar nicht automatisiert werden sollten.

Diese Aufteilung muss in den Erfassungsweg eingebaut sein, statt nachträglich rekonstruiert zu werden. In CustomerEagle ist eine Bewertung eine ganze Zahl von 1 bis 5, eine pro Gespräch, und sie wird zusammen mit der Angabe gespeichert, ob das Gespräch von der KI gelöst wurde — die Aufschlüsselung ist also verfügbar, ohne dass jemand etwas von Hand verknüpfen muss. Es gibt zwei Stellen, an denen ein Kunde bewerten kann — die Karte im Widget und den Link in der E-Mail zum gelösten Gespräch —, und beide laufen bewusst über denselben Codepfad, damit die beiden Kanäle nicht auseinanderdriften und unterschiedliche Dinge messen.

Eine Bewertung pro Gespräch ist eine bewusste Grenze: Eine zweite Abgabe wird abgelehnt statt eingerechnet, sodass eine Nachbewertung den ersten Eindruck nicht still überschreiben kann. Eine niedrige Bewertung bewirkt außerdem mehr als nur einen Eintrag im Bericht. Bei einem Gespräch, das als KI-gelöst gezählt wurde, macht eine Bewertung von 2 oder niedriger diese Lösung rückgängig — sie wird aus der Nutzung herausgenommen und gutgeschrieben, falls sie bereits in Rechnung gestellt wurde. Das ist derselbe Mechanismus des Abwicklungsfensters, der unter So messen wir KI-Lösungen beschrieben ist. Ein Zufriedenheitswert, der den Anbieter Geld kosten kann, ist ein Zufriedenheitswert, den der Anbieter ein Interesse hat, ehrlich zu erheben.

• Geben Sie die Rücklaufquote jedes Mal neben dem Wert an. Eine 4,6 aus 6 % der Gespräche und eine 4,3 aus 40 % sind nicht vergleichbar, und die zweite ist die nützlichere Zahl.
• Berichten Sie die beiden Segmente getrennt und veröffentlichen Sie nie einen gemischten Wert, ohne beide Fallzahlen darunter anzugeben.
• Achten Sie auf die Richtung statt auf das Niveau. Ein Rückgang um einen Drittelpunkt im KI-gelösten Segment ist ein Inhaltsproblem mit Datum.
• Lesen Sie die Kommentare. Sie sind der einzige Teil des CSAT, der Ihnen das Warum verrät, und meist der Teil, für den niemand zuständig ist.
• Legen Sie die Verzerrung offen, wenn Sie die Zahl nach oben berichten: Kunden, die bewerten, wählen sich selbst aus, und Gespräche, die schlecht endeten, erreichen den Bewertungsschritt seltener überhaupt.

Kosten pro gelöstem Kontakt — und warum sie sinken sollten

Die Kosten pro gelöstem Kontakt sind die Zahl, nach der die Geschäftsleitung fragt, und die Zahl, die sich am leichtesten in die falsche Richtung verbessern lässt. Sie sinken, wenn die Bearbeitungszeit gedrückt wird, wenn Agenten schneller schließen und wenn Kunden aufgeben — nichts davon wollen Sie. Sinken sollten sie, weil die Kontaktrate gesunken ist: weil weniger Menschen fragen mussten, da es den Artikel gab, die Seite zur Sendungsverfolgung klar war oder das Produkt die Frage nicht mehr erzeugt hat.

Berichten Sie sie deshalb als Paar: Kosten pro gelöstem Kontakt neben der Kontaktrate. Eine Veränderung der ersten Zahl, die sich nicht durch die zweite erklären lässt, ist eine Veränderung, die Sie untersuchen sollten, statt sie zu feiern. Wird ein Teil Ihrer Kosten pro Lösung abgerechnet, ist die Definition hinter dieser Abrechnung Teil der Kennzahl — die Modelle der Anbieter werden verglichen in Was ist eine KI-Lösung.

Der einseitige Wochenbericht

Sieben Zahlen, eine Seite, jede mit einer Notiz dazu, wie sie aussähe, wenn sie manipuliert würde. Lässt sich eine Zahl in dieser letzten Spalte nicht verteidigen, gehört sie nicht auf die Seite.

Die letzte Zeile ist die, die aus einem Bericht Arbeit macht. Gruppierte Übergabegründe sind ein Inhalts-Backlog in Prioritätsreihenfolge, und der häufigste Grund am Montag ist meist ein Artikel, der sich am Dienstag schreiben lässt.

Die Instrumentierung ist der schwierige Teil

Eine Kennzahl ist nur so gut wie das Ereignis dahinter, und die meisten Diskussionen über Berichte sind in Wahrheit Diskussionen über Ereignisse. Bevor eine Zahl auf die Seite kommt, braucht sie drei Dinge: ein definiertes Ereignis mit schriftlich festgelegtem Auslöser, eine namentlich benannte verantwortliche Person, die die Definition ändern darf, und einen Export, den Sie mit echten Transkripten abgleichen können.

• Zuordnung nach Verfasser der Nachricht, nicht nach Ergebnis des Gesprächs. Ob ein Mensch geantwortet hat, ist eine Tatsache über die Nachrichten; alles, was aus einem Statusfeld abgeleitet wird, driftet ab.
• Eine datierte Definitionsdatei. Wenn sich eine Zahl bewegt, ist die erste Frage, ob sich die Definition bewegt hat, und diese Frage sollte sich in dreißig Sekunden beantworten lassen.
• Stichproben, wöchentlich. Zehn Gespräche, von Anfang bis Ende gelesen, verraten Ihnen mehr über Qualität als jedes Diagramm, und so finden Sie auch heraus, dass eine Kennzahl das Falsche misst.
• Ein Export mit Transkripten im Anhang, damit sich jede Zahl im Bericht auf die Gespräche zurückführen lässt, aus denen sie entstanden ist.

Nichts davon erfordert ein Datenteam. Es erfordert die Entscheidung, welche sieben Zahlen Sie verteidigen wollen, das Aufschreiben dessen, was jede bedeutet, und die Bereitschaft, eine Zahl zu veröffentlichen, die sich in die falsche Richtung bewegt. Wo das Reporting für die KI-Seite im Produkt zu finden ist, steht in der Funktionsübersicht, und die Definitionen hinter unseren eigenen Zahlen stehen unter So messen wir KI-Lösungen.