✁
digitalien.org — Stefan Knecht
»Wie war’s?« — Der NPS verrät das nicht.
Wir wollen alle gerne wissen, wie wir bei anderen wirken, wie wir gesehen werden. Für Trainer ist offenes Feedback wichtig, um weiterempfohlen zu werden oder zu lernen, was noch nicht so gut funktioniert hat.
Das gilt auch für Dienstleistungen, Waren, Reisen — immer, wenn etwas gegen Geld, Zeit oder Aufmerksamkeit getauscht wird.
Wie erhält man valide Antworten, harte Daten auf die Frage »Was war für Sie gut und was kann verbessert werden?«. Lob wie Tadel, aus beiden kann man lernen.
5 korrupte Sternchen
Im Onlinehandel sind Sternchen die Währung des user feedback.
Dass das gesamte System rettungslos korrupt ist und die meisten der Bewertungen fingiert und gekauft: nichts Neues.
Ein ARD-Radiofeature hat dazu die ganze Wahrheit1Klotsikas, E. (24.2.21). Faules Lob im Netz | Doku über das Geschäft mit Online-Bewertungen—Das ARD radiofeature [Manuskript: https://www.swr.de/swr2/doku-und-feature/faules-lob-im-netz-swr2-feature-2021-02-24-102.pdf]. Abgerufen 17. März 2021, von https://www.swr.de/swr2/doku-und-feature/faules-lob-im-netz-swr2-feature-2021-02-24-100.html(und ein Sendungsmanuskript).
Schlimmer ist nur der NPS
Man kann sich auch ein Loch ins Knie bohren und Marmelade reinschmieren. Das macht der Net Promoter Score.
Wie kommt es dazu? Und: woher kommt das?
Gemessen werden soll »Loyalität«, verstanden als »ich empfehle das«. Das Ziel der Metrik ist, Verbesserungspotenzial erkennen zu können, zu lernen aus der Vergangenheit um es in Zukunft besser zu machen.
Ein Beitrag in der HBR »The One Number You Need to Grow«2Reichheld, F. F. (2003, Dezember). The One Number You Need to Grow. Harvard Business Review. https://hbr.org/2003/12/the-one-number-you-need-to-grow machte den Anfang. Beschrieben wird, wie (Kunden-)Loyalität ohne den abschreckenden Aufwand und die Komplexität qualitativer Umfragen messbar sei.
Ein Autovermieter stellte Kunden jeden Monat zwei einfache Fragen der Art »Wie war Ihr Mieterlebnis?« und »Würden Sie wieder mit uns?«
Das gibt schnell und einfach Antworten und eine Zeitreihe.
Einfache Frage + einfach antworten = falsche Ergebnisse
Wer einfache Fragen stellt, kann einfache Antworten erhalten — gerne auch falsche.
Bain & Company sprang auf den schon rollenden NPS-Zug und sicherte sich mit Satmetrix Systems und dem Autor des HBR-Artikels ein Trademark auf den Net Promoter Score (NPS).
Der NPS schien wunderbar praktisch und erfüllte alle Anforderungen an eine nützliche business metric: einfach zu messen und das Ergebnis ist eine Zahl, mit der man irgendwie rechnen kann.
Seitdem wurde der NPS zig-mal als widersinnig zerlegt3Spool, J. M. (2017, Dezember 20). Net Promoter Score Considered Harmful (and What UX Professionals Can Do About It). Noteworthy — The Journal Blog. https://blog.usejournal.com/net-promoter-score-considered-harmful-and-what-ux-professionals-can-do-about-it-fe7a132f4430; Sauro, J. (o. J.). MeasuringU: Has the Net Promoter Score Been Discredited in the Academic Literature? Abgerufen 17. März 2021, von https://measuringu.com/nps-discredited/; Safdar, K., & Pacheco, I. (2019, Mai 15). The Dubious Management Fad Sweeping Corporate America. Wall Street Journal. https://www.wsj.com/articles/the-dubious-management-fad-sweeping-corporate-america-11557932084 — hält sich aber so wacker wie der Aluhelm gegen Strahlungen.
Noch 2018 wurden NPS-Werte mehr als 150 Mal von 50 S&P 500-Unternehmen als Mass für Loyalität genannt, weiss das Wall Street Journal. Den NPS als untaugliche Kennziffer nutzen fast dreimal so viele Unternehmen im Vergleich zu fünf Jahren zuvor.
Was genau misst der NPS wie?
Die Formel zur Berechnung des Net Promoter Score ist:
NPS = % Promoters — % Detractors
Gemessen werden die Antworten auf einer Skala von 0 (unwahrscheinlich) bis 10 (äußerst wahrscheinlich). Die Frage dazu ist »Würden Sie uns weiterempfehlen?« Als Promotors sind Kunden definiert die mit 9 oder 10 antworten. Ein NPS kann Werte von -100 bis +100 annehmen.
Aus nicht genannten Gründen verwendet der NPS nicht das arithmetische Mittel der Bewertungen, wie das jeder Statistikstudent tun würde, sondern eine Dreiersegmentierung auf einer 11-stufigen Skala. Elf Stufen in drei Segmente einteilen lässt schon die Augenbrauen runzeln.4Preston, C. C., & Colman, A. M. (2000). Optimal number of response categories in rating scales: Reliability, validity, discriminating power, and respondent preferences. Acta Psychologica, 104(1), 1–15. https://doi.org/10.1016/S0001-6918(99)00050-5. Dann werden diese schiefen Segmente mit weiterer, ebenso fragwürdiger Bedeutungszuschreibung noch kippliger:
- detractors: Werte von 0 bis 6
- passive respondents: Werte 7 und 8
- promoters: Werte 9 und 10
Merken Sie’s? Die ersten sieben Stufen (0 bis 6) sind die nicht-Überzeugten, Stufe 7 und 8 werden zu passiven/unentschiedenen und nur die letzten Stufen 9 und 10 zielen auf die angestrebte Information der Loyalisten. Das seien jene, die etwas weiterempfehlen würden. Die Sozialpsychologie dazu fehlt.
Nehmen wir 10 Antworten an, dann sieht eine Tabelle dazu so aus, jedes Sternchen ist eine Antwort:
| ** | * | *** | ** | ** | ||||||
| 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 |
Wie kann man das interpretieren? Drei fanden es übelst, fünf eher neutral, zwei zugeneigt und weitere zwei dufte.
Der NPS zählt allerdings nur Kunden/Nutzer/Teilnehmer, die den Höchstwert angaben und maximal zufrieden waren. Das Argument dafür ist, es seien ja nur die zufriedenen und damit mutmasslich return customers, die einen weiterempfehlen und daher für neues Geschäft sorgen würden.
NPS = % Promoters — % Detractors
NPS = 20% — 60% = -40
Der Durchschnitt läge bei 5,5.
Jedoch nimmt NPS an, jemand, der nichts besonders Gutes über eine Dienstleistung/Produkt/Training sagt, auch keine Empfehlung an Dritte gäbe.
Nehmen wir an, zehn Antwortende geben allesamt je eine 6. Auf einer elfstufigen Skala ist das besser als das Mittel 5,5:
| ********** | ||||||||||
| 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 |
Alle 10 Antworter sind sich einig: es war eher semi, begeistert war niemand. Was macht der NPS daraus?
NPS = % Promoters — % Detractors
NPS = 0% — 100% = -100
Ein NPS von -100 ist unterirdisch schlecht. Das aber würde viele Punkte auf dem linken Ende der Skala bedeuten. Da sind nur keine.
Antworten alle zehn Befragten mit einer 8, dann sieht die Verteilung so aus:
| ********** | ||||||||||
| 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 |
Mit unverstelltem Blick: ernsthaft unzufrieden war niemand, ganz aus dem Häuschen auch keine:r — ein solides Ergebnis möchte man meinen.
Der NPS interpretiert das Werte zwischen 7 und 8 als passive respondents, Kunden/usw., die in ihren Bekanntenkreisen keine Empfehlung aussprechen würden.
NPS = % Promoters — % Detractors
NPS = 0% — 0% = 0
Null? Das macht keinen Sinn. Im oberen Drittel der Skala liegen alle Messwerte.
Das NPS-Wunder geschieht!
Das Beispiel noch weiter gedreht. Nehmen wir nun an, alle 10 Befragten antworten mit einer 9:
| ********** | ||||||||||
| 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 |
NPS = % Promoters — % Detractors
NPS = 20% ./. 60% = 100
Von Null auf hundert, Magie!
Wer weiss, wie die NPS-Magie funktioniert, kann sie manipulieren.
Das Skalenproblem fällt dann kaum mehr ins Gewicht. Es bleibt ein Rätsel, weshalb der NPS eine 11-stufige Skala verwendet und keine drei-, fünf- oder siebenstufige, über deren bessere Trennschärfe belastbare Forschung vorliegt.
Alles bekannt.
All das ist wohlbekannt. Sowohl Reichheld (Autor des HBR-Artikels5, mit dem der NPS startete) wie Bain und Satmetrix (die das NPS-Trademark buchten) weisen darauf hin, dass natürlich aufwändige Doppelblind-Messungen und ordentlich konstruierte qualitative Interviews oder Fokusgruppen, in denen das Warum der Antworten abgefragt werden, viel besser wären.
Das will nur niemand kaufen.
Was misst der NPS? Loyalität nicht.
Ein Kunde kauft weiter ein Produkt/Dienstleistung bei einem Anbieter, der vielleicht nicht den besten Preis bietet, dafür aber freundlich und zuvorkommend ist.
Vielleicht geschieht der wiederholte Kauf aber auch weil Wechselkosten abschrecken oder es keine Auswahl gibt. Man weiss es nicht.
Für die Bewertung von Trainings und Workshops mit einen NPS gilt das ebenso: das Essen war fein, der Nachtisch passabel und Kaffee ordentlich. Wird das Ambiente bewertet, die Didaktik und Tagesform des Trainers, das Gelernte und die Atmosphäre über einen ganzen langen Tag?
Unklar.
Also keine gute Metrik.
Feedback aus Workshops oder Trainings einholen
Der Net Promoter Score ist also kein gutes Werkzeug, keine geeignete Metrik um die Güte von Trainings oder Workshops zuerheben.
Was dann?
Man kann am Ende eines langen und anstrengenden Workshoptages qualitative Fragebogen ausgeben und ausfüllen lassen. Das ist für die Teilnehmer und in der Auswertung mühsam und doch besser als kein Feedback.
Oder man bittet beim Hinausgehen um freiwilliges anonymes Feedback auf ein Flipchart aufzukleben. Hier hat das drei Felder: »Davon bitte mehr«, »Davon bitte weniger« und »Das hat mir am meisten gebracht«
Die einen machen das, die anderen wollen nach acht Stunden Sozialarbeit nur nach Hause und antworten erwartungskonform.
Oder gar nicht.
Lieber das als NPS.
weitere Quellen
ergänzend zu den Fußnoten:
Fisher, N. I., & Kordupleski, R. E. (2019). Good and bad market research: A critical review of Net Promoter Score. Applied Stochastic Models in Business and Industry, 35(1), 138–151. https://doi.org/10.1002/asmb.2417
Kato, T., Takenaka, N., Ito, R., & Nishiguchi, K. (2022). Selection versus scale: Loyalty indices for brand management. Journal of Marketing Analytics. https://doi.org/10.1057/s41270-022-00191-6
Madsen, D. Ø. (2020). One Marketing Metric To Rule Them All? An Examination of the Emergence and Rise of Net Promoter Score as a Marketing Fashion. SSRN Electronic Journal. https://doi.org/10.2139/ssrn.3738866