Das Schöne an der Statistik ist, dass sie auf Zahlen beruht und damit vieles „berechenbar“ ist. So kann problemlos anhand der beliebten Signifikanztests festgestellt werden, ob die Abweichungen der Antwortverteilung zweier Gruppen (z.B. verschiedene Teilgruppen oder verschiedene Perioden innerhalb einer Zeitreihe) innerhalb des  Sicherheitsniveaus zufällig oder systematisch sind. Da die Signifikanz der Antwortverteilungen extrem wichtig ist, fällt besonders oft die Frage: „Ist das denn signifikant?“.

Hinter der Frage nach der Signifikanz verbirgt sich aber eigentlich eine viel breiter gefasste Frage, nämlich die Frage nach der (wirtschaftlichen) Relevanz der Unterschiede. Diese Frage ist mit dem Signifikanztest aber nicht zwingend beantwortet.

Nehmen wir zwei bewusst überzeichnete Beispiele:

  • Ein Segmentierungsansatz identifiziert zwei Gruppen mit unterschiedlichem Geschlechterverhältnis. Der Unterschied der Verteilung von Mann und Frau ist statistisch betrachtet signifikant. Als Strategie lässt sich für beide Segmente eine gender-angepasste Kommunikationsstrategie ableiten. Allerdings ist die Stichprobe sehr groß gewesen und das Signifikanzintervall entsprechend gering. Der Verteilungsunterschied beträgt nur 3% Punkte, ist aber signifikant. Man wird mir wahrscheinlich zustimmen, dass ein Geschlechterunterschied dieser Höhe nicht geeignet ist, darauf aufbauend eine entsprechende Kommunikationsstrategie abzuleiten. Der Unterschied ist letztendlich nicht ausreichend relevant.
  • Eine halbjährlich wiederholte Kundenzufriedenheitsstudie im B2B Bereich mit nur geringen Fallzahlen weist in der Folgeuntersuchung eine erhöhte Unzufriedenheit in Höhe von +10% Punkten im Servicebereich auf. Der Unterschied ist aber aufgrund der eher geringen Fallzahl nicht signifikant. Da kein „signifikantes Problem“ besteht, kann man das Thema schlimmstenfalls ignorieren. Da es im B2B Bereich aufgrund der Umsatzrelevanz auf jeden Kunden ankommt, ist die Veränderung wirtschaftlich jedoch so relevant, dass man sie nicht dem Zufall überlassen sollte. D.h. die wirtschaftliche Relevanz sollte mindestens dazu führen, intern mögliche Ursachen für die erhöhte Unzufriedenheit zu identifizieren. Das Ergebnis „nicht signifikant“ bedeutet in diesem Fall nur, dass kein ausreichend starker statistischer Zusammenhang besteht. Es schließt den Zusammenhang aber auch nicht aus.

Folglich ist eine Reduktion der Betrachtung von Unterschieden allein auf Basis statistischer Signifikanzen nicht ausreichend für die Ableitung von Empfehlungen. Verlassen Sie sich also nicht nur auf die Signifikanz, hinterfragen Sie zusätzlich die wirtschaftliche Relevanz der Unterschiede. Wir helfen dabei gerne.