Ein aktuelles Erlebnis mit der Do-it-yourself-Marktforschung (DIY-Marktforschung) eines touristischen Betriebs hat mich motiviert, das hier skizzierte „Problem“ endlich in unserem Blog zum Thema anzusprechen: Ist es Ihnen auch schon „passiert“, dass die Ergebnisse von Teilstichproben nicht zur Gesamtanalyse passen? Im Extremfall, dass sich die daraus zu ziehenden Schlussfolgerungen sogar widersprechen? Und haben Sie dann stundenlang – vergebens – nach dem Fehler in der Datenanalyse oder in den Daten gesucht?

Zum besseren Verständnis ein konkretes Beispiel

Ein Autohersteller verkauft im Bundesland Salzburg und in den angrenzenden Regionen in Oberösterreich und Bayern einen elektrisch betriebenen Pick-up mit entweder geschlossener oder offener Ladefläche. Zu beiden Modellen gibt es gegen Aufpreis ein Zusatzpaket zur Ladegutsicherung und -überwachung. Bei den Analysen der Verkaufszahlen wird aus nachvollziehbaren Gründen zwischen Außergebirg und Innergebirg unterschieden (s. dazu die obige Tabelle).

Bei einer internen Schulung der Vertriebsmitarbeiter präsentiert die Leiterin der Abteilung Marketing und Vertrieb aktuelle Zahlen. Im Außergebirg und im Innergebirg wurden jeweils 5.000 Exemplare des Pick-ups verkauft (so ein Zufall, der uns das Kopfrechnen erleichtert!). Zur großen Überraschung der Marketingverantwortlichen hat im Innergebirg mit 68% ein deutlich größerer Anteil das Zusatzpaket gekauft als im Außergebirg mit nur 45%. Daher wurde für die Vertriebsmitarbeiter ein Gesprächsleitfaden entwickelt, der vorrangig Argumente für das Zusatzpaket im Einsatz des Pick-ups im städtischen bzw. im flacheren ländlichen Gebiet, also im Außergebirg, aufgreift.

Dann meldet sich der Produktmanager zu Wort und unterstellt der Abteilung Marketing und Vertrieb, einen Fehler bei der Datenanalyse gemacht zu haben. Seine Daten zeigen, dass zum geschlossenen Modell im Innergebirg nur 20% das Zusatzpaket gekauft haben, im Außergebirg aber 40%. Und zum offenen Modell haben im Innergebirg 80% das Zusatzpaket gekauft, im Außergebirg aber 90%. Bei beiden Modellen liegt der Anteil derjenigen mit gekauftem Zusatzpaket im Innergebirg also unter dem Anteil im Außergebirg; und nicht, wie von der Marketingverantwortlichen behauptet darüber! Dann kann sich seiner Meinung nach bei einer Gesamtbetrachtung das Verhältnis der Anteile doch nicht umdrehen. Daher machen für ihn die präsentierten Argumente für die Verkaufsgespräche keinen Sinn.

Des Rätsels Lösung: Simpsons Paradoxon

Simpsons Paradoxon ist ein bekanntes Phänomen in der Statistik, benannt nach dem britischen Statistiker Edward Hugh Simpson. Dabei kehrt sich ein in getrennten Gruppen zu beobachtender Trend um, wenn die Gruppen kombiniert werden. Dieses Paradoxon tritt relativ häufig auf und kann zu gravierenden Fehlinterpretationen führen, wenn es nicht erkannt wird.

Beim obigen Beispiel zeigen sich zwischen den Zielgruppen Außergebirg und Innergebirg stark unterschiedliche Modellpräferenzen: Im Außergebirg wird eher das geschlossene Modell gekauft, im Innergebirg eher das offene. Gleichzeitig gibt es je nach Modell eine stark unterschiedliche Bereitschaft, das Zusatzpaket zu kaufen: Beim Modell mit offener Ladefläche ist sie verständlicherweise stärker ausgeprägt. Daraus ergibt sich im Innergebirg ein großer Anteil des offenen Modells mit Zusatzpaket. Und damit kommt es zum beschriebenen Effekt, der dazu führt, dass sowohl die Marketingverantwortliche als auch der Produktmanager korrekte Zahlen präsentiert haben – auch, wenn sich dabei das Verhältnis der relativen Anteile in gegenteiliger Richtung darstellt. Als Konsequenz daraus wurde das Argumentarium für die Vertriebsmitarbeiter in der Folge zielgruppenspezifisch nach Modellen und nach Regionen gestaltet (Anm.: Bei einer 2×2-Matrix geht das noch …).

Das Wissen um Simpsons Paradoxon unterstreicht die Wichtigkeit, die Daten immer im richtigen Kontext zu betrachten und zu analysieren. Durch das Aggregieren bzw. Disaggregieren von Daten ohne fachliche (hypothesengestützte) Begründung können irreführende Ergebnisse entstehen. Dass die Schlussfolgerungen dann nicht optimal passen, ist häufig eine Folge einer unzulässigen Spezifikation; also einer Übertragung von Gesamtergebnissen auf eine bestimmte Teilgruppe (Zielgruppe) davon – für die sie aber nicht unbedingt passen müssen. Genauso problematisch ist der gegenteilige Effekt der unzulässigen Verallgemeinerung (in diesem Fall bei der Ergebnisinterpretation); also einer Übertragung von Ergebnissen zu einer bestimmten Teilgruppe (Zielgruppe) auf die Gesamtmenge (zum Beispiel aller Kunden etc.) – für die sie aber auch in diesem Fall nicht unbedingt passen müssen.

Es ist daher unabdingbar, auch bei der DIY-Marktforschung mit den Grundlagen der Datenanalyse bzw. der Statistik vertraut zu sein, um solche Fallstricke und damit suboptimale Schlussfolgerungen zu vermeiden.

Einfach zum Nachdenken

Welche Entscheidung würden Sie in der im Folgenden beschriebenen Situation (ein klassisches Dilemma) treffen?

Ein Tourismusunternehmen steht vor der Entscheidung darüber, in welchen Herkunftsländern die zwei definierten Zielgruppen (Wanderer und Mountainbiker) angesprochen werden sollen. Ein zentrales Kriterium dafür bildet die Höhe der Ausgaben vor Ort. Dafür werden sowohl die Ausgaben der Wanderer nach Ländern absteigend sortiert als auch die Ausgaben der Mountainbiker und darüber hinaus die Ausgaben beider Gruppen gemeinsam. Durch das verfügbare Marketingbudget limitiert sollen so die Top-5-Herkunftsländer identifiziert und in der Folge bearbeitet werden.

Wie es der Zufall so will, steht sowohl bei den Wanderern als auch bei den Mountainbikern die Schweiz an fünfter Stelle, noch vor Italien, das bei beiden Gruppen den sechsten Platz einnimmt. Nach dieser getrennten Betrachtung der Zielgruppen sollte die Schweiz in die Marketingaktivitäten aufgenommen werden.
Aber: Fasst man beide Gruppen zusammen, dann liegt bei den durchschnittlichen Ausgaben der Wanderer und der Mountainbiker die Schweiz an sechster Stelle und Italien rückt an die fünfte Stelle vor. Damit würde Italien ein zu bearbeitender Markt sein und die Schweiz nicht.
Dieses Beispiel von Simsons Paradoxon führt unweigerlich zu Frage: Was tun?

Mathematik

Und wenn Sie sich weniger aus der Sicht des Marketings und mehr aus der Sicht der Mathematik für dieses Beispiel interessieren: Entwickeln Sie (mit fiktiven, aber zueinander passenden Zahlen) eine Tabelle, die genau dieses Paradoxon zum Ausdruck bringt.

Hinweise

Dieser Beitrag ist der aktuelle aus einer Reihe von Fallbeispielen zu den Tücken der DIY-Marktforschung, die in unregelmäßigen Abständen in einem Blog zum Thema erscheinen. Dort finden Sie auch (Lösungs-)Hinweise zu den unter „Einfach zum Nachdenken“ angesprochenen Punkten sowie die Tabelle zum obigen Pick-up-Beispiel.