5 Herausforderungen bei datengetriebenen Entscheidungen, über die zu wenig gesprochen wird

Wir entwickeln ausgefeilte Mechanismen zur Beobachtung und Erfassung der Realität, verarbeiten diese Daten auf vielfältige Weise und verbessern damit Entscheidungsmodelle, die uns helfen sollen, unsere Ziele zu erreichen. 

Datengetriebene Entscheidungen können in vielen Fällen von großem Vorteil sein, sollten aber nicht die Arbeit um ein tiefes Verständnis des Marktes, der Kunden und des Business-Umfeldes im Unternehmen ersetzen. 

Die folgenden 5 Gründe erläutern, warum ein umsichtiger Umgang mit datengetriebenen Entscheidungen angemessen ist.

Nicht korrekt gesetzter Fokus

Gleich zwei Möglichkeiten können dafür sorgen, dass wir gar nicht erst relevante Daten messen: 

• Es werden die falschen Metriken für die Entscheidung herangezogen. Da der Erfolgsfall selten direkt durch eine messbare Produkt-Metrik repräsentiert wird, ist es möglich, dass Ableitungen falsch oder unvollständig getroffen werden. So sind z.B. im B2B Segment die komplexen Interaktionen und Entscheidungsprozesse von Kunden, Nutzern und Kunden der Kunden kaum abbildbar. Und damit ebenso wenig die Zusammenhänge zwischen Produkt- und Performance-Metriken.
• Das Simpson-Paradoxon tritt auf. Dies geschieht, wenn Ereignisse in mehreren Kategorien aufteilt und die Gewichtung der zugehörigen Klassen sehr unterschiedlich sind. So können z.B. zwei Zielgruppen mit unterschiedlichen Werten über die Zeit ihre Verteilung ändern. Betrachtet man sie nicht getrennt, so wird allein die Änderung der Verteilung der Gruppen die Gesamtmetrik verändern, ohne das sich die Situation für die jeweilige Zielgruppe verändert. Steigt beispielsweise ein Segment mit schwacher Marge stark an, während die mit guter Marge stabil bleibt, sinkt die durchschnittliche Marge. 

Beide Varianten machen deutlich, dass es wesentlich ist, den gesamten Kontext hinter gesammelten Metriken zu verstehen, um die richtige Schlussfolgerung zu ziehen. Nur dann sollten Entscheidungen auf Basis dieser Daten getroffen werden. 

Unvollständige oder verfälschte Datenbasis

Eine korrekte Logik liefert noch keine korrekte Daten. Mögliche Gründe: 

• Unbeabsichtigt falsche technische Implementierungen, wodurch nicht das gemessen wird, was gemessen werden sollte.
• Variante: Ursprünglich korrekte, aber durch Veränderung an „Systemen“ unbeabsichtigt und unbemerkt verfälscht gemessene Werte. 
• Fehlende Implementierungen, z.B. wenn bestimmte Quellen wie native Applikationen nicht ausgewertet werden können.
• Regulatorische oder systemische Begrenzung wie z.B. Datenschutzverodnungen, Cookie-Consent, technische Barrieren, usw.

Je höher die logische und technische Komplexität bei der Messung ist, desto höher die Wahrscheinlichkeit für Fehler im „System“. Es ist daher für die Entscheider notwendig, jederzeit nachvollziehen zu können, was genau gemessen wird und wie gut die Datenbasis ist. 

Volatilität, Periodisierung und Einzelereignisse

Regelmäßige oder singuläre Ausnahmesituationen können die Interpretation der Daten verfälschen:

• Volatilität: Bestimmte Metriken können aufgrund des Geschäftsmodells grundlegend schwanken und dadurch nicht gut verglichen werden. Bei einem Auktionshaus oder beim Verkauf von Konzerttickets ist z.B. die Verfügbarkeit der Angebotsseite von den Marktteilnehmern abhängig und muss nicht mit Änderungen der Verkaufsplattform im direkten Zusammenhang stehen.
• Periodisierung: sie führt dazu, das sich zu bestimmten Zeiten das Kundenverhalten oder die Rahmenbedingungen ändern. Saisongeschäft, Feiertage und Urlaubszeiten, Black Friday, usw. führen dazu, dass Metriken sich aufgrund dieser besonderen Bedingungen ohne Zutun für eine gewisse Zeit verändern und erst anschließend wieder zu normalen Werten zurückfinden. Hier ist eher ein Vergleich zur vorherigen Periode sinnvoll, insoweit die Rahmenbedingungen sich ansonsten nicht besonders geändert haben. 
• Einzelereignisse: sie führen wie die Periodisierung zu veränderten Bedingungen, allerdings ohne Regelmäßigkeit und Vorhersagbarkeit. Die Corona-Pandemie hat z.B. in manchen Geschäftsmodellen für deutliche Verwerfungen gesorgt, die sich vermutlich mit der Reaktion der Unternehmen vermischt haben und so wenig isolierte Rückschlüsse über die Wirksamkeit der Produktveränderungen an sich zulassen.

Diese Art der Herausforderungen lassen sich teilweise gut durch A/B Tests umgehen, die zur gleichen Zeit mit signifikanten Testgruppen stattfinden. 

Falsche Interpretation der Daten

Statistiken lesen fällt nicht allen leicht. Folgende Interpretationsfehler kommen regelmäßig vor:

• Kausalität oder Ursache-Wirkung-Beziehungen werden falsch interpretiert. Eine bekannte oder auf der Hand liegende Ursache wird angenommen, währen in Wirklichkeit eine andere Ursache für die gemessene Wirkung verantwortlich ist.
• Halo-Effekt: Eine korrekte Ursache überstrahlt die Tatsache, dass es mehrere oder sogar viele Ursachen gibt, die ebenso wesentlich dazu beitragen, aber übersehen werden.
• Die Daten werden falsch gelesen. Die Bedienung von Statistik-Tools kann leicht zu Fehler führen. Ein vergessener oder falsch gesetzter Filter reicht bereits, um Ergebnisse fehlerhaft zu interpretieren. 
• Signifikanz und Irrtumswahrscheinlichkeit wird nicht korrekt bewertet und führt entweder zu fälschlicherweise angenommenen oder zu übersehenen Veränderungen. 

Es lohnt sich, die Analyse und Interpretation in einem fachlich diversen Team mit unterschiedlicher Fachlichkeit und mit einem 4-Augen Prinzip durchzuführen. 

Kumulation von Fehlern

Obwohl ein Fehlerbild ausreicht, um zu falschen Schlüssen zu gelangen, können die oben genannten Herausforderungen auch kumuliert auftreten. Das senkt die Wahrscheinlichkeit, dass von der Konzeption bis zur Interpretation keine Fehler auftreten.

Wir sollten uns daher ein umfassendes Bild vom Kontext und den verfügbaren Daten machen, einschließlich der Art und Weise, wie sie erfasst werden. Wir sollten ausschließen, das verborgenen Variablen und Verfälschungen vorliegen und das Interpretationen nicht zu unvorsichtig getroffen werden. Andernfalls riskieren wir eine Schlussfolgerung, die uns in die Irre führen kann.

Ergebnisse, die nicht zur eigenen Wahrnehmung der Realität passen, sollten daher inspiziert und auf korrekte Implementierung geprüft werden. Eine solche Detektivarbeit führt nicht selten zu durchaus interessanten Erkenntnissen.

Dieser Beitrag gehört zur Serie Potentiale im Produktmanagement ausschöpfen.