Marketing in einer Minute – Folge 22 | Ahmed Moaaz

Version „A“ schlug Version „B“ mit kleinem Vorsprung – ist das ein echter Unterschied oder nur Rauschen? Bevor Sie in irgendeinem Test einen Sieger erklären, stellen Sie sicher, dass die Stichprobe groß genug für Signifikanz ist.

Die Frage, die jeder Entscheidung vorausgeht

Sie haben eine neue Anzeige gegen die alte getestet, und die neue erreichte eine Conversion-Rate von 3,2% gegenüber 2,8% bei der alten. Bauen Sie auf diesen Unterschied und ändern alles? Oder ist der Unterschied statistisches Glück, das auch beim Vergleich der alten Anzeige mit sich selbst aufgetreten wäre? Das ist die Frage der statistischen Signifikanz – sie trennt eine Entscheidung auf Datenbasis von einer auf Zufallsschwankungen.

Warum täuschen kleine Stichproben?

Stellen Sie sich vor, Sie werfen eine Münze zehnmal und erhalten siebenmal Kopf. Ist die Münze gezinkt? Nein; das passiert oft zufällig. Werfen Sie sie aber zehntausendmal und erhalten siebentausendmal Kopf, ist die Münze fast zweifelsfrei gezinkt. Dasselbe gilt in Ihrem Marketing: Eine Anzeige, die 4 Verkäufe aus 100 Besuchen machte (4%), und eine andere, die 3 Verkäufe aus 100 Besuchen machte (3%) – der Unterschied zwischen ihnen ist ein einziger Verkauf, bequem innerhalb der Zufallszone. Aber 400 Verkäufe aus 10.000 Besuchen gegenüber 300 aus 10.000 ist ein echter Unterschied, der eine Entscheidung verdient. Die Regel: Je kleiner Ihre Zahlen, desto größer die Wahrscheinlichkeit, dass der Unterschied, den Sie sehen, zufälliges Rauschen ist und keine Wahrheit.

Zwei Begriffe bestimmen die Antwort

• Stichprobengröße: Wie viele Besuche oder Aufrufe gingen in den Vergleich ein? Es gibt keine einzelne magische Zahl, doch Hunderte Besuche pro Version sind das praktische Minimum für Conversion-Entscheidungen, und Tausende sind besser, wenn die Unterschiede klein sind.
• Konfidenzniveau: Der übliche Standard ist 95%, was bedeutet: Gäbe es überhaupt keinen echten Unterschied zwischen den beiden Versionen, läge die Wahrscheinlichkeit, dass Ihre Daten zufällig eine Lücke dieser Größe oder größer zeigen, bei 5% oder weniger. Manche großen Entscheidungen verdienen 99%, und manche schnelle kleine Experimente können 90% akzeptieren.

Kostenlose Signifikanzrechner gibt es überall: Geben Sie Besuche und Conversions jeder Version ein, und sie sagen Ihnen, ob der Unterschied signifikant ist. Nutzen Sie einen vor jeder vergleichsbasierten Entscheidung.

Fatale Experimentfehler

• Den Test beim ersten Ergebnis stoppen, das Ihnen gefällt: Ergebnisse schwanken in den ersten Tagen; wer täglich zuschaut, sieht oft einen frühen falschen „Sieger“. Legen Sie die Testdauer im Voraus fest und halten Sie sich daran.
• Mehrere Dinge zugleich ändern: Sie haben Bild, Überschrift und Preis gleichzeitig geändert, also werden Sie nie wissen, was den Unterschied gemacht hat. Eine Variable pro Test.
• Ungleiche Zeiträume: Eine Woche mit einem Feiertag mit einer normalen Woche vergleichen, oder Monatsende (Gehaltszeit) mit Monatsanfang. Die Umstände des Zeitraums selbst können die echte „Variable“ sein.
• Wochentage ignorieren: Das Käuferverhalten unterscheidet sich von Tag zu Tag; lassen Sie den Test ganze Wochen umfassen, keine Fragmente.
• Eine neue Kampagne früh beurteilen: Der Algorithmus der Plattform lernt in den ersten Tagen noch, und die Ergebnisse sind instabil. Geben Sie ihr die Lernphase vor dem Vergleich.

Wie führen Sie einen sauberen Test Schritt für Schritt durch?

1. Schreiben Sie zuerst Ihre Hypothese: „Ich erwarte, dass die Videoanzeige das Bild bei der Conversion-Rate schlägt, weil das Produkt eine visuelle Erklärung braucht.“ Eine schriftliche Hypothese hindert Sie daran, die Torpfosten nach dem Sehen der Ergebnisse zu verschieben.
2. Legen Sie die Erfolgszahl im Voraus fest: Welcher Unterschied würde Sie tatsächlich die neue Version übernehmen lassen? Ein winziger Unterschied lohnt die Kosten der Umstellung vielleicht nicht.
3. Teilen Sie die Zielgruppe zufällig und fair: Die Testwerkzeuge der Plattformen machen das automatisch; greifen Sie nicht manuell in die Verteilung ein.
4. Lassen Sie den Test laufen: üblicherweise zwei bis vier Wochen, bis Sie eine ausreichende Stichprobengröße erreichen – nicht bis Sie ein Ergebnis sehen, das Ihnen gefällt.
5. Urteilen Sie mit einem Signifikanzwerkzeug: Geben Sie die Zahlen in einen Signifikanzrechner ein und bauen Sie nicht auf den rohen Unterschied allein.
6. Dokumentieren Sie das Ergebnis: Halten Sie fest, was Sie versucht und was Sie gelernt haben, auch wenn die Hypothese verlor; eine dokumentierte Niederlage erspart Ihnen, denselben Test ein Jahr später zu wiederholen.

Ein praktisches Beispiel

Ein Shop testete zwei Wochen lang zwei Landingpages: Version A erhielt 2.000 Besuche und 58 Bestellungen (2,9%), und Version B erhielt 2.000 Besuche und 74 Bestellungen (3,7%). Der Unterschied sieht verlockend aus, doch der Signifikanzrechner sagt, die Konfidenz liegt nur bei etwa 84% – unter dem 95%-Standard. Die richtige Entscheidung: den Test verlängern statt sofort zu übernehmen. Nach vier weiteren Wochen bei gleicher Besuchsrate erreichte die Stichprobe 6.000 Besuche pro Version, und B hielt seinen Vorsprung mit einer Konfidenz über 98%, sodass die Übernahme eine begründete Entscheidung wurde und kein Glücksspiel.

Wann brauchen Sie gar keinen statistischen Test?

Statistische Signifikanz ist ein wichtiges Werkzeug, aber keine Steuer, die Sie auf jede Entscheidung zahlen:

• Offensichtliche Fehler: ein Button, der auf dem Handy nicht funktioniert, ein falscher Preis, eine quälend langsame Seite – warten Sie nicht auf eine Stichprobe; reparieren Sie sofort.
• Riesige Unterschiede: Eine Version, die das Doppelte der anderen erreicht bei vernünftigen Zahlen, braucht keinen Rechner, um den Sieger zu benennen.
• Leicht umkehrbare Entscheidungen: Eine Buttonfarbe oder Abschnittsreihenfolge lässt sich ohne Aufwand testen und beobachten, weil die Fehlerkosten nahe null sind.

Zusammenfassung

Jeder Unterschied, den Sie in Ihren Zahlen sehen, fällt in eine von zwei Möglichkeiten: eine Wahrheit, auf die sich bauen lässt, oder Glück, das Sie bestraft, wenn Sie darauf bauen. Der Entscheider sind Stichprobengröße und Konfidenzniveau. Schreiben Sie Ihre Hypothese im Voraus, ändern Sie eine Variable, warten Sie auf eine ausreichende Stichprobe und urteilen Sie mit dem Signifikanzrechner, nicht nach Eindruck. Der professionelle Marketer ist nicht der, der die meisten Tests fährt, sondern der, der seine echten Ergebnisse von seinem Rauschen unterscheidet.

Verwandte Lektüre: Folge 21: Attribution.

Bleiben Sie bei Marketing in einer Minute dran: ein Marketingkonzept pro Folge. Haben Sie eine Frage zu dieser Zahl? Schicken Sie sie per WhatsApp.