Marketing w Minutę – Odcinek 22 | Ahmed Moaaz
Wersja „A” pokonała wersję „B” niewielkim marginesem – to prawdziwa różnica czy tylko szum? Zanim ogłosisz zwycięzcę jakiegokolwiek testu, upewnij się, że próbka jest wystarczająco duża, by być istotną.
Pytanie poprzedzające każdą decyzję
Wypróbowałeś nową reklamę przeciw starej, a nowa osiągnęła współczynnik konwersji 3,2% wobec 2,8% starej. Czy budujesz na tej różnicy i zmieniasz wszystko? Czy różnica to statystyczne szczęście, które pojawiłoby się nawet przy porównywaniu starej reklamy z nią samą? To pytanie istotności statystycznej – to, co oddziela decyzję zbudowaną na danych od zbudowanej na losowych wahaniach.
Dlaczego małe próbki Cię zwodzą?
Wyobraź sobie rzucanie monetą dziesięć razy i wypadnięcie siedmiu orłów. Czy moneta jest stronnicza? Nie; to zdarza się przypadkiem często. Ale rzuć nią dziesięć tysięcy razy i wypadnie siedem tysięcy orłów, a moneta jest stronnicza niemal bez wątpliwości. Ta sama logika w Twoim marketingu: reklama, która zrobiła 4 sprzedaże ze 100 wizyt (4%), i druga, która zrobiła 3 sprzedaże ze 100 wizyt (3%) – różnica między nimi to jedna sprzedaż, wygodnie w strefie przypadku. Ale 400 sprzedaży z 10 000 wizyt wobec 300 z 10 000 to prawdziwa różnica warta decyzji. Reguła: im mniejsze Twoje liczby, tym większe prawdopodobieństwo, że różnica, którą widzisz, to losowy szum, nie prawda.
Dwa pojęcia decydują o odpowiedzi
- Wielkość próbki: ile wizyt lub wyświetleń weszło do porównania? Nie ma jednej magicznej liczby, ale setki wizyt na wersję to praktyczne minimum dla decyzji konwersyjnych, a tysiące są lepsze przy małych różnicach.
- Poziom ufności: powszechny standard to 95%, co oznacza, że gdyby między wersjami nie było w ogóle prawdziwej różnicy, prawdopodobieństwo, że Twoje dane przypadkiem pokażą lukę tej wielkości lub większą, wynosi 5% lub mniej. Niektóre wielkie decyzje zasługują na 99%, a niektóre szybkie małe eksperymenty mogą zaakceptować 90%.
Darmowe kalkulatory istotności są wszędzie: wpisz wizyty i konwersje każdej wersji, a powiedzą Ci, czy różnica jest istotna. Używaj jednego przed każdą decyzją opartą na porównaniu.
Fatalne błędy eksperymentalne
- Zatrzymanie testu przy pierwszym wyniku, który Ci się podoba: wyniki huśtają się w pierwszych dniach; kto obserwuje codziennie, często zobaczy wczesnego fałszywego „zwycięzcę”. Ustal czas trwania testu z góry i trzymaj się go.
- Zmiana kilku rzeczy naraz: zmieniłeś obraz, nagłówek i cenę jednocześnie, więc nigdy nie dowiesz się, co zrobiło różnicę. Jedna zmienna na test.
- Nierówne okresy: porównywanie tygodnia ze świętem ze zwykłym tygodniem albo końca miesiąca (czas wypłat) z początkiem. Okoliczności okresu same mogą być prawdziwą „zmienną”.
- Ignorowanie dni tygodnia: zachowanie kupujących różni się z dnia na dzień; niech test obejmuje całe tygodnie, nie fragmenty.
- Zbyt wczesne ocenianie nowej kampanii: algorytm platformy wciąż uczy się w pierwszych dniach i wyniki są niestabilne. Daj jej okres uczenia przed porównaniem.
Jak przeprowadzić czysty test krok po kroku?
- Napisz najpierw hipotezę: „Oczekuję, że reklama wideo pokona obraz we współczynniku konwersji, bo produkt potrzebuje wizualnego wyjaśnienia”. Zapisana hipoteza powstrzymuje Cię od przesuwania bramki po zobaczeniu wyników.
- Ustal z góry liczbę sukcesu: jaka różnica faktycznie skłoniłaby Cię do przyjęcia nowej wersji? Malutka różnica może nie być warta kosztu zmiany.
- Podziel odbiorców losowo i sprawiedliwie: narzędzia testowe platform robią to automatycznie; nie ingeruj ręcznie w dystrybucję.
- Pozwól testowi trwać: zwykle dwa do czterech tygodni, aż osiągniesz wystarczającą wielkość próbki – nie aż zobaczysz wynik, który Ci się podoba.
- Oceń narzędziem istotności: wpisz liczby do kalkulatora istotności statystycznej i nie buduj na samej surowej różnicy.
- Udokumentuj wynik: zapisz, co próbowałeś i czego się nauczyłeś, nawet jeśli hipoteza przegrała; udokumentowana porażka oszczędza powtórzenia tego samego testu rok później.
Praktyczny przykład
Sklep testował dwie strony docelowe przez dwa tygodnie: wersja A otrzymała 2 000 wizyt i 58 zamówień (2,9%), a wersja B otrzymała 2 000 wizyt i 74 zamówienia (3,7%). Różnica wygląda kusząco, ale kalkulator istotności mówi, że ufność to tylko około 84% – poniżej standardu 95%. Właściwa decyzja: wydłużyć test zamiast przyjmować natychmiast. Po czterech kolejnych tygodniach przy tym samym tempie wizyt próbka osiągnęła 6 000 wizyt na wersję, a B utrzymała prowadzenie z ufnością powyżej 98%, więc przyjęcie stało się ugruntowaną decyzją, nie hazardem.
Kiedy w ogóle nie potrzebujesz testu statystycznego?
Istotność statystyczna to ważne narzędzie, ale nie podatek płacony od każdej decyzji:
- Oczywiste błędy: przycisk niedziałający na telefonie, zła cena, boleśnie wolna strona – nie czekaj na próbkę; napraw natychmiast.
- Ogromne różnice: wersja osiągająca podwojenie drugiej przy rozsądnych liczbach nie potrzebuje kalkulatora, by nazwać zwycięzcę.
- Łatwo odwracalne decyzje: kolor przycisku czy kolejność sekcji można próbować i obserwować bez komplikacji, bo koszt błędu jest niemal zerowy.
Zachowaj rygor testowy dla kosztownych decyzji: zmiana strategii cenowej, przebudowa strony produktu, przeniesienie budżetu między kanałami. Tylko tam istotność jest warta swojego czasu, bo koszt złej decyzji jest naprawdę duży.
Wreszcie pamiętaj, że celem testu nie jest udowodnienie, że miałeś rację, lecz poznanie prawdy wcześnie i przy najniższym koszcie. Eksperyment, który obala Twoją hipotezę, uratował Cię przed wielką złą decyzją – i to czyni go sukcesem, nigdy porażką, jakkolwiek rozczarowująco wygląda.
Podsumowanie
Każda różnica, którą widzisz w swoich liczbach, wpada w jedną z dwóch możliwości: prawda warta budowania na niej albo szczęście, które Cię ukarze, jeśli na nim zbudujesz. Rozstrzygają wielkość próbki i poziom ufności. Zapisz hipotezę z góry, zmieniaj jedną zmienną, czekaj na wystarczającą próbkę i sądź kalkulatorem istotności, nie wrażeniem. Profesjonalny marketer to nie ten, kto przeprowadza najwięcej testów, lecz ten, kto odróżnia prawdziwe wyniki od ich szumu.
Powiązana lektura: Odcinek 21: Atrybucja marketingowa.
Śledź dalej Marketing w Minutę: jedno pojęcie marketingowe w każdym odcinku. Masz pytanie o tę liczbę? Wyślij je na WhatsApp.