Marketing in un Minuto – Episodio 22 | Ahmed Moaaz

La versione “A” ha battuto la versione “B” di poco – è una differenza reale o solo rumore? Prima di dichiarare un vincitore in qualsiasi test, assicurati che il campione sia abbastanza grande da essere significativo.

La domanda che precede ogni decisione

Hai provato un nuovo annuncio contro quello vecchio, e il nuovo ha ottenuto un tasso di conversione del 3,2% contro il 2,8% del vecchio. Ti basi su questa differenza e cambi tutto? O è fortuna statistica che sarebbe apparsa anche confrontando il vecchio annuncio con sé stesso? Questa è la questione della significatività statistica – ciò che separa una decisione costruita sui dati da una costruita su fluttuazioni casuali.

Perché i piccoli campioni ti ingannano?

Immagina di lanciare una moneta dieci volte e ottenere sette teste. La moneta è truccata? No; succede per caso spesso. Ma lanciala diecimila volte e ottieni settemila teste, e la moneta è truccata quasi senza dubbio. La stessa logica nel tuo marketing: un annuncio che ha fatto 4 vendite da 100 visite (4%) e un altro che ha fatto 3 vendite da 100 visite (3%) – la differenza tra loro è una singola vendita, comodamente dentro la zona del caso. Ma 400 vendite da 10.000 visite contro 300 da 10.000 è una differenza reale che merita una decisione. La regola: più piccoli sono i tuoi numeri, maggiore è la probabilità che la differenza che vedi sia rumore casuale, non verità.

Due concetti determinano la risposta

• Dimensione del campione: quante visite o visualizzazioni sono entrate nel confronto? Non c’è un unico numero magico, ma centinaia di visite per versione sono il minimo pratico per le decisioni di conversione, e migliaia sono meglio quando le differenze sono piccole.
• Livello di confidenza: lo standard comune è il 95%, cioè se non ci fosse alcuna differenza reale tra le due versioni, la probabilità che i tuoi dati mostrino un divario di questa dimensione o più grande per caso è del 5% o meno. Alcune grandi decisioni meritano il 99%, e alcuni esperimenti rapidi e piccoli possono accettare il 90%.

I calcolatori di significatività gratuiti sono ovunque: inserisci visite e conversioni per ogni versione e ti dicono se la differenza è significativa. Usane uno prima di ogni decisione basata su confronti.

Errori fatali negli esperimenti

• Fermare il test al primo risultato che ti piace: i risultati oscillano nei primi giorni; chi osserva ogni giorno vedrà spesso un “vincitore” iniziale falso. Fissa in anticipo la durata del test e rispettala.
• Cambiare più cose insieme: hai cambiato immagine, titolo e prezzo allo stesso tempo, quindi non saprai mai quale ha fatto la differenza. Una variabile per test.
• Periodi temporali disuguali: confrontare una settimana con una festa con una settimana normale, o la fine del mese (tempo di stipendio) con l’inizio del mese. Le circostanze del periodo stesso possono essere la vera “variabile”.
• Ignorare i giorni della settimana: il comportamento dei compratori differisce di giorno in giorno; fai coprire al test settimane intere, non frammenti.
• Giudicare presto una nuova campagna: l’algoritmo stesso della piattaforma sta ancora imparando nei primi giorni e i risultati sono instabili. Dalle il periodo di apprendimento prima di confrontare.

Come eseguire un test pulito passo dopo passo?

1. Scrivi prima la tua ipotesi: “Mi aspetto che l’annuncio video batta l’immagine nel tasso di conversione perché il prodotto ha bisogno di una spiegazione visiva.” Un’ipotesi scritta ti impedisce di spostare i paletti dopo aver visto i risultati.
2. Fissa in anticipo il numero di successo: quale differenza ti farebbe davvero adottare la nuova versione? Una differenza minuscola può non valere il costo del cambiamento.
3. Dividi il pubblico in modo casuale ed equo: gli strumenti di test delle piattaforme lo fanno automaticamente; non interferire manualmente nella distribuzione.
4. Lascia correre il test: di solito da due a quattro settimane, finché raggiungi una dimensione del campione sufficiente – non finché vedi un risultato che ti piace.
5. Giudica con uno strumento di significatività: inserisci i numeri in un calcolatore di significatività statistica, e non basarti solo sulla differenza grezza.
6. Documenta il risultato: registra cosa hai provato e cosa hai imparato anche se l’ipotesi ha perso; una sconfitta documentata ti evita di ripetere lo stesso test un anno dopo.

Un esempio pratico

Un negozio ha testato due landing page per due settimane: la versione A ha ricevuto 2.000 visite e 58 ordini (2,9%), e la versione B ha ricevuto 2.000 visite e 74 ordini (3,7%). La differenza sembra allettante, ma il calcolatore di significatività dice che la confidenza è solo circa l’84% – sotto lo standard del 95%. La decisione giusta: estendere il test invece di adottare subito. Dopo altre quattro settimane allo stesso ritmo di visite, il campione ha raggiunto 6.000 visite per versione e B ha mantenuto il suo vantaggio con confidenza sopra il 98%, quindi l’adozione è diventata una decisione fondata, non una scommessa.

Quando non hai affatto bisogno di un test statistico?

La significatività statistica è uno strumento importante, ma non è una tassa che paghi su ogni decisione:

• Errori evidenti: un pulsante che non funziona su mobile, un prezzo sbagliato, una pagina dolorosamente lenta – non aspettare un campione; sistema subito.
• Differenze enormi: una versione che ottiene il doppio dell’altra con numeri ragionevoli non ha bisogno di un calcolatore per nominare il vincitore.
• Decisioni facilmente reversibili: un colore di pulsante o l’ordine delle sezioni si può provare e osservare senza complessità, perché il costo dell’errore è quasi zero.

Riserva il rigore dei test alle decisioni costose: cambiare la strategia di prezzo, ricostruire la pagina prodotto, spostare budget tra i canali. Solo lì la significatività vale il suo tempo, perché il costo di una decisione sbagliata è davvero grande.

Infine, ricorda che l’obiettivo del test non è dimostrare che avevi ragione, ma conoscere la verità presto e al costo più basso. L’esperimento che smentisce la tua ipotesi ti ha salvato da una grande decisione sbagliata – e questo lo rende un successo, mai un fallimento, per quanto deludente possa sembrare.

In sintesi

Ogni differenza che vedi nei tuoi numeri cade in una di due possibilità: una verità su cui vale la pena costruire, o fortuna che ti punirà se ci costruisci sopra. Il giudice è la dimensione del campione e il livello di confidenza. Scrivi la tua ipotesi in anticipo, cambia una variabile, aspetta un campione sufficiente, e giudica con il calcolatore di significatività, non con l’impressione. Il marketer professionista non è chi esegue più test, ma chi distingue i suoi risultati reali dal suo rumore.

Lettura correlata: Episodio 21: Attribuzione.

Continua a seguire Marketing in un Minuto: un concetto di marketing per episodio. Hai una domanda su questo numero? Inviala su WhatsApp.