Bir Dakikada Pazarlama – Bölüm 22 | Ahmed Moaaz
“A” versiyonu “B”yi küçük bir farkla yendi – gerçek bir fark mı yoksa sadece gürültü mü? Herhangi bir testte kazanan ilan etmeden önce örneklemin anlamlı olacak kadar büyük olduğundan emin olun.
Her kararın önündeki soru
Yeni bir reklamı eskisiyle denediniz ve yenisi %3,2 dönüşüm oranı yakalarken eskisi %2,8’de kaldı. Bu farka güvenip her şeyi değiştirir misiniz? Yoksa bu fark, eski reklamı kendisiyle karşılaştırsanız bile çıkacak istatistiksel bir şans mı? İstatistiksel anlamlılık sorusu budur – veriye kurulu bir kararla rastgele dalgalanmalara kurulu bir kararı ayıran şey.
Küçük örneklemler sizi neden yanıltır?
Bir madeni parayı on kez atıp yedi yazı geldiğini düşünün. Para hileli mi? Hayır; bu şans eseri sık olur. Ama on bin kez atıp yedi bin yazı gelirse, para neredeyse kesinlikle hilelidir. Pazarlamanızda aynı mantık: 100 ziyaretten 4 satış yapan (%4) bir reklam ile 100 ziyaretten 3 satış yapan (%3) bir reklam – aralarındaki fark tek bir satış, rahatça şans bölgesinde. Ama 10.000 ziyaretten 400 satış ile 10.000 ziyaretten 300 satış, karar vermeye değer gerçek bir farktır. Kural: sayılarınız ne kadar küçükse, gördüğünüz farkın gerçek değil rastgele gürültü olma olasılığı o kadar büyüktür.
Cevabı belirleyen iki kavram
- Örneklem büyüklüğü: karşılaştırmaya kaç ziyaret veya görüntülenme girdi? Tek bir sihirli sayı yok, ancak dönüşüm kararları için versiyon başına yüzlerce ziyaret pratik minimumdur ve farklar küçükken binlercesi daha iyidir.
- Güven düzeyi: yaygın standart %95’tir; yani iki versiyon arasında hiç gerçek fark olmasaydı, verilerinizin bu büyüklükte veya daha büyük bir farkı şans eseri gösterme olasılığı %5 veya daha az olurdu. Bazı büyük kararlar %99’u hak eder ve bazı hızlı küçük deneyler %90’ı kabul edebilir.
Ücretsiz anlamlılık hesaplayıcıları her yerde: her versiyonun ziyaretlerini ve dönüşümlerini girin, farkın anlamlı olup olmadığını söylerler. Karşılaştırmaya dayalı her karardan önce birini kullanın.
Ölümcül deney hataları
- Testi beğendiğiniz ilk sonuçta durdurmak: sonuçlar ilk günlerde sallanır; günlük izleyen sık sık erken sahte bir “kazanan” görür. Test süresini önceden belirleyin ve ona bağlı kalın.
- Birkaç şeyi birlikte değiştirmek: görseli, başlığı ve fiyatı aynı anda değiştirdiniz; farkı hangisinin yarattığını asla bilemezsiniz. Test başına tek değişken.
- Eşit olmayan zaman dilimleri: tatil içeren bir haftayı normal bir haftayla veya ay sonunu (maaş zamanı) ay başıyla karşılaştırmak. Dönemin koşullarının kendisi gerçek “değişken” olabilir.
- Haftanın günlerini yok saymak: alıcı davranışı günden güne değişir; testin parçalar değil tam haftalar kapsamasını sağlayın.
- Yeni bir kampanyayı erken yargılamak: platformun kendi algoritması ilk günlerde hâlâ öğreniyor ve sonuçlar dengesizdir. Karşılaştırmadan önce öğrenme süresini tanıyın.
Temiz bir testi adım adım nasıl yürütürsünüz?
- Önce hipotezinizi yazın: “Video reklamın dönüşüm oranında görseli geçmesini bekliyorum çünkü ürün görsel açıklama gerektiriyor.” Yazılı bir hipotez, sonuçları gördükten sonra hedefi kaydırmanızı engeller.
- Başarı sayısını önceden belirleyin: hangi fark yeni versiyonu gerçekten benimsemenizi sağlar? Minicik bir fark değişim maliyetine değmeyebilir.
- Kitleyi rastgele ve adil bölün: platformların test araçları bunu otomatik yapar; dağıtıma elle müdahale etmeyin.
- Testi çalışır bırakın: genellikle iki-dört hafta, yeterli örneklem büyüklüğüne ulaşana kadar – beğendiğiniz bir sonuç görene kadar değil.
- Anlamlılık aracıyla yargılayın: sayıları bir istatistiksel anlamlılık hesaplayıcısına girin ve yalnızca ham farka güvenmeyin.
- Sonucu belgeleyin: hipotez kaybetse bile ne denediğinizi ve ne öğrendiğinizi kaydedin; belgelenmiş bir kayıp, aynı testi bir yıl sonra tekrarlamaktan kurtarır.
Pratik bir örnek
Bir mağaza iki açılış sayfasını iki hafta test etti: A versiyonu 2.000 ziyaret ve 58 sipariş (%2,9), B versiyonu 2.000 ziyaret ve 74 sipariş (%3,7) aldı. Fark cazip görünüyor, ancak anlamlılık hesaplayıcısı güvenin yalnızca yaklaşık %84 olduğunu söylüyor – %95 standardının altında. Doğru karar: hemen benimsemek yerine testi uzatmak. Aynı ziyaret hızında dört hafta sonra örneklem versiyon başına 6.000 ziyarete ulaştı ve B, %98’in üzerinde güvenle liderliğini korudu; böylece benimseme kumar değil, sağlam bir karar oldu.
Ne zaman istatistiksel teste hiç gerek yoktur?
İstatistiksel anlamlılık önemli bir araçtır, ancak her karara ödediğiniz bir vergi değildir:
- Bariz hatalar: mobilde çalışmayan bir düğme, yanlış fiyat, acı verecek kadar yavaş bir sayfa – örneklem beklemeyin; hemen düzeltin.
- Devasa farklar: makul sayılarla diğerinin iki katını yakalayan bir versiyon, kazananı adlandırmak için hesaplayıcı gerektirmez.
- Kolayca geri alınabilir kararlar: bir düğme rengi veya bölüm sırası, hata maliyeti neredeyse sıfır olduğu için karmaşa olmadan denenip izlenebilir.
Test titizliğini maliyetli kararlara ayırın: fiyatlandırma stratejisini değiştirmek, ürün sayfasını yeniden kurmak, kanallar arasında bütçe taşımak. Ancak orada anlamlılık zamanına değer; çünkü yanlış kararın maliyeti gerçekten büyüktür.
Son olarak, testin amacının haklı olduğunuzu kanıtlamak değil, gerçeği erken ve en düşük maliyetle bilmek olduğunu hatırlayın. Hipotezinizi çürüten deney, sizi büyük bir yanlış karardan kurtardı – ve bu onu, ne kadar hayal kırıklığı görünürse görünsün, asla başarısızlık değil başarı yapar.
Özet
Sayılarınızda gördüğünüz her fark iki olasılıktan birine düşer: üzerine kurmaya değer bir gerçek veya üzerine kurarsanız sizi cezalandıracak bir şans. Karar verici, örneklem büyüklüğü ve güven düzeyidir. Hipotezinizi önceden yazın, tek değişken değiştirin, yeterli örneklemi bekleyin ve izlenimle değil anlamlılık hesaplayıcısıyla yargılayın. Profesyonel pazarlamacı en çok test yapan değil, gerçek sonuçlarını gürültüsünden ayırt edebilendir.
Bir Dakikada Pazarlama’yı takip etmeye devam edin: her bölümde tek bir pazarlama kavramı. Bu sayı hakkında bir sorunuz mu var? WhatsApp’tan gönderin.