Zmieniamy zdjęcie, nagłówek, grupę odbiorców i ofertę. Wynik się poprawia. Która z tych zmian miała znaczenie?
Gdy zmieniło się wiele rzeczy, a nie wiadomo, co zadziałało, naturalne jest pragnienie jaśniejszego wniosku. Dobrze określony test musi pomagać w podjęciu decyzji, także wtedy, gdy wynik pozostaje niepewny.
Na podstawie tej jednej obserwacji nie możemy oddzielić wkładu każdego elementu. Widzimy, że nowe połączenie dało w tych warunkach inny wynik. Do precyzyjniejszego wniosku potrzebne jest dobrze przygotowane porównanie.
Testowanie jest przydatne, gdy daje informacje, których możemy użyć w przyszłej decyzji. Liczba opublikowanych wariantów niewiele mówi o jakości tych informacji.
Czego chcemy się dowiedzieć?
„Która reklama działa lepiej?” to punkt wyjścia. Trzeba doprecyzować cel: więcej zamówień, bardziej wartościowe zapytania czy wiedzę, który argument warto rozwijać?
W przypadku fikcyjnej torby możemy zapytać, czy pokazanie przegródek pomaga zrozumieć produkt. Albo porównać kierunek skupiony na organizacji z kierunkiem skupionym na weekendach. To dwa różne pytania, które wymagają różnych testów.
Jeden element czy cała koncepcja?
Pytanie określa rodzaj testu.
Przykład poglądowy. Warunki wyjaśniono w artykule.
Test przekazu
- Zmienić nagłówek.
- Pozostałe warunki utrzymać jak najbardziej porównywalne.
- Ocenić sformułowanie w tych ramach.
Test koncepcji
- Zmienić przekaz i kierunek wizualny.
- Porównać dwa spójne zestawy.
- Wniosek dotyczy zestawu, a nie jednego elementu.
| Rodzaj porównania | Co zmieniamy | Co możemy śledzić |
|---|---|---|
| Test komunikatu | Nagłówek, przy możliwie porównywalnych pozostałych warunkach | Różnicę związaną z dwoma sformułowaniami w tych ramach |
| Test koncepcji | Przekaz i prezentację jako spójną całość | Który pełny kierunek lepiej pasuje do celu |
Test koncepcji może zasadnie zmieniać kilka elementów. Wtedy wniosek musi dotyczyć porównywanych pełnych wersji. Nie możemy przypisać zasługi tylko zdjęciu, jeśli zmieniła się też oferta.
Co ustalamy przed publikacją
Zapisujemy hipotezę, warianty, grupę odbiorców, główny wskaźnik i warunki oceny. Precyzujemy, co utrzymujemy porównywalne, a jakich różnic nie możemy kontrolować.
W kampanii nastawionej na zapytania koszt formularza może być miarą pośrednią. Jeśli celem jest pozyskanie właściwych klientów, trzeba uwzględnić kwalifikację, kontakt i postęp handlowy. W przeciwnym razie ryzykuje się wybór wersji, która daje tanie formularze, ale niewiele przydatnych rozmów.
Określamy też decyzję, która nastąpi potem: kontynuować, rozszerzyć, przerobić lub zamknąć eksplorację. Test bez możliwej decyzji może pochłaniać budżet, niczego nie wyjaśniając w projekcie.
Ile czasu i ile danych wystarczy?
Odpowiedź zależy od częstotliwości wyniku, jego zmienności, różnicy, którą chcemy wykryć, i metody testu. Nie istnieje uniwersalna liczba dni ani konwersji, która uprawomocni każde porównanie.
Jedno zamówienie więcej w małej próbie może wynikać z przypadku. Promocje, święta czy ograniczone zapasy też mogą wpływać na interpretację. Gdy danych jest bardzo mało, „jeszcze tego nie wiemy” może być właściwym wnioskiem.
Sprawdzamy też, jak rozkładają się warianty. Platforma może wyświetlać zasoby nierównomiernie, a grupy odbiorców mogą się różnić. Proste porównanie w raporcie nie daje kontroli eksperymentu.
Co może, a czego nie może powiedzieć kalkulator wielkości próby
Kalkulator wielkości próby pomaga, gdy określimy wskaźnik, istotny poziom wyjściowy i najmniejszą różnicę, którą chcemy wykryć. Ustalamy też akceptowane ryzyka statystyczne: prawdopodobieństwo wykrycia rzeczywistego efektu o wybranej wielkości i tolerowane ryzyko fałszywie pozytywnego wyniku. Te wybory wpływają na potrzebny wolumen. Microsoft Research: moc statystyczna i czułość wskaźników (po angielsku)
Żaden kalkulator sam nie określi idealnego budżetu handlowego dla każdej reklamy. Szacunek próby trzeba czytać razem z prawdopodobnym kosztem ruchu, czasem trwania, dostępnymi odbiorcami i ograniczeniami projektu. Przyszłe koszty pozostają szacunkami, a precyzyjne obliczenie nie naprawi źle wybranego wskaźnika.
Liczy się też porównywana jednostka. Ta sama osoba może zobaczyć reklamę kilka razy. Liczba wyświetleń nie odpowiada automatycznie tej samej liczbie osób ani niezależnych obserwacji. Metoda musi odpowiadać temu, jak przydzielani są uczestnicy i jak mierzony jest wynik.
Wykrywalna różnica musi też być warta decyzji
W hipotetycznym przykładzie bardzo mały wzrost współczynnika konwersji może wymagać więcej danych, niż firma jest w stanie zebrać w dostępnym czasie. Jeśli możliwa korzyść ekonomiczna też jest niewielka, lepiej najpierw zbadać większy problem. Odwrotnie, pozornie duża różnica w małej próbie może pozostać bardzo niepewna.
Brak statystycznie istotnej różnicy nie dowodzi, że warianty są identyczne. Przedstawiamy oszacowany efekt i jego niepewność w odniesieniu do pierwotnego pytania. Ostateczny wybór może też uwzględniać koszt produkcji, łatwość wdrożenia lub ryzyko, przy czym te powody trzymamy oddzielnie od tego, co pokazał test.
Jak pracujemy przy małym wolumenie
Możemy testować mniej pytań naraz, wydłużyć okres, jeśli sytuacja pozostaje porównywalna, lub bezpośrednio obserwować trudności, na które natrafiają ludzie. Rozmowy z klientami, przegląd zapytań i prześledzenie ścieżki mogą podsunąć przydatne zmiany. Traktujemy je jako inny rodzaj dowodu, nie przedstawiając ich jako potwierdzenia statystycznego.
Oczywisty błąd funkcjonalny można poprawić bez eksperymentu konwersji. Przy wyborach, które pozostają niepewne, odnotowujemy hipotezę i ograniczenia decyzji. Dzięki temu mały ruch nie staje się ani powodem do bezczynności, ani wymówką dla pewności, na którą dane nie pozwalają.
Nie testujemy obowiązkowego wymogu jak preferencji
Spełnienie wymogów formatu i sprawdzenie działania linku to kontrole przygotowawcze. Test kreatywny zaczyna się, gdy warianty nadają się do wybranego porównania. W przeciwnym razie różnica w wynikach może wynikać ze źle wyświetlonego elementu i nie nauczyć nas niczego o argumencie, który chcemy ocenić.
W systemie, który automatycznie łączy i dystrybuuje zasoby, wgranie dwóch nagłówków samo nie tworzy testu A/B sformułowania. Trzeba wybrać odpowiednią metodę i doprecyzować, czy ocenia się element, pełną koncepcję czy zaobserwowaną dystrybucję. Wniosek nigdy nie powinien być precyzyjniejszy niż dowody.
Co zachowujemy po teście
Dokumentujemy pytanie, warianty, okres, obserwacje i ograniczenia. Jeśli wrócimy do eksploracji za kilka miesięcy, te informacje pomogą zrozumieć, dlaczego podjęliśmy decyzję i co zmieniło się w międzyczasie.
W NOT MORE. testy mają poszerzać nasze rozumienie firmy i jej odbiorców. Wyjaśniamy, co potwierdzają dane, co zasługuje na ponowny przegląd i gdzie jest za wcześnie na stanowczy wniosek.
Trzy pytania przed kolejnym testem
- Jaką decyzję chcemy podjąć na końcu?
- Jaką różnicę próbujemy zrozumieć i jakie warunki mogłyby na nią wpłynąć?
- Co robimy, jeśli wynik nie będzie jasny?
Czego chcieliby się Państwo dowiedzieć z kolejnego testu?
Prosimy opisać opcje i decyzję, którą chcą Państwo podjąć. Możemy pomóc określić pytanie testowe i potrzebne informacje, zależnie od wolumenu i dostępnych zasobów.