Schimbăm fotografia, titlul, publicul și oferta. Rezultatul se îmbunătățește. Care dintre schimbări a contat?
Când ai schimbat multe lucruri și tot nu știi ce a contat, este firesc să ceri o concluzie mai clară. Un test bine delimitat trebuie să te ajute să iei o decizie, inclusiv când rezultatul rămâne incert.
Din această observație, luată singură, nu putem separa contribuția fiecărui element. Putem vedea că noua combinație a avut alt rezultat în condițiile respective. Pentru o concluzie mai precisă, avem nevoie de o comparație pregătită corespunzător.
Testarea ajută când produce informație pe care o putem folosi într-o decizie viitoare. Numărul variantelor publicate spune puțin despre calitatea acelei informații.
Ce vrem să aflăm?
„Ce reclamă merge mai bine?” poate fi un punct de pornire. Întrebarea devine mai utilă când precizăm scopul: vrem mai multe comenzi, solicitări mai relevante sau să aflăm ce argument merită dezvoltat?
Pentru o geantă fictivă, putem întreba dacă prezentarea compartimentelor ajută oamenii să înțeleagă produsul. Sau putem compara o direcție despre organizare cu una despre plecările de weekend. Sunt două întrebări diferite, cu teste diferite.
Element sau concept complet?
Întrebarea stabilește tipul testului.
Exemplu ilustrativ. Condițiile sunt explicate în articol.
Test de mesaj
- Schimbăm titlul.
- Păstrăm restul condițiilor cât mai comparabile.
- Evaluăm formulările în acel cadru.
Test de concept
- Schimbăm mesajul și prezentarea.
- Comparăm două pachete coerente.
- Concluzia privește pachetul, nu un singur element.
| Tipul comparației | Ce schimbăm | Ce putem urmări |
|---|---|---|
| Test al unui mesaj | Titlul, păstrând restul condițiilor cât mai comparabile | Diferența asociată celor două formulări în acel cadru |
| Test de concept | Mesajul și prezentarea, ca pachet coerent | Care direcție completă este mai potrivită obiectivului |
Un test de concept poate schimba mai multe elemente și poate fi perfect justificat. Concluzia trebuie să rămână la nivelul pachetului comparat. Nu declarăm că fotografia a produs diferența dacă am schimbat și oferta.
Ce stabilim înainte de publicare
Notăm ipoteza, variantele, publicul, indicatorul principal și condițiile de evaluare. Clarificăm ce păstrăm comparabil și ce diferențe nu putem controla.
Pentru o campanie de solicitări, costul formularului poate fi un indicator intermediar. Dacă obiectivul este obținerea de clienți potriviți, includem și calificarea, contactarea și evoluția comercială. Altfel, putem selecta o variantă care aduce formulare ieftine și puține discuții relevante.
Stabilim și ce decizie va urma: continuăm, extindem, reformulăm sau încheiem explorarea. Un test fără o decizie posibilă poate consuma buget fără să clarifice proiectul.
Cât timp și câte date sunt suficiente?
Răspunsul depinde de frecvența rezultatului, variația lui, diferența pe care vrem să o detectăm și metoda de testare. Nu există un număr universal de zile sau conversii care validează orice comparație.
O comandă în plus într-un eșantion mic poate apărea întâmplător. O perioadă cu promoție, sărbători sau stoc limitat poate schimba interpretarea. Dacă datele sunt insuficiente, concluzia corectă poate fi că încă nu știm.
Verificăm și modul de distribuire a variantelor. Platforma poate livra inegal materialele, iar publicurile pot avea caracteristici diferite. O comparație obișnuită de raport nu oferă automat controlul unui experiment.
Ce poate calcula un instrument pentru dimensiunea eșantionului
Un calculator de eșantion ajută după ce definim indicatorul, nivelul de pornire relevant și diferența minimă pe care vrem să o detectăm. Stabilim și riscurile statistice acceptate: cât de probabil este să identificăm un efect real de dimensiunea aleasă și cât risc de concluzie fals pozitivă acceptăm. Aceste alegeri influențează volumul necesar. Microsoft Research: puterea statistică și sensibilitatea indicatorilor
Nu există un calculator care să afle singur bugetul comercial ideal pentru fiecare reclamă. Estimarea eșantionului trebuie corelată cu prețul probabil al traficului, durata, disponibilitatea publicului și limitele proiectului. Costurile viitoare rămân estimări, iar un calcul precis nu repară un indicator ales greșit.
Contează și unitatea comparată. O persoană poate vedea o reclamă de mai multe ori. Numărul afișărilor nu reprezintă automat tot atâtea persoane sau observații independente. Metoda trebuie să corespundă modului în care participanții sunt repartizați și rezultatul este măsurat.
O diferență detectabilă trebuie să merite și decizia
Într-un exemplu ipotetic, o creștere foarte mică a ratei de conversie poate cere mai multe date decât poate aduna afacerea în perioada disponibilă. Dacă și beneficiul economic posibil este redus, poate merita să explorăm întâi o problemă mai importantă. În sens invers, o diferență aparent mare într-un eșantion mic poate rămâne foarte incertă.
Lipsa unei diferențe semnificative statistic nu confirmă că variantele sunt identice. Raportăm efectul estimat și incertitudinea lui în raport cu întrebarea inițială. Alegerea finală poate lua în calcul și costul producției, ușurința implementării sau riscul, cu motivele separate de ceea ce a demonstrat testul.
Cum lucrăm când volumul este mic
Putem reduce numărul întrebărilor testate simultan, putem prelungi perioada dacă situația rămâne comparabilă sau putem investiga direct dificultățile oamenilor. Discuțiile cu clienții, analiza cererilor și verificarea parcursului pot sugera schimbări utile. Le folosim ca dovezi de alt tip, fără să le prezentăm drept confirmare statistică.
O eroare clară de funcționare poate fi corectată fără un experiment de conversie. Pentru alegerile încă incerte, documentăm ipoteza și limita deciziei. Astfel, lipsa unui volum mare de trafic nu devine nici motiv de blocaj, nici pretext pentru certitudini pe care datele nu le susțin.
Nu testăm o cerință obligatorie ca pe o preferință
Respectarea formatului și funcționarea linkului sunt verificări de pregătire. Testul creativ începe după ce variantele sunt utilizabile pentru comparația aleasă. Altfel, o diferență de rezultat poate proveni dintr-un material afișat greșit, fără să clarifice argumentul pe care vrem să îl evaluăm.
Într-un sistem care combină și distribuie automat elementele, simpla încărcare a două titluri nu oferă automat un test A/B al formulării. Alegem metoda disponibilă și precizăm dacă evaluăm un element, un pachet sau livrarea observată. Această delimitare protejează decizia de concluzii mai precise decât permit datele.
Ce păstrăm după test
Documentăm întrebarea, variantele, perioada, observațiile și limitele. Dacă reluăm explorarea peste câteva luni, aceste informații ne ajută să înțelegem de ce am luat o decizie și ce s-a schimbat între timp.
La NOT MORE., vrem ca testele să construiască o înțelegere a afacerii și a publicului. Explicăm ce putem afirma, ce merită explorat în continuare și ce rezultat nu justifică încă o concluzie fermă.
Trei întrebări pentru următorul test
- Ce decizie vrem să putem lua la final?
- Ce diferență încercăm să înțelegem și ce condiții o pot influența?
- Cum procedăm dacă rezultatul rămâne neclar?
Ce ai vrea să afli din următorul test?
Descrie-ne variantele încercate și decizia pe care vrei să o iei. Putem delimita o întrebare de test și informațiile necesare, în raport cu volumul și resursele disponibile.