Cambiamos la foto, el titular, el público y la oferta. El resultado mejora. ¿Cuál de esos cambios contó?
Cuando has cambiado muchas cosas sin saber qué contó, es natural querer una conclusión más clara. Una prueba bien definida tiene que ayudarte a tomar una decisión, también cuando el resultado sigue siendo incierto.
A partir de esa sola observación, no podemos separar la aportación de cada elemento. Podemos ver que la nueva combinación obtuvo un resultado distinto en esas condiciones. Para una conclusión más precisa, hace falta una comparación bien preparada.
Probar es útil cuando produce información que podemos usar en una decisión futura. El número de variantes publicadas dice poco sobre la calidad de esa información.
¿Qué queremos averiguar?
«¿Qué anuncio funciona mejor?» es un punto de partida. Concreta el objetivo: ¿más pedidos, solicitudes más relevantes o saber qué argumento merece desarrollarse?
Con un bolso ficticio, podemos preguntarnos si mostrar los compartimentos ayuda a entender el producto. O podemos comparar una dirección centrada en la organización con otra centrada en los fines de semana. Son dos preguntas distintas, que exigen pruebas distintas.
¿Un elemento o un concepto completo?
La pregunta determina el tipo de prueba.
Ejemplo ilustrativo. Las condiciones se explican en el artículo.
Prueba de mensaje
- Cambiar el titular.
- Mantener las demás condiciones lo más comparables posible.
- Valorar la formulación en ese marco.
Prueba de concepto
- Cambiar el mensaje y la dirección visual.
- Comparar dos conjuntos coherentes.
- La conclusión se refiere al conjunto, no a un solo elemento.
| Tipo de comparación | Lo que cambiamos | Lo que podemos seguir |
|---|---|---|
| Prueba de mensaje | El titular, manteniendo las demás condiciones lo más comparables posible | La diferencia asociada a las dos formulaciones en ese marco |
| Prueba de concepto | El mensaje y la presentación, como un conjunto coherente | Qué dirección completa encaja mejor con el objetivo |
Una prueba de concepto puede cambiar legítimamente varios elementos. En ese caso, la conclusión tiene que referirse a las versiones completas comparadas. No podemos atribuir el mérito solo a la foto si la oferta también cambió.
Lo que fijamos antes de publicar
Anotamos la hipótesis, las variantes, el público, el indicador principal y las condiciones de evaluación. Precisamos qué mantenemos comparable y qué diferencias no podemos controlar.
En una campaña de solicitudes, el coste por formulario puede ser una medida intermedia. Si el objetivo es conseguir clientes adecuados, incluye la cualificación, el contacto y el avance comercial. Si no, corres el riesgo de elegir la versión que produce formularios baratos pero pocas conversaciones útiles.
También definimos la decisión que vendrá después: continuar, ampliar, rehacer o cerrar la exploración. Una prueba sin una decisión posible puede consumir presupuesto sin aclarar nada del proyecto.
¿Cuánto tiempo y cuántos datos bastan?
La respuesta depende de la frecuencia del resultado, de su variabilidad, de la diferencia que queremos detectar y del método de prueba. No existe un número universal de días o de conversiones que valide cualquier comparación.
Un pedido más en una muestra pequeña puede deberse al azar. Las promociones, los festivos o un stock limitado también pueden influir en la interpretación. Cuando hay muy pocos datos, «todavía no lo sabemos» puede ser la conclusión correcta.
También comprobamos cómo se distribuyen las variantes. La plataforma puede mostrar los recursos de forma desigual y los públicos pueden ser distintos. Una simple comparación en un informe no ofrece el control de un experimento.
Lo que una calculadora de tamaño de muestra puede y no puede decirte
Una calculadora de tamaño de muestra ayuda una vez que hemos definido el indicador, el nivel de partida relevante y la diferencia más pequeña que queremos detectar. También fijamos los riesgos estadísticos aceptados: la probabilidad de detectar un efecto real del tamaño elegido y el riesgo de falso positivo que toleramos. Estas elecciones influyen en el volumen necesario. Microsoft Research: potencia estadística y sensibilidad de los indicadores (en inglés)
Ninguna calculadora puede determinar por sí sola el presupuesto comercial ideal de cada anuncio. La estimación de la muestra tiene que leerse junto con el coste probable del tráfico, la duración, el público disponible y los límites del proyecto. Los costes futuros siguen siendo estimaciones, y un cálculo preciso no corregirá un indicador mal elegido.
La unidad comparada también cuenta. Una misma persona puede ver un anuncio varias veces. El número de impresiones no corresponde automáticamente al mismo número de personas ni de observaciones independientes. El método tiene que corresponder a cómo se reparten los participantes y cómo se mide el resultado.
Una diferencia detectable también tiene que merecer la decisión
En un ejemplo hipotético, una subida muy pequeña de la tasa de conversión puede exigir más datos de los que la empresa puede reunir en el tiempo disponible. Si el beneficio económico posible también es pequeño, puede ser mejor explorar antes un problema mayor. A la inversa, una diferencia aparentemente grande en una muestra pequeña puede seguir siendo muy incierta.
La ausencia de una diferencia estadísticamente significativa no demuestra que las variantes sean idénticas. Presentamos el efecto estimado y su incertidumbre en relación con la pregunta de partida. La elección final también puede tener en cuenta el coste de producción, la facilidad de implementación o el riesgo, manteniendo esos motivos separados de lo que mostró la prueba.
Cómo trabajamos cuando el volumen es bajo
Podemos probar menos preguntas a la vez, alargar el periodo si la situación sigue siendo comparable u observar directamente las dificultades que encuentra la gente. Las conversaciones con clientes, la revisión de las solicitudes y un repaso del recorrido pueden sugerir cambios útiles. Los usamos como otro tipo de prueba, sin presentarlos como una confirmación estadística.
Un error funcional evidente puede corregirse sin un experimento de conversión. Para las elecciones que siguen siendo inciertas, dejamos constancia de la hipótesis y de los límites de la decisión. Así, un tráfico bajo no se convierte ni en un motivo para quedarse parado ni en una excusa para una certeza que los datos no permiten.
No probamos un requisito obligatorio como si fuera una preferencia
Cumplir los requisitos de formato y comprobar que el enlace funciona son controles de preparación. La prueba creativa empieza cuando las variantes son utilizables para la comparación elegida. Si no, una diferencia en los resultados puede deberse a un elemento mal mostrado, sin enseñarnos nada sobre el argumento que queremos valorar.
En un sistema que combina y distribuye los recursos de forma automática, subir dos titulares no crea por sí mismo una prueba A/B de la formulación. Elige un método adecuado y precisa si valoras un elemento, un concepto completo o una distribución observada. La conclusión nunca debe ser más precisa que las pruebas.
Lo que conservamos después de la prueba
Documentamos la pregunta, las variantes, el periodo, las observaciones y los límites. Si retomamos la exploración dentro de unos meses, esa información nos ayuda a entender por qué tomamos una decisión y qué ha cambiado entretanto.
En NOT MORE., las pruebas tienen que enriquecer nuestra comprensión de la empresa y de su público. Explicamos lo que respaldan los datos, lo que merece una nueva revisión y dónde es demasiado pronto para una conclusión firme.
Tres preguntas para la próxima prueba
- ¿Qué decisión queremos tomar al final?
- ¿Qué diferencia intentamos entender y qué condiciones podrían influir en ella?
- ¿Cómo seguimos si el resultado no está claro?
¿Qué te gustaría aprender de la próxima prueba?
Describe las opciones y la decisión que quieres tomar. Podemos ayudarte a definir una pregunta de prueba y la información necesaria, según el volumen y los recursos disponibles.