Nous changeons la photo, le titre, le public et l’offre. Le résultat s’améliore. Lequel de ces changements a compté ?
Lorsque vous avez changé beaucoup de choses sans savoir ce qui a compté, il est naturel de vouloir une conclusion plus claire. Un test bien défini doit vous aider à prendre une décision, y compris lorsque le résultat reste incertain.
À partir de cette seule observation, nous ne pouvons pas séparer la contribution de chaque élément. Nous pouvons voir que la nouvelle combinaison a obtenu un résultat différent dans ces conditions. Pour une conclusion plus précise, il faut une comparaison correctement préparée.
Tester est utile lorsque cela produit une information que nous pouvons utiliser dans une décision future. Le nombre de variantes publiées en dit peu sur la qualité de cette information.
Que voulons-nous découvrir ?
« Quelle annonce fonctionne le mieux ? » est un point de départ. Précisez l’objectif : plus de commandes, des demandes plus pertinentes, ou savoir quel argument mérite d’être développé ?
Pour un sac fictif, nous pouvons nous demander si montrer les compartiments aide à comprendre le produit. Ou nous pouvons comparer une direction axée sur le rangement à une autre axée sur les week-ends. Ce sont deux questions différentes, qui demandent des tests différents.
Un élément ou un concept complet ?
La question détermine le type de test.
Exemple illustratif. Les conditions sont expliquées dans l’article.
Test de message
- Changer le titre.
- Garder les autres conditions aussi comparables que possible.
- Évaluer la formulation dans ce cadre.
Test de concept
- Changer le message et la direction visuelle.
- Comparer deux ensembles cohérents.
- La conclusion porte sur l’ensemble, pas sur un seul élément.
| Type de comparaison | Ce que nous changeons | Ce que nous pouvons suivre |
|---|---|---|
| Test de message | Le titre, en gardant les autres conditions aussi comparables que possible | La différence associée aux deux formulations dans ce cadre |
| Test de concept | Le message et la présentation, comme un ensemble cohérent | Quelle direction complète convient le mieux à l’objectif |
Un test de concept peut légitimement changer plusieurs éléments. La conclusion doit alors porter sur les versions complètes comparées. Nous ne pouvons pas attribuer le mérite à la seule photo si l’offre a changé elle aussi.
Ce que nous fixons avant la publication
Nous notons l’hypothèse, les variantes, le public, l’indicateur principal et les conditions d’évaluation. Nous précisons ce que nous gardons comparable et quelles différences nous ne pouvons pas contrôler.
Pour une campagne de demandes, le coût par formulaire peut être une mesure intermédiaire. Si l’objectif est d’obtenir des clients adaptés, intégrez la qualification, la prise de contact et l’avancée commerciale. Sinon, vous risquez de choisir la version qui produit des formulaires bon marché mais peu d’échanges utiles.
Nous définissons aussi la décision qui suivra : poursuivre, étendre, retravailler ou clore l’exploration. Un test sans décision possible peut consommer du budget sans éclairer le projet.
Combien de temps et de données suffisent ?
La réponse dépend de la fréquence du résultat, de sa variabilité, de la différence que nous voulons détecter et de la méthode de test. Il n’existe pas de nombre universel de jours ou de conversions qui valide toute comparaison.
Une commande de plus dans un petit échantillon peut relever du hasard. Les promotions, les jours fériés ou un stock limité peuvent aussi influencer l’interprétation. Lorsqu’il y a trop peu de données, « nous ne savons pas encore » peut être la bonne conclusion.
Nous vérifions aussi comment les variantes sont diffusées. La plateforme peut diffuser les éléments de façon inégale, et les publics peuvent différer. Une simple comparaison dans un rapport n’offre pas le contrôle d’une expérience.
Ce qu’un calculateur de taille d’échantillon peut et ne peut pas vous dire
Un calculateur de taille d’échantillon aide une fois que nous avons défini l’indicateur, le niveau de départ pertinent et la plus petite différence que nous voulons détecter. Nous fixons aussi les risques statistiques acceptés : la probabilité de détecter un effet réel de la taille choisie, et le risque de faux positif que nous tolérons. Ces choix influencent le volume nécessaire. Microsoft Research : puissance statistique et sensibilité des indicateurs (en anglais)
Aucun calculateur ne peut déterminer seul le budget commercial idéal de chaque annonce. L’estimation de l’échantillon doit être lue avec le coût probable du trafic, la durée, le public disponible et les limites du projet. Les coûts futurs restent des estimations, et un calcul précis ne corrigera pas un indicateur mal choisi.
L’unité comparée compte aussi. Une même personne peut voir une annonce plusieurs fois. Le nombre d’impressions ne correspond pas automatiquement au même nombre de personnes ou d’observations indépendantes. La méthode doit correspondre à la façon dont les participants sont répartis et dont le résultat est mesuré.
Une différence détectable doit aussi valoir la décision
Dans un exemple hypothétique, une très faible hausse du taux de conversion peut exiger plus de données que l’entreprise ne peut en recueillir dans le temps disponible. Si le bénéfice économique possible est lui aussi faible, il peut être préférable d’explorer d’abord un problème plus important. À l’inverse, une différence apparemment grande dans un petit échantillon peut rester très incertaine.
L’absence de différence statistiquement significative ne prouve pas que les variantes sont identiques. Nous présentons l’effet estimé et son incertitude au regard de la question de départ. Le choix final peut aussi tenir compte du coût de production, de la facilité de mise en œuvre ou du risque, en gardant ces raisons distinctes de ce que le test a montré.
Comment nous travaillons quand le volume est faible
Nous pouvons tester moins de questions en même temps, prolonger la période si la situation reste comparable, ou observer directement les difficultés que rencontrent les gens. Des échanges avec des clients, l’examen des demandes et un passage en revue du parcours peuvent suggérer des changements utiles. Nous les utilisons comme un autre type de preuve, sans les présenter comme une confirmation statistique.
Une erreur fonctionnelle évidente peut être corrigée sans expérience de conversion. Pour les choix encore incertains, nous consignons l’hypothèse et les limites de la décision. Ainsi, un faible trafic ne devient ni une raison de piétiner ni une excuse pour une certitude que les données ne permettent pas.
Nous ne testons pas une exigence obligatoire comme s’il s’agissait d’une préférence
Respecter les exigences de format et vérifier que le lien fonctionne sont des contrôles de préparation. Le test créatif commence une fois que les variantes sont utilisables pour la comparaison choisie. Sinon, une différence de résultats peut venir d’un élément mal affiché, sans rien nous apprendre sur l’argument que nous voulons évaluer.
Dans un système qui combine et diffuse automatiquement les éléments, importer deux titres ne crée pas en soi un test A/B de la formulation. Choisissez une méthode adaptée et précisez si vous évaluez un élément, un concept complet ou une diffusion observée. La conclusion ne doit jamais être plus précise que les preuves.
Ce que nous conservons après le test
Nous documentons la question, les variantes, la période, les observations et les limites. Si nous reprenons l’exploration dans quelques mois, ces informations nous aident à comprendre pourquoi nous avons pris une décision et ce qui a changé entre-temps.
Chez NOT MORE., les tests doivent enrichir notre compréhension de l’entreprise et de son public. Nous expliquons ce que les preuves étayent, ce qui mérite un nouvel examen et où il est trop tôt pour une conclusion ferme.
Trois questions pour le prochain test
- Quelle décision voulons-nous prendre à la fin ?
- Quelle différence cherchons-nous à comprendre, et quelles conditions pourraient l’influencer ?
- Comment procédons-nous si le résultat reste flou ?
Que voudriez-vous apprendre du prochain test ?
Décrivez les options et la décision que vous voulez prendre. Nous pouvons vous aider à définir une question de test et les informations nécessaires, en fonction du volume et des ressources disponibles.