Wir ändern das Foto, die Headline, die Zielgruppe und das Angebot. Das Ergebnis wird besser. Welche Änderung hat gezählt?
Wenn Sie vieles geändert haben und trotzdem nicht wissen, was gezählt hat, ist der Wunsch nach einer klareren Schlussfolgerung verständlich. Ein gut definierter Test sollte Ihnen helfen, eine Entscheidung zu treffen, auch wenn das Ergebnis unsicher bleibt.
Aus dieser Beobachtung allein können wir den Beitrag jedes Elements nicht trennen. Wir sehen, dass die neue Kombination unter diesen Bedingungen ein anderes Ergebnis hatte. Für eine genauere Schlussfolgerung brauchen wir einen sauber vorbereiteten Vergleich.
Testen hilft, wenn es Informationen liefert, die wir in einer künftigen Entscheidung nutzen können. Die Zahl der veröffentlichten Varianten sagt wenig über die Qualität dieser Informationen.
Was wollen wir herausfinden?
„Welche Anzeige funktioniert besser?“ ist ein Ausgangspunkt. Seien Sie beim Ziel konkret: mehr Bestellungen, mehr relevante Anfragen oder herausfinden, welches Argument weitere Entwicklung verdient?
Bei einer fiktiven Tasche können wir fragen, ob das Zeigen der Fächer Menschen hilft, das Produkt zu verstehen. Oder wir vergleichen eine Richtung zur Ordnung mit einer zu Wochenendreisen. Das sind zwei verschiedene Fragen, die unterschiedliche Tests brauchen.
Element oder vollständiges Konzept?
Die Frage bestimmt die Art des Tests.
Illustratives Beispiel. Die Bedingungen werden im Artikel erklärt.
Test der Botschaft
- Die Headline ändern.
- Die übrigen Bedingungen möglichst vergleichbar halten.
- Die Formulierung in diesem Umfeld bewerten.
Test des Konzepts
- Botschaft und visuelle Richtung ändern.
- Zwei stimmige Pakete vergleichen.
- Die Schlussfolgerung betrifft das Paket, nicht ein einzelnes Element.
| Art des Vergleichs | Was wir ändern | Was wir verfolgen können |
|---|---|---|
| Test der Botschaft | Die Headline, bei möglichst vergleichbaren übrigen Bedingungen | Den Unterschied, der mit den beiden Formulierungen in diesem Umfeld verbunden ist |
| Test des Konzepts | Botschaft und Präsentation als stimmiges Paket | Welche vollständige Richtung am besten zum Ziel passt |
Ein Konzepttest darf berechtigterweise mehrere Elemente ändern. Die Schlussfolgerung muss die verglichenen vollständigen Versionen betreffen. Wir können nicht allein dem Foto den Erfolg zuschreiben, wenn sich auch das Angebot geändert hat.
Was wir vor der Veröffentlichung festlegen
Wir notieren Hypothese, Varianten, Zielgruppe, Hauptindikator und Bewertungsbedingungen. Wir klären, was wir vergleichbar halten und welche Unterschiede wir nicht kontrollieren können.
Bei einer Kampagne für Anfragen können die Kosten pro Formular eine Zwischengröße sein. Ist das Ziel, passende Kunden zu gewinnen, beziehen Sie Qualifizierung, Kontakt und Fortschritt im Vertrieb ein. Sonst wählen Sie vielleicht die Version, die günstige Formulare, aber wenige nützliche Gespräche bringt.
Wir legen auch die Entscheidung fest, die folgen wird: fortsetzen, ausweiten, überarbeiten oder die Erkundung beenden. Ein Test ohne mögliche Entscheidung kann Budget verbrauchen, ohne das Projekt zu klären.
Wie lange, und wie viele Daten genügen?
Die Antwort hängt von der Häufigkeit des Ergebnisses ab, von seiner Schwankung, vom Unterschied, den wir erkennen wollen, und von der Testmethode. Es gibt keine allgemeine Zahl von Tagen oder Conversions, die jeden Vergleich bestätigt.
Eine zusätzliche Bestellung in einer kleinen Stichprobe kann Zufall sein. Aktionen, Feiertage oder begrenzter Bestand können die Deutung ebenfalls beeinflussen. Gibt es zu wenige Daten, kann „Wir wissen es noch nicht“ die richtige Schlussfolgerung sein.
Wir prüfen auch, wie die Varianten ausgespielt werden. Die Plattform kann die Werbemittel ungleich ausliefern, und die Zielgruppen können sich unterscheiden. Ein einfacher Vergleich im Bericht bietet nicht die Kontrolle eines Experiments.
Was ein Stichprobenrechner sagen kann und was nicht
Ein Stichprobenrechner hilft, sobald wir die Kennzahl, das relevante Ausgangsniveau und den kleinsten Unterschied festgelegt haben, den wir erkennen wollen. Wir legen auch die statistischen Risiken fest, die wir akzeptieren: wie wahrscheinlich wir einen echten Effekt der gewählten Größe erkennen und wie viel Risiko eines falsch positiven Ergebnisses wir tolerieren. Diese Entscheidungen beeinflussen das nötige Volumen. Microsoft Research: statistische Teststärke und Empfindlichkeit von Kennzahlen (auf Englisch)
Kein Rechner kann allein das ideale kommerzielle Budget für jede Anzeige ermitteln. Die Schätzung der Stichprobe muss zusammen mit den wahrscheinlichen Traffic-Kosten, der Dauer, der verfügbaren Zielgruppe und den Grenzen des Projekts gelesen werden. Künftige Kosten bleiben Schätzungen, und eine genaue Rechnung behebt keine schlecht gewählte Kennzahl.
Auch die verglichene Einheit zählt. Eine Person kann eine Anzeige mehrmals sehen. Die Zahl der Impressionen ist nicht automatisch dieselbe Zahl an Personen oder unabhängigen Beobachtungen. Die Methode muss dazu passen, wie Teilnehmende zugeteilt und wie das Ergebnis gemessen wird.
Ein erkennbarer Unterschied muss die Entscheidung auch wert sein
In einem hypothetischen Beispiel kann ein sehr kleiner Anstieg der Conversion-Rate mehr Daten erfordern, als das Unternehmen in der verfügbaren Zeit sammeln kann. Ist der mögliche wirtschaftliche Nutzen ebenfalls klein, lohnt es sich vielleicht, zuerst ein wichtigeres Problem zu erkunden. Umgekehrt kann ein scheinbar großer Unterschied in einer kleinen Stichprobe sehr unsicher bleiben.
Das Fehlen eines statistisch signifikanten Unterschieds beweist nicht, dass die Varianten gleich sind. Wir berichten den geschätzten Effekt und seine Unsicherheit bezogen auf die ursprüngliche Frage. Die endgültige Wahl kann auch Produktionskosten, einfache Umsetzung oder Risiko berücksichtigen, wobei diese Gründe von dem getrennt bleiben, was der Test gezeigt hat.
Wie wir bei geringem Volumen arbeiten
Wir können weniger Fragen gleichzeitig testen, den Zeitraum verlängern, wenn die Situation vergleichbar bleibt, oder direkt die Schwierigkeiten betrachten, auf die Menschen stoßen. Gespräche mit Kunden, eine Durchsicht der Anfragen und ein Durchgang durch den Weg können nützliche Änderungen nahelegen. Wir nutzen sie als eine andere Art von Beleg, ohne sie als statistische Bestätigung darzustellen.
Ein klarer funktionaler Fehler kann ohne Conversion-Experiment behoben werden. Bei Entscheidungen, die noch unsicher sind, halten wir Hypothese und Grenzen der Entscheidung fest. So wird geringer Traffic weder zum Grund für Stillstand noch zur Ausrede für eine Gewissheit, die die Daten nicht stützen.
Eine Pflichtanforderung testen wir nicht wie eine Vorliebe
Formatanforderungen zu erfüllen und zu prüfen, ob der Link funktioniert, sind Vorbereitungsprüfungen. Der kreative Test beginnt, wenn die Varianten für den gewählten Vergleich nutzbar sind. Sonst kann ein Unterschied in den Ergebnissen von einem falsch angezeigten Werbemittel kommen, ohne uns etwas über das Argument zu sagen, das wir bewerten wollen.
In einem System, das Assets automatisch kombiniert und ausspielt, erzeugt das Hochladen zweier Headlines noch keinen A/B-Test der Formulierung. Wählen Sie eine passende Methode und sagen Sie, ob Sie ein Element, ein vollständiges Konzept oder die beobachtete Ausspielung bewerten. Die Schlussfolgerung sollte nie genauer sein als die Belege.
Was wir nach dem Test festhalten
Wir dokumentieren Frage, Varianten, Zeitraum, Beobachtungen und Grenzen. Nehmen wir die Erkundung in einigen Monaten wieder auf, helfen uns diese Informationen zu verstehen, warum wir eine Entscheidung getroffen haben und was sich seitdem geändert hat.
Bei NOT MORE. sollen Tests unser Verständnis des Unternehmens und seiner Zielgruppe vertiefen. Wir erklären, was die Belege stützen, was einen zweiten Blick verdient und wo es für eine feste Schlussfolgerung noch zu früh ist.
Drei Fragen für den nächsten Test
- Welche Entscheidung wollen wir am Ende treffen?
- Welchen Unterschied wollen wir verstehen, und welche Bedingungen könnten ihn beeinflussen?
- Wie gehen wir vor, wenn das Ergebnis unklar bleibt?
Was möchten Sie aus dem nächsten Test lernen?
Beschreiben Sie die Optionen und die Entscheidung, die Sie treffen wollen. Wir können helfen, eine Testfrage und die nötigen Informationen festzulegen, abhängig von Volumen und verfügbaren Ressourcen.