Ein Kunde, der seit Jahren bei Ihnen kauft, sieht eine Anzeige und gibt eine neue Bestellung auf. Eine andere Person entdeckt die Marke über eine Kampagne und kauft zum ersten Mal.
Die Frage ist berechtigt, wenn Sie entscheiden müssen, wohin das nächste Budget geht. Nicht jedes Unternehmen hat die Daten für ein umfangreiches Experiment; es lohnt sich herauszufinden, welche Methode für Ihre Entscheidung genug klären kann.
Beide Bestellungen können in einem Werbebericht erscheinen. Um die Wirkung der Werbung zu verstehen, müssen wir auch bedenken, was ohne sie passiert wäre.
Es ist eine schwierige Frage: Wir können nicht dieselbe Person zur selben Zeit in beiden Situationen beobachten. Wir können aber Vergleiche aufbauen, die helfen, den Unterschied zu schätzen.
Anteil im Bericht und zusätzlicher Effekt
Attribution schreibt infrage kommenden Interaktionen nach festgelegten Regeln einen Anteil zu. Inkrementalität fragt, was sich durch die Werbung verändert hat.
Diese Unterscheidung bedeutet nicht, bestehende Kunden auszuschließen oder Remarketing abzuwerten. Anzeigen können ihnen ein Produkt vorstellen, Interesse wiederbeleben oder zu einem weiteren Kauf anregen. Bewerten Sie diese Rolle im Kontext.
Wie die Logik eines Experiments aussieht
Ein Ansatz vergleicht eine Gruppe, die die getestete Werbung sehen kann, mit einer Kontrollgruppe, die sie nicht sieht. Die Gruppen sollten so gebildet werden, dass die Methode des Experiments relevante Unterschiede zwischen ihnen minimiert.
Welchen Unterschied macht die Anzeige?
Diagramm der Methode. Keine gemessenen Ergebnisse und keine numerische Schätzung.
Exponierte Gruppe
- Kann die getestete Werbung sehen.
- Das vereinbarte Ergebnis messen.
Kontrollgruppe
- Ohne die getestete Werbung.
- Dasselbe Ergebnis messen.
Die Gruppen mit der vereinbarten Methode des Experiments vergleichen.
Den Unterschied zusammen mit der Unsicherheit der Schätzung deuten.
| Element | Warum es zählt |
|---|---|
| Wie die Gruppen aufgeteilt werden | Hilft zu vermeiden, Menschen auszuwählen, die ohnehin eher gekauft hätten |
| Derselbe Zeitraum | Verringert die Verwechslung mit saisonalen Veränderungen oder Marktveränderungen |
| Vorab definiertes Ergebnis | Klärt, ob wir Bestellungen, Wert oder eine andere Aktion verfolgen |
| Volumen und Unsicherheit | Zeigt, wie genau die Schätzung sein kann |
Google beschreibt Test- und Kontrollgruppen in der Dokumentation zu Conversion Lift. Das Werkzeug steht nicht jedem Konto zur Verfügung; Berechtigung und Bedingungen müssen im konkreten Fall geprüft werden. Google Ads: Conversion Lift (auf Englisch)
Dieses Diagramm zeigt die Logik der Methode. Es enthält kein gemessenes Ergebnis einer Kampagne von NOT MORE.
Warum der Vergleich zweier Monate die Frage nicht klärt
Die Werbung wird gestoppt, und der Umsatz sinkt. Saisonalität, Verfügbarkeit, Aktionen oder andere Veränderungen können ebenfalls eine Rolle gespielt haben. Die Werbung startet wieder, und der Umsatz steigt; dieselben Faktoren können das Beobachtete weiterhin beeinflussen.
Der Vergleich von Zeiträumen hilft, Hypothesen zu bilden. Ein einfacher Vorher-Nachher-Vergleich isoliert die Ursache nicht. Je wichtiger die Entscheidung, desto sorgfältiger sollte die Bewertungsmethode gewählt werden.
Zwei Regionen sind nicht automatisch vergleichbar, nur weil sie ähnlich groß sind. Auch ihre Vorgeschichte, Angebote, Wettbewerber und das Design des Experiments zählen.
Was wir tun, wenn ein Experiment nicht machbar ist
Manche Unternehmen haben geringe Volumen, lange Verkaufszyklen oder nicht genug Ressourcen für ein genaues Experiment. In diesen Fällen arbeiten wir mit den verfügbaren Belegen, nennen die Annahmen und halten die Grenzen klar.
Wir können Entwicklungen bei neuen und bestehenden Kunden, Veränderungen am Angebot und die Geschichte der Kanäle analysieren. Diese Beobachtungen fließen in die Entscheidung ein, ohne als exakter kausaler Beleg dargestellt zu werden.
Manchmal lautet die richtige Frage, ob eine aufwendigere Messung die Entscheidung so stark verändern würde, dass sich Kosten und Zeit lohnen.
Lässt sich der Beitrag der Anzeige mit wenigen Verkäufen bewerten?
Sie können nützliche Signale bekommen, aber die Genauigkeit einer kausalen Schätzung kann begrenzt sein. Bei geringem Volumen können wenige Bestellungen das Ergebnis stark verändern. Vor einem Test legen wir die Veränderung fest, die wir erkennen wollen, den passenden Vergleich, den Zeitrahmen und das Risiko einer falschen Schlussfolgerung.
Ein Stichprobenrechner braucht relevante Annahmen. Für einen Test zu Käufen genügt die Zahl der Impressionen nicht, wenn die angenommene Conversion-Rate und die verglichene Einheit fehlen. Mehr Impressionen bei denselben Menschen bedeuten nicht automatisch mehr unabhängige Beobachtungen.
Was tun Sie, bis Sie genug Daten haben? Sie prüfen die Messung, die Qualität der Anfragen, die Herkunft der Kunden und alternative Erklärungen. Sie können vorsichtig entscheiden, fortzufahren, mit einer Investitionsgrenze. Eine solche Entscheidung muss mit ihrer Unsicherheit dargestellt werden, ohne zu behaupten, Sie hätten die zusätzlichen Verkäufe durch die Anzeige bewiesen.
Wie wir die Frage in der Zusammenarbeit nutzen
Bei NOT MORE. unterscheiden wir, was die Systeme melden, von dem, was wir über die Wirkung einer Kampagne belegen können. Die Methode sollte der Investition, den verfügbaren Daten und der anstehenden Entscheidung angemessen sein.
Ein gutes Ergebnis ist wertvoller, wenn wir seine Bedeutung verstehen. Eine erkannte Grenze hilft uns, den nächsten Schritt mit klareren Erwartungen zu wählen.
Drei nützliche Fragen
- Was sagt uns die Attribution, und was haben wir darüber hinaus geprüft?
- Welche anderen Faktoren könnten die Veränderung erklären?
- Ist ein Experiment machbar, und würde es unsere Entscheidung verändern?
Welche Entscheidung würden Sie treffen, wenn Sie den Beitrag der Kampagne verstünden?
Sagen Sie uns, welche Aktivität Sie beibehalten, verringern oder ausweiten möchten und welche Daten Sie haben. Wir können besprechen, was sich realistisch herausfinden lässt und ob eine weitere Analyse die Entscheidung verändern würde.