Glossar
A/B-Test
Beim A/B-Test werden mit Live-Traffic zwei oder mehr Versionen einer Webseite – Version A (Original) und Version B (Variante) – gegeneinander getestet und der Effekt der einzelnen Varianten auf die Konversionsrate untersucht. Die Variante mit der niedrigeren Konversionsrate wird anschließend deaktiviert. Um die Entscheidung über die Deaktivierung treffen zu können, müssen statistisch signifikante Datenmengen erhoben werden, sodass in der Regel sehr lange Testlaufzeiten notwendig sind, um Fehlentscheidung zu vermeiden.
Weiterführende Informationen:
Absprungrate
(Bounce Rate)
Anteil der Besucher, die von extern auf eine Webseite gelangt sind und diese ohne Besuch einer Folgeseite verlassen haben. Im Vergleich zur Exit Rate wird die Bounce Rate also vom Eintreffen des Besuchers auf der Seite gemessen.
Attribution
Als Attribution bezeichnet man das Verteilungsmodell von Besuchern und Aktionen (Zuschreibung von Ursache und Wirkung) auf Projekte und Varianten. Es wird beispielsweise definiert, welche Variante für den Erfolg einer Bestellung verantwortlich ist. Acceleraid verwendet eine eindeutige Attributionsregel. Das bedeutet dass jede Aktion eindeutig einer Variante zuordenbar sein muss, um eine alleinige Erfolgszuordnung zu erlauben. Kann der Erfolg nicht eindeutig auf eine Variante zurückgeführt werden, wird der Erfolg (die Konversion) auf alle am Erfolg beteiligten Varianten ebenfalls attribuiert.
Auslieferung von Varianten
Es können drei unterschiedliche Formen der Auslieferung von Varianten durch die Acceleraid Personalization Platform unterschieden werden.
- Regelbasierte Auslieferung:
Bei der regelbasierten Auslieferung wird dem System eine feste Auslieferungsregel vorgegeben. Beispielsweise soll bei Eingang eines bestimmten Parameters immer eine bestimmte Variante angezeigt werden. In diesem Fall wird die algorithmische Auslieferung des Systems übersteuert und nach der zuvor definierten Auslieferungsregel die zugeordneten Varianten angezeigt. - Gleichverteilte Auslieferung:
Bei der gleichverteilten Auslieferung wird jeder vorhandenen Variante der gleiche prozentuale Anteil des eingehenden Traffics zugeordnet. In der Regel wird diese Form der Auslieferung nur kurzzeitig während der Trainingsphase des Algorithmus verwendet. - Algorithmische Auslieferung:
Bei der algorithmischen Auslieferung entscheidet der Algorithmus, welche Variante welchen Anteil des Traffics erhält. Es erhält jeweils diejenige Variante den meisten Traffic, die insgesamt oder für eine bestimmte Zielgruppe am besten konvertiert.
Chance to Win
Die Chance to Win ist ein Maß der Signifikanz von statistischen Werten, das die relative Wahrscheinlichkeit dafür angibt, ob eine Variation und/oder Gruppe von Variationen für das ausgewählte Ziel bessere Ergebnisse erzielt als die Kontrollgruppe.
Conversion
Die Conversion (Konversion) bezeichnet die Messung einer bestimmten, zuvor definierten Aktion wie beispielsweise den Klick auf einen CTA oder das Erreichen einer Dankeseite. Bei der Messung von Conversions können drei technische Formen der Messung unterschieden werden:
- Click-Event: die Conversion wird bei einem Klick gemessen, zum Beispiel Klick auf einen CTA
- Page-Load: die Conversion wird bei Aufruf einer Seite (URL) gemessen, beispielsweise beim Laden der Dankeseite
- Event: Events werden nicht direkt in der Acceleraid Personalization Platform gemessen und angezeigt, sondern nur in Matomo.
Ein Event misst einen bestimmten Zustand der Seite, zum Beispiel wenn ein bestimmter Mechanismus auf der Seite betätigt wurde. Diese Form des Trackings stellt eine selten verwendete Ausnahme dar. In der Regel können alle zu messenden Aktionen durch die ersten beiden beschrieben Funktionen abgebildet werden.
CPC (Cost per Click)
Der CPC bezeichnet die Kosten des Klicks auf ein Werbemittel.
CPO (Cost per Order)
Der CPO (oder Kosten pro Bestellung) bezeichnet die Kosten einer Bestellung oder eines Leads (CPL) im E-Commerce. Errechnet werden die Kosten vom Klick auf ein Werbemittel bis zur abgeschlossenen Bestellung (Order). Liegt der CPC beispielsweise bei 3€ und 1% der Besucher der Webseite über dieses Werbemittel schließen eine Bestellung ab, so liegt der CPO bei 300€ (CPO = Kosten Aktion / Anzahl Reaktion).
CTA (Call to Action)
CTA beschreibt einen Button bzw. ein klickbares Element auf einer Webseite, welches dem Besucher eine bestimmte Aktion auf der Seite ermöglicht. Auf einer eCommerce Seite wäre das zum Beispiel der Button „in den Warenkorb hinzufügen“.
CTR (Click Through Rate)
Die Rate der Besucher, die ein bestimmtes angebotenes Element einer Seite geklickt haben.
Weiterführende Informationen:
Delivery Cookie
Das Delivery Cookie enthält die Information über das ausgelieferte Segment. Kommt ein Besucher innerhalb der Lebensdauer des Delivery Cookies auf die Seite zurück, sieht er die zuvor gesehene Variante.
Exit Rate
Bei der Exit Rate wird das Verlassen auf einer explizit ausgewählten Seite gemessen. Es können also beliebig viele Seiten einer Webseite zuvor besucht worden sein, die Exit Rate wertet explizit Abbrüche auf der jeweiligen Seite. Sie wird beispielsweise auf der Produktseite gemessen und bezeichnet dort den Anteil der Besucher, die auf der Produktseite abgesprungen sind.
Goal/Ziel/Aktion
Ein Goal (Ziel) bezeichnet einen Messpunkt auf der Seite. Über das Goal kann damit eine Conversion gemessen werden. Es wird zwischen Klick-Goals und Load-Goals unterschieden. Ein Klick-Goal wird direkt durch eine Aktion (z.B. einen CTA Klick) auf der Seite ausgelöst. Ein Load-Goal misst das Laden einer Nachfolgeseite (z.B. das Laden der Dankeseite am Ende des Bestellprozesses).
Konfidenzintervall
Das Konfidenzintervall gibt den Bereich an, in dem sich die Aktionsrate für das ausgewählte Ziel satistisch bewegt. Die Aktionsrate ist Schwankungen ausgesetzt, die mit steigender Datenmenge (Visits und Conversions) geringer werden. Je größer die zur Verfügung stehende Datenmenge, desto geringer sind die Schwankungen der Conversion Rate. Als statistische Grundlage wird ein Konfidenzniveau von 80% angesetzt (dies kann über die Administration auf 90% oder 95% geändert werden).
Konfidenzniveau
Das Konfidenzniveau gibt die Wahrscheinlichkeit an, mit der ein berechneter Wert aus einer Stichprobe auch für die Grundgesamtheit des errechneten Konfidenzintervalls liegt. Wird z.B. eine Conversion Rate von 5% auf Basis eines Konfidenzniveaus von 90% ermittelt, so ist mit 90% Wahrscheinlichkeit davon auszugehen, dass in einer vergleichbaren Stichprobe oder der Grundgesamtheit ebenfalls eine Conversion Rate von 5% ermittelt werden würde
Multivariate Tests
Multivariate Tests dienen zum Testen einer Hypothese, bei der mehrere Variablen einer Seite gleichzeitig geändert und getestet werden. Es werden also, im Gegensatz zum A/B-Test, nicht zwei oder mehrere statische Seiten gegeneinander getestet, sondern auf einer Variante ggf. mehrere dynamische Bereiche definiert, die mit unterschiedlichen Inhalten befüllt werden können. Daraus ergibt sich häufig eine große Anzahl zu testender Kombinationen. Die Varianten mit unterdurchschnittlicher Konversionsrate werden anschließend deaktiviert. Um die Entscheidung über die Deaktivierung treffen zu können, müssen statistisch signifikante Datenmengen erhoben werden, sodass in der Regel sehr lange Laufzeiten der Tests notwendig sind, um eine Fehlentscheidung zu vermeiden.
Projekt
Ein Projekt enthält Varianten und eventuell eine Benchmark (sofern als Benchmark Projekt angelegt) und ist hierarchisch unterhalb einer Source zugeordnet. Über den Projektnamen wird das Projekt identifiziert.
Projekt mit Benchmark
Bei Projekten mit Benchmark wird eine Variante als Kontrollgruppe definiert (meist die unveränderte Originalseite) und mit einer oder mehreren dynamischen Varianten hinisichtlich der Conversion Rate verglichen. Das Verhältnis der ermittelten Conversion Rates der Kontrollgruppe und der dynamischen Varianten wird in Form eines Uplifts ausgedrückt (Uplift = CR Varianten / CR Kontrollgruppe -1 *100).
Projekt ohne Benchmark
Projekte ohne Benchmark (im System als Random Projekt bezeichnet) verfügen nicht über eine Kontrollgruppe als Vergleichsinstrument. Die Bewertung des Projekterfolgs wird rein anhand der Conversion Rate vorgenommen.
Regelbasierte Ausspielung (rule-based delivery)
Bei der regelabsierten Ausspielung werden Regeln für die Ausspielung einer (oder mehrerer) Varianten definiert. Beispielsweise sollen bestimmte Varianten nur ausgespielt werden, wenn Besucher mit einem Smartphone auf die Seite kommen.
Scoring Algorithmus
Bei dem Scoring Algorithmus handelt es sich um einen Bandit Algorithmus (wie Einarmiger Bandit), bei dem der Traffic auf zwei (oder mehr) Varianten gesendet wird. Der Algorithmus versucht dabei, den Traffic häufiger auf die Variante mit der besseren Conversion Rate zu senden, also den Gewinner-Arm des Banditen häufiger zu betätigen als den Verlierer-Arm. Mittelfristig wird der Traffic beinahe vollständig zur Gewinner-Variante gesendet (Survival of the Fittest).
Segment
Ein Segment bezeichnet die von einem Besucher gesehene Variante.
Das Segment wird identifiziert durch:
- PlacementGroup Id (alternativ bezeichnet als LayoutId)
- SourceId
- TestId
- ContentGroupId
Traffic
Als Traffic bezeichnet man den gesamten Besucherstrom auf eine Webseite. Der Traffic kann dabei aus unterschiedlichen Traffic-Kanälen (oder Traffic-Quellen) kommen. Der Traffic-Kanal bezeichnet dabei den Marketing-Kanal (Google AdWords, Display, Affiliate, etc.), über den ein Besucher auf die Seite gelangt ist.
Uplift
Der Uplift drück das Verhältnis zweier Conversion Rates aus und bietet damit den wichtigsten KPI zur Erfolgsbewertung eines Projekts. Der Uplift errechnet sich aus:
Uplift = CR Varianten / CR Kontrollgruppe -1 *100)
Der Uplift drückt damit die prozentuale Steigerung einer gemessenen Aktion aus (beispielsweis. Prozentuale Steigerung der Klickrate, der Abschlussrate, etc.)
Variation/Variante
Eine Variante ist stets einem Test zugeordnet. Einem Test können dabei auch mehrere Varianten zugeordnet sein. Dabei bezeichnet eine Variante eine Ausprägung einer vorhandenen Seite – zum Beispiel unterscheiden sich zwei Varianten durch ihre CTA Farbe oder das Key-Visual.
Visit
Kommt ein Besucher zum ersten Mal auf eine Seite oder ist sein letzter Besuch länger als 30 Minuten her, so wird ein neuer Visit gemessen. Ein Besucher kann mehrere Visits pro Tag durchführen. Die Dauer eines Visits beträgt, sofern der Visit nicht durch eine Aktion auf der Seite verlängert wird, 30 Minuten. Im ersten Visit auf der Seite ist der Besucher ein New Visitor (Erstbesucher). Vom zweiten Besuch an (am selben Tag oder später), ein Returning Visitor (Wiederkehrer).
Visitor
Ein Visitor ist ein Besucher, der auf der Seite durch ein Cookie und/oder durch seinen Fingerprint erkannt wird. Jeder Visitor kann über seine ID wiedererkannt werden.
Zielgruppierung
Über eine Zielgruppierung können Sie im Reporting die Anzeige der für ein Projekt relevanten Goals definieren. Jeder Zielgruppierung sind ein oder mehrere Ziele zugeordnet, die für die Messung des Projekterfolgs bedeutend sind. Dadurch wird die Übersichtlichkeit im Reporting gesteigert.