Ich kenne keinen Vermarkter, der mit seinem Adserver-Reporting nicht für jede einzelne Kampagne auch die entsprechende Klickrate an die Agentur bzw. den Advertiser berichtet. Eine Messgröße mit minimaler Aussagekraft, die aber regelmäßig als Waffe gegen die Vermarkter eingesetzt wird: “Die Klickrate war schlecht, also geht ihr entweder mit dem Preis runter oder wir buchen woanders!” Das ist insbesondere für Qualitätsvermarkter ärgerlich, weil die wirklich wichtigen Faktoren wie Markenwirkung und Relevanz verdrängt werden. Trotzdem spielen die Vermarkter dieses Spiel mit und reporten brav weiter Klickraten!

Dabei lassen sie sich unnötigerweise in doppelter Hinsicht schlecht rechnen. Was sind die zwei größten Assets eines Qualitätsvermarkters? 1. Hochwertiger Content und 2. hochwertige Zielgruppen. Ersterer kann zu sehr viel mehr benutzt werden, als nur Klickraten zu steigern. Klickraten können weitgehend unabhängig vom Content optimiert werden. Das geht auch mit billigem Content, solange er nur besucht wird. Wenn aber der Advertiser bzw. die Agentur den Anspruch hat, eine Marke hochwertig zu positionieren und die Markenwirkung zu optimieren – und das ist schließlich das Ziel der meisten Advertiser – dann geht das nur mit hochwertigem Content und dann ist die Klickrate schlicht die falsche Messgröße. Wenn sich also ein Qualitätsanbieter an der Klickrate messen lässt, verkauft er eines seiner zwei größten Assets definitiv unter Wert.

Genauso die Zielgruppen: Es ist inzwischen hinlänglich bekannt, dass nur maximal 20% aller Nutzer überhaupt auf Werbung klicken. Ein Vermarkter, der sich an der Klickrate messen lässt, nimmt also a priori 80% Streuverlust in Kauf. Was für eine Verschwendung wertvoller Reichweite! Auf diese Weise wird auch das zweite Asset weit unter Wert verkauft.

Es gibt Alternativen zur Klickrate. So kann z.B. der Brand Impact einer Kampagne – wahlweise auf die Markenbekanntheit, -sympathie und/oder Kaufabsicht – in Echtzeit gemessen und reportet werden (L’Oréal-Case Study, pdf). Aber selbst wenn es diese Alternativen nicht gäbe, wäre es für die Vermarkter immer noch besser, nichts zu reporten als ausgerechnet die Klickrate.

Ich frage mich, wann der erste Vermarkter merkt, dass er sich dadurch mehr schadet als nützt. Und ich frage mich, wann der erste Vermarkter die Konsequenzen zieht und endlich aufhört Klickraten zu reporten!

Related posts:

1. Wie Microsofts Forscher Klickraten steigern
2. Die 5 größten Predictive Targeting-Irrtümer – Nr.4: Geringerer Streuverlust bedeutet immer auch eine höhere Klickrate

Akademisch fundierte Forschung zur Wirkung von Online-Werbung ist rar, erst Recht zu Behavioral Targeting. Etwas verspätet hier nun eine Zusammenfassung der “first systematic study for BT on real world ads click-through log in academia”.

Der Artikel „How much can Behavioral Targeting Help Online Advertising?” stammt von den chinesischen Microsoft-Forschern Jun Yan, Ning Liu, Gang Wang und Zheng Chen sowie deren beiden Universitätskollegen Wen Zhang und Yun Jiang. Der Artikel ist akademisch und liest sich somit etwas sperrig, daher hier der Versuch einer verständlichen Zusammenfassung:

Die Forscher überprüfen die Grundannahmen und Potenziale von Behavioral Targeting (BT) am Beispiel von Textanzeigen in einer „commercial search engine“ (ob das wohl die Microsoft Suchmaschine war?). Datenbasis ist ein Logfile für die Woche vom 1. bis 7. Juni 2008. Nach einigen Bereinigungen verbleiben darin über sechs Millionen Unique User und 17.901 Anzeigen.

Die Forschungsfrage lautet dann im Kern: Können mit Behavioral Targeting die Klickraten für diese Anzeigen (und damit der Umsatz für den Suchmaschinenbetreiber) gesteigert werden?

Die Antwort vorweg: ja.

Die User wurden dazu zunächst mittels Clusteranalysen gruppiert. Eine Clusteranalyse versucht, User so zu gruppieren, dass sich die User innerhalb einer Gruppe möglichst ähnlich, die Gruppen untereinander aber möglichst verschieden sind. Für dieses Clustern haben die Forscher verschiedene Ansätze miteinander verglichen, v.a. wurde unterschieden zwischen

• Long vs. Short Term User Behavior
  • Logfiledaten von allen sieben Tagen
  • vs. nur von einem Tag
• Page Views vs. Query Terms
  • die angeklickten Suchergebnisse
  • vs. die Begriffe, nach denen gesucht wurde

Ein zentraler Befund der Studie ist nun, dass die Kombination von Short Term und Query am besten funktioniert, egal, wie viele Gruppen man bildet.

wobei:

LP: Long Term + Page Views
LQ: Long Term + Query Terms
SP: Short Term + Page Views
SQ: Short Term + Query Terms

Hier die Lesehilfe zum Chart: Wenn man mit einer sog. k-means-Clusteranalyse 160 Gruppen bildet, und für diese Gruppenbildung die Kombi aus Short Term Daten und Query Terms nimmt (SQ), dann ist die Klickrate in der besten der 160 Gruppen um 670 Prozent höher (schwarzer Balken ganz rechts) als im Durchschnitt aller User.

Generell wird die Klickrate umso besser, je mehr Gruppen man bildet. In anderen Worten: je kleiner die Gruppen sind – also ein Präzisionsgewinn auf Kosten der Reichweite.

Spannend ist auch, dass Gruppen auf Basis der Logdaten des letzten Tages immer deutlich besser abschneiden als auf Basis der aller sieben Tage. Hier zeigt sich möglicherweise eine Besonderheit im Suchmaschinenmarketing, wo es oft um situative, kurzfristige Informationsbedürfnisse geht – und die sich somit nicht auf bspw. Branding-Kampagnen übertragen lassen.

Und: Gruppen auf Basis von Suchbegriffen (Queries) funktionieren bezüglich der Klickrate besser als auf Basis der angeklickten Suchergebnisse. Das dürfte hier auch intuitiv plausibel sein, denn die Suchbegriffe hat ja der User von sich aus bewusst eingegeben, während er beim Klick auf ein Ergebnis noch nicht genau wissen kann, was ihn nach dem Klick erwartet. Also sollten Suchbegriffe auch mehr über einen User aussagen als seine Klicks. Aber: Aus der Datenschutzperspektive bedeutet das auch umgekehrt, dass Suchbegriffe relativ leicht personenbeziehbar sind. Man denke an den berühmten Fall der „gläsernen Mrs. Arnold“:

„Sag mir, wonach du suchst, und ich sage dir, wer du bist: Ein Reporter der „New York Times“ identifizierte eine Surferin allein anhand der Begriffe, die sie in den vergangenen Monaten in eine Internet-Suchmaschine eingegeben hatte. Die Kundin des Providers AOL mit der Benutzernummer 4417749 interessierte sich beispielsweise für „60-jährige Single-Männer“ und litt unter „tauben Fingern“ und einem „Hund, der überall hinpinkelt“. Sie suchte einen „Gärtner in Lilburn, Georgia“ und „zum Verkauf stehende Häuser im Stadtteil Shadow Lake“. Später gab sie den Namen ihres Sohnes in die AOL-Suchmaschine ein: Er heißt Arnold mit Nachnamen. In Shadow Lake leben elf Arnolds. Nur wenige Anrufe führten den Reporter zur 62-jährigen Thelma Arnold.“

Aber zurück zu den akademischen BT-Forschungsergebnissen aus China: Wenn man also User gruppiert nach ihren Suchbegriffen des letzten Tages, dann kann man die Klickraten in den Ergebnisseiten einer Suchmaschine um – bestenfalls – bis zu 670 Prozent steigern. Die Forscher verheimlichen keinesfalls, dass dieser Wert „nur“ für die beste von 160 Gruppen erreicht wird. Entsprechend wird am Ende des Artikels der Tradeoff zwischen Präzision und Recall thematisiert. Diese beiden Begriffe sind zentral für alle statistischen Vorhersagemodelle (und gehören natürlich auch bei nugg.ad zum täglich Brot, vgl. bspw. einen Blogbeitrag vom mir zur OMD 2008).

-          Die Präzision gibt an, wie viele der vorhergesagten (hier:) Klicker auch tatsächlich klicken.

-          Der Recall gibt an, wie viele der tatsächlichen Klicker auch als Klicker vorhergesagt werden (und gibt somit eine Form der Reichweite an).

Generell gilt die Faustregel, dass die Präzision umso höher ist, je kleiner/spitzer die vorhergesagte Gruppe ist, desto geringer also der Recall ist. Das gilt auch hier:

Hier wieder die Lesehilfe: Wenn man nur die eine beste aller 160 Gruppen ansteuert, dann deckt man damit etwa 15 Prozent (=Recall, grüner Punkt ganz links) aller Klicker ab. Und: Von den Usern in dieser einen besten Gruppe klicken dann tatsächlich etwa 30 Prozent (=Precision, schwarzer Punkt ganz links (damit kann man jetzt auch in etwa die durchschnittliche Klickrate über alle User hinweg herleiten: 30 Prozent sollen ja 670 Prozent mehr sein als der Durchschnitt, also liegt der Durchschnitt bei etwa 3,9 Prozent)).

Wenn man die 20 besten aller 160 Gruppen nimmt, dann deckt man damit 80 Prozent aller Klicker ab (grüner Punkt ganz rechts), aber die Klickrate sinkt von 30 auf etwas über 10 Prozent (schwarzer Punkt ganz rechts).

Ich habe mich sehr gefreut, diese akademisch fundierte Case Study zu Behavioral Targeting zu lesen: Auch in China sucht man also den idealen Tradeoff zwischen Präzision und Reichweite. Hoffentlich gibt es auch bald akademisch fundierte Beiträge zu Behavioral Targeting außerhalb von Suchmaschinen!

Allen weitergehend Interessierten sei natürlich die Lektüre des vollständigen Artikels empfohlen – meine Zusammenfassung hier kann und soll nicht vollständig sein…

Related posts:

1. Wer macht dem Klickraten-Wahn ein Ende?

Hinter diesem Irrtum steckt die Annahme, dass Zielgruppenanteil und Klickrate immer korrelieren. In den meisten Fällen tun sie das auch – aber nicht immer! Dann wird deutlich, dass es sich um zwei unterschiedliche Zielgrößen handelt und dass man sich entscheiden muss, auf welche hin man eine Kampagne optimieren will.

1. Beispiel: Falsche Zielgröße
Auslieferung einer Kampagne für teure Luxusgüter an Entscheider. Dann trifft ein Produkt, auf das grundsätzlich viele neugierig sind (hohe Klickrate bei Zufallsauslieferung), auf eine Zielgruppe, die notorisch wenig klickt (sei es aus Zeitmangel oder weshalb auch immer). Es ist ziemlich offensichtlich, dass die Klickrate umso stärker abnimmt, je besser die Zielgruppe getroffen wird. Das bedeutet ja nicht, dass die Kampagne nicht funktioniert. Es ist sogar höchst wahrscheinlich, dass der Branding Effect und/oder die Conversion Rate (die beiden anderen der vier möglichen Zielgrößen einer Kampagne) deutlich ansteigen. Die Klickrate ist dann einfach die falsche Zielgröße.

2. Beispiel: Falsche Zielgruppe
Ein Beispiel aus der Praxis: Um einen Kleinwagen zu bewerben, wurde auf die Zielgruppe Autointerssierte gezielt – ohne jegliche Auswirkung auf die Klickrate. Nun kann man sich denken, dass wirklich Autointerssierte sich für teure oder schnelle Autos interessieren aber nicht für Kleinwagen. Von daher passte die Zielgruppe nicht zum Produkt. Mit dieser Erkenntnis wurde im Folgenden auf junge Frauen mit überdurchschnittlichem Einkommen gezielt – mit durchschlagendem Erfolg: Die Klickrate stieg um mehr als 60%.

3. Beispiel: Falsches Werbemittel
Angenommen die Zielgruppe für das beworbene Produktist ist richtig definiert und diese Zielgruppe wird dank PBT auch mit minimalem Streuverlust getroffen. Was ist dann, wenn das Werbemittel diese Zielgruppe einfach nicht anspricht? Auch in diesem Fall erzielt man keine nennenswerte Klickratensteigerung, obwohl ansonsten alles richtig gemacht wurde.

Bei den Beispielen 2 und 3 ist Targeting dann nicht die Ursache für unbefriedigende Klickraten, sondern ganz im Gegenteil hilft Targeting hier Schwächen an anderer Stellen aufzudecken. Glücklicherweise lassen sich Kampagnen für alle vier möglichen Zielgrößen (Zielgruppenanteil, Klickrate, Conversion Rate und Branding Effect) mit PBT messen und gezielt optimieren.

Related posts:

1. Die 5 größten Predictive Targeting-Irrtümer – Nr.5: PBT hat keinen Streuverlust
2. Die größten Predictive Targeting-Irrtümer – Nr.7: PBT ist nichts weiter als ein Performance Uplift-Tool
3. Die 5 größten Predictive Targeting-Irrtümer – Nr.2: PBT = Low TKP