Veröffentlicht von Akademisch fundierte Forschung zur Wirkung von Online-Werbung ist rar, erst Recht zu Behavioral Targeting. Etwas verspätet hier nun eine Zusammenfassung der “first systematic study for BT on real world ads click-through log in academia”.
Der Artikel „How much can Behavioral Targeting Help Online Advertising?” stammt von den chinesischen Microsoft-Forschern Jun Yan, Ning Liu, Gang Wang und Zheng Chen sowie deren beiden Universitätskollegen Wen Zhang und Yun Jiang. Der Artikel ist akademisch und liest sich somit etwas sperrig, daher hier der Versuch einer verständlichen Zusammenfassung:
Die Forscher überprüfen die Grundannahmen und Potenziale von Behavioral Targeting (BT) am Beispiel von Textanzeigen in einer „commercial search engine“ (ob das wohl die Microsoft Suchmaschine war?). Datenbasis ist ein Logfile für die Woche vom 1. bis 7. Juni 2008. Nach einigen Bereinigungen verbleiben darin über sechs Millionen Unique User und 17.901 Anzeigen.
Die Forschungsfrage lautet dann im Kern: Können mit Behavioral Targeting die Klickraten für diese Anzeigen (und damit der Umsatz für den Suchmaschinenbetreiber) gesteigert werden?
Die Antwort vorweg: ja.
Die User wurden dazu zunächst mittels Clusteranalysen gruppiert. Eine Clusteranalyse versucht, User so zu gruppieren, dass sich die User innerhalb einer Gruppe möglichst ähnlich, die Gruppen untereinander aber möglichst verschieden sind. Für dieses Clustern haben die Forscher verschiedene Ansätze miteinander verglichen, v.a. wurde unterschieden zwischen
- Long vs. Short Term User Behavior
- Logfiledaten von allen sieben Tagen
- vs. nur von einem Tag
- Page Views vs. Query Terms
- die angeklickten Suchergebnisse
- vs. die Begriffe, nach denen gesucht wurde
Ein zentraler Befund der Studie ist nun, dass die Kombination von Short Term und Query am besten funktioniert, egal, wie viele Gruppen man bildet, wobei:
LP: Long Term + Page Views
LQ: Long Term + Query Terms
SP: Short Term + Page Views
SQ: Short Term + Query Terms
Hier die Lesehilfe zum Chart: Wenn man mit einer sog. k-means-Clusteranalyse 160 Gruppen bildet, und für diese Gruppenbildung die Kombi aus Short Term Daten und Query Terms nimmt (SQ), dann ist die Klickrate in der besten der 160 Gruppen um 670 Prozent höher (schwarzer Balken ganz rechts) als im Durchschnitt aller User.
Generell wird die Klickrate umso besser, je mehr Gruppen man bildet. In anderen Worten: je kleiner die Gruppen sind – also ein Präzisionsgewinn auf Kosten der Reichweite.
Spannend ist auch, dass Gruppen auf Basis der Logdaten des letzten Tages immer deutlich besser abschneiden als auf Basis der aller sieben Tage. Hier zeigt sich möglicherweise eine Besonderheit im Suchmaschinenmarketing, wo es oft um situative, kurzfristige Informationsbedürfnisse geht – und die sich somit nicht auf bspw. Branding-Kampagnen übertragen lassen.
Und: Gruppen auf Basis von Suchbegriffen (Queries) funktionieren bezüglich der Klickrate besser als auf Basis der angeklickten Suchergebnisse. Das dürfte hier auch intuitiv plausibel sein, denn die Suchbegriffe hat ja der User von sich aus bewusst eingegeben, während er beim Klick auf ein Ergebnis noch nicht genau wissen kann, was ihn nach dem Klick erwartet. Also sollten Suchbegriffe auch mehr über einen User aussagen als seine Klicks. Aber: Aus der Datenschutzperspektive bedeutet das auch umgekehrt, dass Suchbegriffe relativ leicht personenbeziehbar sind. Man denke an den berühmten Fall der „gläsernen Mrs. Arnold“:
„Sag mir, wonach du suchst, und ich sage dir, wer du bist: Ein Reporter der „New York Times“ identifizierte eine Surferin allein anhand der Begriffe, die sie in den vergangenen Monaten in eine Internet-Suchmaschine eingegeben hatte. Die Kundin des Providers AOL mit der Benutzernummer 4417749 interessierte sich beispielsweise für „60-jährige Single-Männer“ und litt unter „tauben Fingern“ und einem „Hund, der überall hinpinkelt“. Sie suchte einen „Gärtner in Lilburn, Georgia“ und „zum Verkauf stehende Häuser im Stadtteil Shadow Lake“. Später gab sie den Namen ihres Sohnes in die AOL-Suchmaschine ein: Er heißt Arnold mit Nachnamen. In Shadow Lake leben elf Arnolds. Nur wenige Anrufe führten den Reporter zur 62-jährigen Thelma Arnold.“
Aber zurück zu den akademischen BT-Forschungsergebnissen aus China: Wenn man also User gruppiert nach ihren Suchbegriffen des letzten Tages, dann kann man die Klickraten in den Ergebnisseiten einer Suchmaschine um – bestenfalls – bis zu 670 Prozent steigern. Die Forscher verheimlichen keinesfalls, dass dieser Wert „nur“ für die beste von 160 Gruppen erreicht wird. Entsprechend wird am Ende des Artikels der Tradeoff zwischen Präzision und Recall thematisiert. Diese beiden Begriffe sind zentral für alle statistischen Vorhersagemodelle).
– Die Präzision gibt an, wie viele der vorhergesagten (hier:) Klicker auch tatsächlich klicken.
– Der Recall gibt an, wie viele der tatsächlichen Klicker auch als Klicker vorhergesagt werden (und gibt somit eine Form der Reichweite an).
Generell gilt die Faustregel, dass die Präzision umso höher ist, je kleiner/spitzer die vorhergesagte Gruppe ist, desto geringer also der Recall ist. Das gilt auch hier.
Hier wieder die Lesehilfe: Wenn man nur die eine beste aller 160 Gruppen ansteuert, dann deckt man damit etwa 15 Prozent (=Recall, grüner Punkt ganz links) aller Klicker ab. Und: Von den Usern in dieser einen besten Gruppe klicken dann tatsächlich etwa 30 Prozent (=Precision, schwarzer Punkt ganz links (damit kann man jetzt auch in etwa die durchschnittliche Klickrate über alle User hinweg herleiten: 30 Prozent sollen ja 670 Prozent mehr sein als der Durchschnitt, also liegt der Durchschnitt bei etwa 3,9 Prozent)).
Wenn man die 20 besten aller 160 Gruppen nimmt, dann deckt man damit 80 Prozent aller Klicker ab (grüner Punkt ganz rechts), aber die Klickrate sinkt von 30 auf etwas über 10 Prozent (schwarzer Punkt ganz rechts).
Ich habe mich sehr gefreut, diese akademisch fundierte Case Study zu Behavioral Targeting zu lesen: Auch in China sucht man also den idealen Tradeoff zwischen Präzision und Reichweite. Hoffentlich gibt es auch bald akademisch fundierte Beiträge zu Behavioral Targeting außerhalb von Suchmaschinen!
Allen weitergehend Interessierten sei natürlich die Lektüre des vollständigen Artikels empfohlen – meine Zusammenfassung hier kann und soll nicht vollständig sein…