Akademisch fundierte Forschung zur Wirkung von Online-Werbung ist rar, erst Recht zu Behavioral Targeting. Etwas verspätet hier nun eine Zusammenfassung der “first systematic study for BT on real world ads click-through log in academia”.

Der Artikel „How much can Behavioral Targeting Help Online Advertising?” stammt von den chinesischen Microsoft-Forschern Jun Yan, Ning Liu, Gang Wang und Zheng Chen sowie deren beiden Universitätskollegen Wen Zhang und Yun Jiang. Der Artikel ist akademisch und liest sich somit etwas sperrig, daher hier der Versuch einer verständlichen Zusammenfassung:

Die Forscher überprüfen die Grundannahmen und Potenziale von Behavioral Targeting (BT) am Beispiel von Textanzeigen in einer „commercial search engine“ (ob das wohl die Microsoft Suchmaschine war?). Datenbasis ist ein Logfile für die Woche vom 1. bis 7. Juni 2008. Nach einigen Bereinigungen verbleiben darin über sechs Millionen Unique User und 17.901 Anzeigen.

Die Forschungsfrage lautet dann im Kern: Können mit Behavioral Targeting die Klickraten für diese Anzeigen (und damit der Umsatz für den Suchmaschinenbetreiber) gesteigert werden?

Die Antwort vorweg: ja.

Die User wurden dazu zunächst mittels Clusteranalysen gruppiert. Eine Clusteranalyse versucht, User so zu gruppieren, dass sich die User innerhalb einer Gruppe möglichst ähnlich, die Gruppen untereinander aber möglichst verschieden sind. Für dieses Clustern haben die Forscher verschiedene Ansätze miteinander verglichen, v.a. wurde unterschieden zwischen

• Long vs. Short Term User Behavior
  • Logfiledaten von allen sieben Tagen
  • vs. nur von einem Tag
• Page Views vs. Query Terms
  • die angeklickten Suchergebnisse
  • vs. die Begriffe, nach denen gesucht wurde

Ein zentraler Befund der Studie ist nun, dass die Kombination von Short Term und Query am besten funktioniert, egal, wie viele Gruppen man bildet.

wobei:

LP: Long Term + Page Views
LQ: Long Term + Query Terms
SP: Short Term + Page Views
SQ: Short Term + Query Terms

Hier die Lesehilfe zum Chart: Wenn man mit einer sog. k-means-Clusteranalyse 160 Gruppen bildet, und für diese Gruppenbildung die Kombi aus Short Term Daten und Query Terms nimmt (SQ), dann ist die Klickrate in der besten der 160 Gruppen um 670 Prozent höher (schwarzer Balken ganz rechts) als im Durchschnitt aller User.

Generell wird die Klickrate umso besser, je mehr Gruppen man bildet. In anderen Worten: je kleiner die Gruppen sind – also ein Präzisionsgewinn auf Kosten der Reichweite.

Spannend ist auch, dass Gruppen auf Basis der Logdaten des letzten Tages immer deutlich besser abschneiden als auf Basis der aller sieben Tage. Hier zeigt sich möglicherweise eine Besonderheit im Suchmaschinenmarketing, wo es oft um situative, kurzfristige Informationsbedürfnisse geht – und die sich somit nicht auf bspw. Branding-Kampagnen übertragen lassen.

Und: Gruppen auf Basis von Suchbegriffen (Queries) funktionieren bezüglich der Klickrate besser als auf Basis der angeklickten Suchergebnisse. Das dürfte hier auch intuitiv plausibel sein, denn die Suchbegriffe hat ja der User von sich aus bewusst eingegeben, während er beim Klick auf ein Ergebnis noch nicht genau wissen kann, was ihn nach dem Klick erwartet. Also sollten Suchbegriffe auch mehr über einen User aussagen als seine Klicks. Aber: Aus der Datenschutzperspektive bedeutet das auch umgekehrt, dass Suchbegriffe relativ leicht personenbeziehbar sind. Man denke an den berühmten Fall der „gläsernen Mrs. Arnold“:

„Sag mir, wonach du suchst, und ich sage dir, wer du bist: Ein Reporter der „New York Times“ identifizierte eine Surferin allein anhand der Begriffe, die sie in den vergangenen Monaten in eine Internet-Suchmaschine eingegeben hatte. Die Kundin des Providers AOL mit der Benutzernummer 4417749 interessierte sich beispielsweise für „60-jährige Single-Männer“ und litt unter „tauben Fingern“ und einem „Hund, der überall hinpinkelt“. Sie suchte einen „Gärtner in Lilburn, Georgia“ und „zum Verkauf stehende Häuser im Stadtteil Shadow Lake“. Später gab sie den Namen ihres Sohnes in die AOL-Suchmaschine ein: Er heißt Arnold mit Nachnamen. In Shadow Lake leben elf Arnolds. Nur wenige Anrufe führten den Reporter zur 62-jährigen Thelma Arnold.“

Aber zurück zu den akademischen BT-Forschungsergebnissen aus China: Wenn man also User gruppiert nach ihren Suchbegriffen des letzten Tages, dann kann man die Klickraten in den Ergebnisseiten einer Suchmaschine um – bestenfalls – bis zu 670 Prozent steigern. Die Forscher verheimlichen keinesfalls, dass dieser Wert „nur“ für die beste von 160 Gruppen erreicht wird. Entsprechend wird am Ende des Artikels der Tradeoff zwischen Präzision und Recall thematisiert. Diese beiden Begriffe sind zentral für alle statistischen Vorhersagemodelle (und gehören natürlich auch bei nugg.ad zum täglich Brot, vgl. bspw. einen Blogbeitrag vom mir zur OMD 2008).

-          Die Präzision gibt an, wie viele der vorhergesagten (hier:) Klicker auch tatsächlich klicken.

-          Der Recall gibt an, wie viele der tatsächlichen Klicker auch als Klicker vorhergesagt werden (und gibt somit eine Form der Reichweite an).

Generell gilt die Faustregel, dass die Präzision umso höher ist, je kleiner/spitzer die vorhergesagte Gruppe ist, desto geringer also der Recall ist. Das gilt auch hier:

Hier wieder die Lesehilfe: Wenn man nur die eine beste aller 160 Gruppen ansteuert, dann deckt man damit etwa 15 Prozent (=Recall, grüner Punkt ganz links) aller Klicker ab. Und: Von den Usern in dieser einen besten Gruppe klicken dann tatsächlich etwa 30 Prozent (=Precision, schwarzer Punkt ganz links (damit kann man jetzt auch in etwa die durchschnittliche Klickrate über alle User hinweg herleiten: 30 Prozent sollen ja 670 Prozent mehr sein als der Durchschnitt, also liegt der Durchschnitt bei etwa 3,9 Prozent)).

Wenn man die 20 besten aller 160 Gruppen nimmt, dann deckt man damit 80 Prozent aller Klicker ab (grüner Punkt ganz rechts), aber die Klickrate sinkt von 30 auf etwas über 10 Prozent (schwarzer Punkt ganz rechts).

Ich habe mich sehr gefreut, diese akademisch fundierte Case Study zu Behavioral Targeting zu lesen: Auch in China sucht man also den idealen Tradeoff zwischen Präzision und Reichweite. Hoffentlich gibt es auch bald akademisch fundierte Beiträge zu Behavioral Targeting außerhalb von Suchmaschinen!

Allen weitergehend Interessierten sei natürlich die Lektüre des vollständigen Artikels empfohlen – meine Zusammenfassung hier kann und soll nicht vollständig sein…

Related posts:

1. Wer macht dem Klickraten-Wahn ein Ende?

Eine der heiß diskutierten Fragen in der Online-Branche derzeit ist die, ob es Agenturen gestattet sein sollte selbst Targeting zu machen..

Die Diskussion ist deswegen so heiß gelaufen, weil es um viel geht und deutlich mehr als nur methodische Aspekte diskutiert werden müssen.

Die einen befürchten, Agenturen wollten einen wesentlich größeren Teil der Wertschöpfung an sich reißen, indem sie Reichweite billig und in großer Menge einkaufen, mit Targeting veredeln und dem Werbekunden dann als spezifische und hochwertige Reichweite verkaufen (sog. Arbitrage-Modelle).

Die anderen sehen vor allem Datenschutzaspekte berührt, da Agenturen plötzlich Zugriff auf Userdaten verlangen, die bisher die Vermarkter und Websites für sich beansprucht haben. Aus der Sicht des Datenschutzes geht es vor allem darum die Datenverarbeitung für den User transparent und kontrollierbar zu halten – da ist Agentur-Targeting nicht gerade ein Schritt in die richtige Richtung.

Ein dritter Aspekt bei der ganzen Sache wird nicht so heftig diskutiert – ich meine aber völlig zu unrecht. Nämlich die Frage, ob Agentur-Targeting überhaupt vernünftig funktionieren kann? Und wenn ja, unter welchen Voraussetzungen?

Ich will mich im Folgenden auf diesen dritten, den methodischen Aspekt konzentrieren.

Doch zunächst mal kurz zwei Beispiele um zu illustrieren worum es überhaupt geht:

Beispiel 1: Kampagne für einen Kleinwagen. Der Hersteller eines Kleinwagens möchte diesen möglichst effizient bewerben und hat diverse Überlegungen bezüglich der „richtigen“ Zielgruppe angestellt. Verschiedene Testschaltungen zeigen überraschend, dass die Kampagne nicht substantiell  besser funktioniert wenn sie nur Leuten angezeigt wird die zuvor auf Auto-Seiten waren. Der gewünschte Effekt tritt erst ein mit einem Targeting auf Frauen mit höherem Einkommen. Der Effekt lässt sich eigentlich recht plausibel erklären, denn Besucher von Auto-Seiten sind schlicht nicht an Kleinwagen interessiert sondern an grossen und schnellen Autos. Die Zielgruppe liess sich deutlich effizienter soziodemographisch beschreiben! (beruht auf einem realen case)

Beispiel 2: Ein Fastfood-Hersteller möchte eine neue Low-Fat Produktgruppe bewerben. Hier stellt sich natürlich noch viel deutlicher die Frage woher die passenden Targeting-Einstellungen kommen sollen? Es gibt ja keine (oder nur sehr wenig besuchte) low-fat Websites. Einfache Soziodemographie hilft hier aber auch nicht weiter. Hier muss im Prinzip mit einer Mischung aus hochgerechneten Interessen und Psychographie gearbeitet werden um die Gruppe der Low-Fat Interessierten die offen sind für Fast-Food zu identifizieren. Einfaches Targeting führt hier ebensowenig zum Ziel wie Re-Targeting.

Also: was kann Agentur-Targeting und was nicht?

Zunächst mal muss ein bisschen genauer definiert werden, was unter Targeting zu verstehen ist. Es sollte nämlich zwischen zwei grundsätzlichen Spielarten des Targetings unterschieden werden. Einfaches Targeting beruht nur auf Mess- und Trackingdaten. User werden bei einem bestimmten Verhalten beobachtet und später mit dazu passender Werbung konfrontiert. Das einfache Behavioral Targeting und vor allem das sog. Re-Targeting fallen in diese Kategorie (im obigen Beispiel wäre das Targeting auf Auto-Interessierte als einfaches Behavioral Targeting zu verstehen). Beim Re-Targeting werden z.B. Shop-Abbrecher später nochmal mit gezielten Werbebotschaften angesprochen. Oder Besucher einer Urlaubs-Website erhalten einige Tage später nochmal Sonderangebote eingeblendet, die auf Ihre vorherige Suchabfrage auf dieser Seite abgestimmt sind.

Diese Formen des Targetings gibt es schon lange – man weiß aber heute, dass sie in ihrer Brauchbarkeit limitiert sind. Dies liegt zum einen daran, dass das Internet ein sehr fragmentiertes Medium ist und User an tausenden verschiedenen Orten surfen. Dementsprechend sind die Wiedererkennungsraten im Re-Targeting sehr gering. Aber es zeigt sich auch darin, dass sich häufig viel weniger User z.B. als auto-interessiert über Ihr Klickverhalten zeigen als man es erwarten würde – sie surfen einfach auf anderen Webseiten zu dem Thema. Zum anderen sind diese Ansätze sehr limitiert wenn es darum geht Werbung für Produktgruppen zu machen für die es kaum Surfverhalten gibt, z.B. die große Gruppe der Fast-Moving-Consumer Goods (FMCG).

Deshalb wurden in den letzten Jahren neue Targeting-Verfahren entwickelt die mit statistischen Algorithmen und Verfahren aus dem Machine Learning arbeiten um die Targeting-Profile relevanter und aussagekräftiger zu machen (sog. Predictive Behavioral Targeting).

Diese Verfahren beruhen meist darauf die Messdaten um weitere Datenquellen zu anzureichern – z.B. Online-Befragungen. Die Ergebnisse werden dann mit den speziellen Algorithmen hochgerechnet (üblicherweise in realtime).

Diese neueren Verfahren gelten als zukunftsträchtig und verdrängen heute schon einfachere Targeting-Verfahren – bis auf Spezialfälle wo z.B. mit den Nachteilen des Re-Targetings bewusst gelebt werden soll.

Und da sind wir dann auch schon beim Problem, wenn es um Agentur-Targeting geht.

Denn jede Art der Hochrechnung erfordert einen ziemlich anspruchsvollen Zugang zu den Daten – die Hochrechnung kann nämlich nur funktionieren, wenn die Struktur der Nutzerschaft gut bekannt ist und vor allem möglichst störungsfreie Zufalls-Stichproben gezogen werden können. Da häufig von wenigen tausend Fällen auf viele Millionen User hochgerechnet werden muss und somit ein Stichprobenfall für tausende echte Fälle steht, sind Störungen in der Datenerhebungen sehr kritisch zu sehen und können schnell zu fehlerhaften Daten führen. Außerdem müssen die Daten und letztlich die Userschaft sehr gut bekannt sein um das System kalibrieren zu können.

Was hat das denn in Gottes Namen mit Agentur-Targeting zu tun wird der geneigte Leser denken?

Recht viel. Denn anders als Vermarkter und Publisher haben Agenturen in aller Regel nur einen sehr indirekten Zugriff auf das Inventar auf dem Ihre Kampagnen und damit auch Ihr Targeting-System laufen. Die Ad-Server der Vermarkter entscheiden nämlich von Fall zu Fall nach zig Kriterien, ob Agentur A oder Agentur B oder eben eine andere Kampagne den Zuschlag erhält und somit ausgeliefert wird.

Der Vermarkter-Ad-Server ist also das führende System und das Agentur-System ist immer nur von diesem abhängig zu sehen.

Das ist für die normale Kampagnen-Auslieferung soweit kein Problem – es wird aber zu einem sehr gravierenden Problem, wenn es um die Frage des Targeting-Systems geht.

Denn es ist mit derartig aufgestellten Agentur-Infrastrukturen schlicht nicht möglich zu einer auch nur halbwegs kontrollierten Ziehung zu kommen, die zu einer repräsentativen Stichprobe führen könnte. Dies wird übrigens dadurch noch verschlimmert, dass die Agentur Ihr System ja über mehrere Vermarkter hinweg betreiben wird – bei den jeweiligen Vermarktern aber häufig völlig andere oder zumindest anders konfigurierte Ad-Server im Einsatz sind.

Hinzu kommt, dass Agenturen auch inhaltlich meist nur einen bestenfalls indirekten Zugriff auf den Content haben auf dem die Werbung (und Ihre Zähl-Pixel) ausgeliefert werden. Da Targeting-Profile aber aus dem Content gespeist werden und vor allem Hochrechnungen und statistische Verfahren maßgeblich aus aggregierten Content-Daten entstehen ist dieser indirekte Zugriff eine schwerwiegende Limitierung für die Leistungsfähigkeit und Genauigkeit des Verfahrens.

Man kann dieses Problem übrigens anhand eines unter Spezialisten gut bekannten Phänomens dingfest machen: Im Campaign-Management und Trafficking braucht man üblicherweise valide Schätzungen und Hochrechnungen der zu erwartenden Reichweite bei einer bestimmten Parametrisierung der Kampagne. Dieser Inventar-Forecast gelingt mit den richtigen Ad-Servern oder Spezialtools auf Vermarkterseite üblicherweise inzwischen ganz gut – auch für Targeting-Zielgruppen. Für ein Agentur-System wäre ein entsprechender Forecast jedoch kaum möglich, da auch dieser einen kontrollierten und unbeeinflussbaren Zugriff auf das Gesamtinventar (und eine stabile Auslieferung) erfordert.

Wenn also Agenturen mit Ihren Targeting-Systemen modernes Predictive-Targeting einsetzen wollten, würden sie nie auf einen grünen Zweig kommen – ganz abgesehen davon, dass üblicherweise eh die Agentur kaum die Möglichkeit hat eigene Befragungen durchzuführen.

Was also kann Agentur-Targeting, was kann es nicht?

Agentur-Targeting kann sicherlich gut einfache Formen des Targetings wie z.B. Re-Targeting umsetzen. Hier profitiert das Agentur-System von der einfach zu erreichenden grossen und vermarkterübergreifenden Reichweite. Intelligentere Re-Targeting Varianten die mit statistischen Profilen etc. arbeiten, dürften jedoch schwierig umzusetzen sein (bzw. schlicht nicht gut funktionieren).

Andere Dinge, die auf reinen Messdaten basieren, wären z.B. globales Frequency-Capping. Auch dies kann ein übergreifendes Agentur-System gut lösen. Beim moderneren Frequency-Boosting, das eingesetzt wird um die Kontaktdosis auf ein gewünschtes Maß zu heben jedoch versagt die Agentur-Mechanik wiederum aufgrund des Datenproblems.

Was definitiv nicht oder nur in ungenügender Qualität funktionieren wird, sind alle moderneren Formen des Targetings, insbs. Predictive Targeting. Dies wird sich erst dann ändern, wenn Agenturen sich einen exklusiven und netzwerkübergreifend kontrollierbaren Zugriff auf das Inventar der Vermarkter und Publisher verschaffen – also das technisch führende System werden.

Anders gesagt: beide oben beschriebenen Beispiele für Targeting-Anforderungen liessen sich mit einem Agentur-Targeting-System nicht oder nur schlecht bedienen – um mehr Mc-Donalds Budgets online zu sehen wäre es aber wichtig, den Kunden mit einem bestmöglichen Targeting zu überzeugen.

Hinzu kommt noch die Spezialbaustelle der Kreation und der Werbeformate. Gutes Targeting geht häufig einher mit smarter und ggf. sogar intelligenter Kreation die auf unterschiedliche Zielgruppensegmente anders reagiert. Auch hier haben die „Inhaber“ des Inventars, also Vermarkter und Publisher die deutlich besseren Karten weil sie ggf. auch an Standards vorbei neue und innovative Werbeformen einsetzen können um das Targetingziel zu stützen. Agentur-Systeme hingegen können aufgrund Ihrer indirekten Einbindung in verschiedene Ad-Server nur auf die gängigsten Standards setzen und sind damit bzgl. intelligenter Kreation immer limitiert.

Spannend wird die Sache übrigens, wenn man sich mal überlegt, wie stark ein vermarktergetriebenes übergreifendes Targeting-System wäre, das den oben dargelegten Sachverhalt zu seinen Gunsten ausnutzt und zugleich alle sinnvollen netzwerkübergreifenden Features implementiert – aber das ist ein Thema für einen anderen Artikel…

Als Fazit bleibt festzuhalten, dass Agentur-Targeting-Systeme aus sehr grundsätzlichen Problemen heraus immer nur limtiert sein werden und über einfaches Targeting nicht hinauskommen werden. Was ja nicht schlecht sein muss – für klug gebaute Re-Targeting Kampagnen gibt es ausreichend Nachfrage.

Aber wenn es darum geht Targeting in optimaler Form für unsere Branche weiterzuentwickeln und Online zu einem immer professionelleren und hochwertigeren Medium zu entwickeln, bringt Agentur-Targeting mehr Risiken als Chancen mit sich. Da es notorisch moderne Targeting-Varianten ausschließt –  von den Agenturen aber den eigenen Werbekunden bevorzugt angeboten werden wird, besteht die Gefahr, dass die Werbekunden enttäuscht sind und Ihre Budgets weiterhin nur in therapeutischen Dosen online ausgeben.

Optimales Targeting wird der Advertiser also in Zukunft dann erhalten, wenn Agentur- und Vermarkter-Targeting Hand-in-Hand arbeiten. Intelligente Zielgruppenqualifizierung inkl. Kontaktklassenoptimierung sollte das Vermarkter-System machen – ergänzt um Auslieferungs-Steuerungen etc., die auch gut von einem Agentur-System erledigt werden können.

In einem Folge-Artikel werden wir darlegen wie ein übergreifendes, aber vermarktergetriebenes Targeting-System eigentlich die beste Lösung darstellen würde – übrigens auch für Agenturen!

No related posts.