Kunden, die dieses Buch kauften …

Online-Shops, Streaming-Anbieter und Vermittlungsplattformen lieben sie: Empfehlungsalgorithmen, die Kunden zuverlässig auf der Webseite halten, sie zu zusätzlichen Käufen oder Klicks animieren und dabei auch noch Nutzererlebnis und Zufriedenheit steigern. Bei der Entwicklung solcher Empfehlungssysteme gibt es allerdings eine Reihe prinzipieller Pro­bleme. Das erste liegt in der Topologie einer Webseite begründet. Viele Entwickler nutzen Informationen aus dem Klick-Stream der Kunden, um Empfehlungsmodule zu trainieren. Wenn ein Nutzer zunächst Produkt A und dann Produkt B anklickt, wird eine positive Verknüpfung zwischen A und B hergestellt. Die Klickreihenfolge hängt jedoch stark von der Positionierung der Elemente auf einer Webseite ab. Werden Produkte nebeneinander angezeigt, steigt die Wahrscheinlichkeit, dass beide angeklickt werden. Empfehlungsalgorithmen, die solche topologischen Faktoren nicht berücksichtigen, verwechseln Relevanz mit Nachbarschaft und verknüpfen unter Umständen die falschen Produkte. Hung-Hsuan Chen und andere konnten nachweisen, dass Algorithmen, bei deren Training nicht auf die Positionierung der Waren geachtet wird, eher das Layout einer Webseite repräsentieren als die tatsächliche Relevanz von Produkten für den Nutzer («Common pitfalls in training and evaluating recommender systems»).

Ein ähnliches Problem tritt auf, wenn ein bereits vorhandenes Empfehlungssystem durch ein neues ersetzt werden soll, das gerade trainiert wird. Die Wahrscheinlichkeit ist sehr hoch, dass der neue Empfehlungsalgorithmus bei Tests schlechter performt als der alte, auch wenn seine Empfehlungen tatsächlich besser sind. Auch dieses Problem hängt mit der Verfügbarkeit zusammen. Legt ein Kunde auf der Webseite ein Produkt in den Warenkorb, werden ihm die Empfehlungen des bereits implementierten alten Systems angezeigt. Die Wahrscheinlichkeit ist daher gross, dass er eine dieser Empfehlungen wählt. Die Vorschläge des neuen Systems sieht der Nutzer aber nicht, da dieses ja noch nicht implementiert ist. Für eine belastbare Aussage über die Vorhersage­güte müssen daher beide Algorithmen in einem A/B-Test gegeneinander antreten.

Auch die Click Through Rate (CTR) als gern genommenes Mass für die Güte eines Empfehlungsalgorithmus kann zu falschen Ergebnissen führen. Sie misst das Verhältnis von tatsächlichen Klicks auf ein Produkt zu der Häufigkeit, mit der es in den Empfehlungen auftaucht. Chen und die Mit­autoren konnten zeigen, dass die CTR nur sehr schwach mit dem Umsatz korreliert, der durch die Empfehlung erzeugt wird. Mit anderen Worten: Empfehlungsalgorithmen, die auf eine möglichst hohe CTR hin optimiert sind, gewährleisten nicht unbedingt, dass Kunden tatsächlich auch mehr kaufen.

Ein von Chen und seinen Kollegen durchgeführter A/B-Test stellt den Sinn von Empfehlungssystemen sogar prinzipiell infrage. Die Autoren lenkten 5 Prozent der Nutzer einer asiatischen E-Commerce-Seite auf einen Channel mit und 5 Prozent auf denselben Channel ohne Empfehlungssystem. Tatsächlich kauften die Nutzer auf dem Channel mit Empfehlungssystem vermehrt die empfohlenen Produkte. Verglich man jedoch den Umsatz auf beiden Testseiten, so ergab sich ein nahezu deckungsgleiches Bild. Die Kunden hatten auch ohne Empfehlung in etwa gleich viel gekauft. «Empfehlungssysteme können die Nutzererfahrung des Kunden verbessern, sie sorgen aber nicht zwangsläufig für zusätzliche Einnahmen», lautet das Fazit der Autoren.