Angriff der Algorithmen
22.05.2018, 16:40 Uhr
Neue Normen für die digitale Welt
Nicht nur Menschen, auch Algorithmen können diskriminieren. Die Schuld dafür trägt der Mensch. Entwickler und Anwender müssen sich jetzt der Verantwortung stellen. Zeit für eine Wertedebatte.
(Quelle: Shutterstock/Liu Zishan)
Die digitale Transformation hält längst nicht nur Unternehmen, sondern auch die Gesellschaft fest im Griff. Viele Dienste und Services, die wir heute nutzen, werden erst durch fortschrittliche Technologien ermöglicht. Algorithmen erkennen automatisch, wenn unsere Kreditkarte irgendwo auf der Welt missbräuchlich eingesetzt wird. Das iPhone entsperrt sich von selbst, wenn wir in die kleine Linse oberhalb des Displays blicken. Bei der Partnersuche schlagen uns verschiedene Plattformen passende Lebenspartnerinnen oder Lebenspartner automatisch vor. Doch was das Leben vordergründig bequemer und einfacher macht, birgt auch Schattenseiten. Längst nicht alle Algorithmen sind nur zum Spass oder Amüsement gedacht. Bei manchen stellen Datenschützer und Menschenrechtler den Einsatz sogar infrage.
IBM stellte vor rund zwei Jahren beispielsweise einen Case mit der Software i2 EIA (Enterprise Insight Analysis) vor. Bei dem Fallbeispiel demonstrierte der Hersteller, wie das System Flüchtlinge von Terroristen unterscheiden kann. Die Software – sie ist dazu konzipiert, riesige Berge unstrukturierter Daten zu durchkämmen – sollte die Angaben von Flüchtlingen, die sie bei der Einreise machen, mit ihren Papieren und öffentlichen Quellen abgleichen. Mit öffentlichen Daten sind unter anderem Informationen aus dem Dark Web oder von Schwarzmärkten gemeint, wo gefälschte Papiere verkauft werden. Auf Basis dieser Analyse ermittelt die Software für jede Person einen Score. Dieser soll schliesslich Grenzbeamten als Indiz für die Wahrscheinlichkeit dienen, ob jemand wirklich der ist, für den er sich ausgibt.
Big Brother is watching you
Problematisch ist an solchen Analyseverfahren, dass die Trefferquote dieser Systeme keine 100 Prozent beträgt. Somit landen zwangsläufig zahlreiche Unbescholtene im Kreis der Verdächtigen. Das erlebten auch jene Zuschauer, die sich im letzten Jahr das Finale der UEFA Champions League zwischen Juventus Turin und Real Madrid live im Millennium Stadium in Cardiff anschauten. Die Polizei von Südwales testete an diesem Grossanlass erstmals eine intelligente Überwachungs-Software. Diese glich die Gesichter der Zuschauer automatisch mit Datenbanken von Interpol, der UEFA und anderen Stellen ab, in der etwa Verbrecher und gewaltbereite Fussballreisende gelistet sind.
Wie die Ergebnisse des Tests zeigten, lag die Software bei der Erkennung in mehr als 90 Prozent der Fälle falsch. Insgesamt erfasste die Software rund 170 000 Besucher in der Stadt und beim Stadion, davon ordnete sie 2470 Personen einem Eintrag in einschlägigen Datenbanken zu. In 2297 Fällen handelte es sich um falsche Treffer, sogenannte «False Positives». Die Überwachungstechnologie kam letztlich auf eine Quote von 7 Prozent. Der walisischen Presse gegenüber rechtfertigte ein Polizeisprecher die vielen Fehlalarme mit der «schlechten Qualität» der Bilder, die in den Datenbanken hinterlegt waren. Ein weiterer Test während eines Konzerts von Liam Gallagher in Cardiff verlief hingegen besser – sechs Kriminelle wurden dabei korrekterweise erkannt. Kritik von Datenschützern und Aktivisten hagelte es für die Tests mit der Software trotzdem. «Die Gesichtserkennung in Echtzeit ist nicht nur eine Bedrohung für die bürgerlichen Freiheiten, sondern auch ein gefährlich ungenaues Polizeiwerkzeug», schrieb die britische Bürgerrechtsgruppe «Big Brother Watch» auf Twitter.
China ist mit der automatisierten Erkennung von Personen in grossen Menschenmengen offenbar schon etwas weiter. Laut Angaben der Polizei Chinas gelang es den Behörden im April, an einem Konzert einen Mann inmitten von rund 50 000 Zuschauern zu identifizieren. Gemäss chinesischen Medien war er aufgrund einer «wirtschaftlichen Straftat» in einer Datenbank gelistet. Auch hierbei kam eine Gesichtserkennungs-Software zum Einsatz, die den Mann auf den Bildern der Sicherheitskameras erspähte. Von Sicherheitskräften wurde der Verdächtige danach kurzerhand aus der Menschenmenge gepickt. In China ist aber aktuell nicht nur die Gesichtserkennung ein Thema, sondern auch das Social Scoring. Wie im vergangenen Jahr bekannt wurde, will Peking ein sogenanntes «Social Credit System» einführen. Hierfür ist ein verbindliches Punktesystem vorgesehen. Je nach sozialem Verhalten gibt es Gutschriften oder Abzüge. Welche persönlichen Daten für die Berechnung verwendet werden, ist nicht genau bekannt. Vermutet wird, dass unter anderem das Konsumverhalten, der soziale Status oder die Bonität einfliessen.