Die digitale Transformation hält längst nicht nur Unternehmen, sondern auch die Gesellschaft fest im Griff. Viele Dienste und Services, die wir heute nutzen, werden erst durch fortschrittliche Technologien ermöglicht. Algorithmen erkennen automatisch, wenn unsere Kreditkarte irgendwo auf der Welt missbräuchlich eingesetzt wird. Das iPhone entsperrt sich von selbst, wenn wir in die kleine Linse oberhalb des Displays blicken. Bei der Partnersuche schlagen uns verschiedene Platt­formen passende Lebenspartnerinnen oder Lebenspartner automatisch vor. Doch was das Leben vordergründig bequemer und einfacher macht, birgt auch Schattenseiten. Längst nicht alle Algorithmen sind nur zum Spass oder Amüsement gedacht. Bei manchen stellen Datenschützer und Menschenrechtler den Einsatz sogar infrage.

IBM stellte vor rund zwei Jahren beispielsweise einen Case mit der Software i2 EIA (Enterprise Insight Analysis) vor. Bei dem Fallbeispiel demonstrierte der Hersteller, wie das System Flüchtlinge von Terroristen unterscheiden kann. Die Software – sie ist dazu konzipiert, riesige Berge unstruk­turierter Daten zu durchkämmen – sollte die Angaben von Flüchtlingen, die sie bei der Einreise machen, mit ihren Papieren und öffentlichen Quellen abgleichen. Mit öffentlichen Daten sind unter anderem Informationen aus dem Dark Web oder von Schwarzmärkten gemeint, wo gefälschte Papiere verkauft werden. Auf Basis dieser Analyse ermittelt die Software für jede Person einen Score. Dieser soll schliesslich Grenzbeamten als Indiz für die Wahrscheinlichkeit dienen, ob jemand wirklich der ist, für den er sich ausgibt.

Problematisch ist an solchen Analyseverfahren, dass die Trefferquote dieser Systeme keine 100 Prozent beträgt. Somit landen zwangsläufig zahlreiche Unbescholtene im Kreis der Verdächtigen. Das erlebten auch jene Zuschauer, die sich im letzten Jahr das Finale der UEFA Champions League zwischen Juventus Turin und Real Madrid live im Millennium Stadium in Cardiff anschauten. Die Polizei von Südwales testete an diesem Grossanlass erstmals eine intelligente Überwachungs-Software. Diese glich die Gesichter der Zuschauer automatisch mit Datenbanken von Interpol, der UEFA und anderen Stellen ab, in der etwa Verbrecher und gewaltbereite Fussballreisende gelistet sind.

Wie die Ergebnisse des Tests zeigten, lag die Software bei der Erkennung in mehr als 90 Prozent der Fälle falsch. Insgesamt erfasste die Software rund 170 000 Besucher in der Stadt und beim Stadion, davon ordnete sie 2470 Personen einem Eintrag in einschlägigen Datenbanken zu. In 2297 Fällen handelte es sich um falsche Treffer, sogenannte «False Posi­tives». Die Überwachungstechnologie kam letztlich auf eine Quote von 7 Prozent. Der walisischen Presse gegenüber rechtfertigte ein Polizeisprecher die vielen Fehlalarme mit der «schlechten Qualität» der Bilder, die in den Daten­banken hinterlegt waren. Ein weiterer Test während eines Konzerts von Liam Gallagher in Cardiff verlief hingegen besser – sechs Kriminelle wurden dabei korrekterweise erkannt. Kritik von Datenschützern und Aktivisten hagelte es für die Tests mit der Software trotzdem. «Die Gesichtserkennung in Echtzeit ist nicht nur eine Bedrohung für die bürgerlichen Freiheiten, sondern auch ein gefährlich ungenaues Polizeiwerkzeug», schrieb die britische Bürgerrechtsgruppe «Big Brother Watch» auf Twitter.

China ist mit der automatisierten Erkennung von Personen in grossen Menschenmengen offenbar schon etwas weiter. Laut Angaben der Polizei Chinas gelang es den Behörden im April, an einem Konzert einen Mann inmitten von rund 50 000 Zuschauern zu identifizieren. Gemäss chinesischen Medien war er aufgrund einer «wirtschaftlichen Straftat» in einer Datenbank gelistet. Auch hierbei kam eine Gesichtserkennungs-Software zum Einsatz, die den Mann auf den Bildern der Sicherheitskameras erspähte. Von Sicherheitskräften wurde der Verdächtige danach kurzerhand aus der Menschenmenge gepickt. In China ist aber aktuell nicht nur die Gesichtserkennung ein Thema, sondern auch das Social Scoring. Wie im vergangenen Jahr bekannt wurde, will Peking ein sogenanntes «Social Credit System» einführen. Hierfür ist ein verbindliches Punkte­system vorgesehen. Je nach sozialem Verhalten gibt es Gutschriften oder Abzüge. Welche persönlichen Daten für die Berechnung verwendet werden, ist nicht genau bekannt. Vermutet wird, dass unter anderem das Konsumverhalten, der soziale Status oder die Bonität einfliessen.

Automatisierte Scoring-Systeme sind in einigen Ländern Europas schon Standard. Wer in Deutschland etwa ein Auto leasen, Waren in Raten bezahlen, in Online-Shops auf Rechnung bestellen oder eine Wohnung mieten will, der wird in der Regel nach seinem SCHUFA-Score gefragt. Wer einen zu niedrigen Score hat, geht meist leer aus. Diese Bewertungen errechnet die SCHUFA – das Privatunternehmen heisst mit vollem Namen «Schutzgemeinschaft für all­gemeine Kreditsicherung». Sie verfügt über Daten zu insgesamt 67,5 Millionen natürlichen Personen und 5,3 Millio­nen Unternehmen. Kritisiert wird an der SCHUFA immer wieder die Intransparenz des Bewertungssystems. Deswegen formierte sich nun Widerstand.

Im Frühjahr riefen die beiden Organisationen Open Knowledge Foundation Deutschland und AlgorithmWatch das Projekt «OpenSCHUFA» ins Leben. Damit wollen die Initianten herausfinden, welche Methoden das Scoring-Unternehmen bei der Berechnung anwendet. Die Idee dabei ist, dass Unterstützer bei der SCHUFA eine kostenlose Selbstauskunft bestellen – auf diese Weise können Privatpersonen Einsicht in ihre bei der Auskunftei gespeicherten Daten verlangen. Eine Crowdfunding-Kampagne soll zudem das nötige Geld liefern, um die Entwicklung einer Open-Source-Software zu ermöglichen. Denn das Projekt hat schlussendlich zum Ziel, dass Unterstützer ihre Daten aus den Selbstauskünften spenden – geschehen soll dies mit ebendieser Software. Anhand der Daten wollen die Open Knowledge Foundation Deutschland und AlgorithmWatch die Funktionsweise des Bewertungssystems rekonstruieren. Die erste Phase des Crowdfundings konnten die Organisationen bereits erfolgreich abschlies­sen, zudem forderten mittlerweile über 20 000 Menschen eine Selbstauskunft bei der SCHUFA an.

Auch hierzulande gibt es Wirtschafts- und Kreditauskunfteien, die Daten zur Bestimmung der Kreditwürdigkeit von Schweizern sammeln und so deren Bonität beurteilen. In der Schweiz bieten die Unternehmen Intrum Justitia, Bisnode, Crif und Creditreform entsprechende Dienste an. Laut Recherchen des «Beobachters» setzen sie dabei alle – analog zur SCHUFA – auf algorithmengestützte Auswertungen. Welche Daten und statistischen Modelle bei der Berechnung der Bewertungen genau verwendet werden, halten die Unternehmen aber ebenfalls unter Verschluss.

Wie elementar für solche automatisierten Berechnungen die Wahl der verwendeten Daten ist, zeigte Simon Hegelich, Professor für Political Data Science an der Technischen Universität München, im Rahmen eines kurzen Input-Referats an der diesjährigen Re:publica in Berlin auf. Die Re:publica ist die europaweit grösste Messe zu den Themen Digitalisierung und Gesellschaft – sie fand vom 2. bis 4. Mai statt.

Die Problematik demonstrierte der Forscher anhand einer Simulation aus dem Bereich Human Resources. Hegelich nutzte dafür ein Lehrbeispiel von IBMs Machine Learning Service Watson – mit einem dazugehörigen Werbevideo, das der Forscher dem Publikum vorab zeigte. Darin ist zu sehen, wie die Software HR-Mitarbeitern zeigt, welche Gründe bei Mitarbeitenden die Wahrscheinlichkeit füreinen Jobwechsel erhöhen. Im Werbevideo kam IBM zum Schluss, dass die Überzeit der wichtigste Faktor dafür ist. Wie Hegelich aufzeigte, kam bei der beispielhaften Analyse eine Klasse von Algorithmen – sogenannte Entscheidungsbäume – zum Einsatz. Er baute diese exakt nach und führte die Simulation mit den identischen Daten erneut durch. Dabei testete er, was passiert, wenn der Algorithmus mit weniger Daten gefüttert wird. Prompt veränderte sich das Resultat.

Zum Befund IBMs sagte Hegelich: «Dieses Ergebnis ist nicht besonders robust, im Gegenteil. Es ist ziemlich zufällig. Man hätte das vermeiden können, wenn man einen anderen Algorithmus gewählt hätte.» Auch das testete er aus. Dabei kam er – anders als IBM – zum Schluss, dass gar nicht die Überzeit, sondern das monatliche Einkommen die wichtigste Variable ist. Problematisch am Verfahren IBMs ist laut Hegelich zudem, dass nicht nur eine kleinere Datenmenge, sondern auch Modifikationen in einzelnen Datenpunkten bereits grosse Veränderungen in den Ergebnissen hervorrufen können. Das heisst umgekehrt: Wer Algorithmen programmiert und Daten pflegt, trägt eine grosse Verantwortung.

Eine ähnliche Bilanz zieht die berühmte Whistleblowerin Chelsea Manning. Sie war an der Digitalkonferenz in Berlin ebenfalls zugegen und sprach mit zwei Journalistinnen über Verantwortungsbewusstsein, Moral und Ethik im Zusammenhang mit digitalen Technologien. Manning arbeitete als IT-Spezialistin für die US-Streitkräfte, als sie 2010 verhaftet wurde, da sie zahlreiche interne Videos und Dokumente kopiert und der Enthüllungsplattform WikiLeaks zugespielt hatte. Sie wurde schliesslich zu einer 35-jährigen Freiheitsstraffe verurteilt. Kurz vor seinem Abgang aus dem Weissen Haus begnadigte der ehemalige US-Präsident Barack Obama die mittlerweile 31-Jährige.

Manning plädierte dafür, ethische Fragen bereits bei der Entstehung von Software-Produkten anzupacken. Dann könnten die Probleme von Entwicklern nämlich noch am effektivsten gelöst werden. Deshalb nimmt sie besonders ihre Berufskolleginnen und Berufskollegen in die Pflicht. «Wir ignorieren die ethischen Verpflichtungen, die wir als Entwickler haben. Wir als Entwickler sind mitverantwortlich für die Software, die wir schreiben – und aus meiner Sicht auch, wie sie gebraucht oder missbraucht wird.» Von der Branche fordert Manning deshalb auch einen Kulturwandel. «Wir können der Gesellschaft nicht einfach Werkzeuge an die Hand geben, ihr es dann aber selbst überlassen herauszufinden, wie man damit umgeht.» Die Verantwortung von Software-Entwicklern gegenüber der Gesellschaft vergleicht sie mit der von Ärzten. Auch die Tech-Branche brauche deshalb – ähnlich wie sie in der Medizin vorhanden sind – ethische Standards, um basierend darauf Entscheidungen zu treffen und zu handeln, sagte Manning.

An der Re:publica warnte die Whistleblowerin ganz generell vor dem wachsenden Einfluss von Algorithmen und künstlicher Intelligenz auf die Gesellschaft. «Algorithmen sind nicht neutral. Sie enthalten alle Vorurteile, die im Datensatz vorhanden sind, den man ihnen liefert. Und es gibt nicht wirklich einen Weg, das zu verhindern, es sei denn, man beobachtet den Algorithmus aktiv und verschafft sich einen Blick über dessen ethische Auswirkungen auf die Gesellschaft», sagte die Whistleblowerin.

Was die Folgen davon sein können, wenn man sich in der Praxis auf die vermeintlich objektiven Resultate eines Algorithmus verlässt, untersucht die Professorin Katharina Simbeck. Für die deutsche Hans-Böckler-Stiftung forscht sie zur Diskriminierung durch künstliche Intelligenz. Im Anschluss an das Input-Referat von Simon Hegelich diskutierte sie mit ihm und dem Unternehmer Matthias Spielkamp im Rahmen einer Podiumsdiskussion über die Frage, inwiefern Algorithmen diskriminieren können – mit Fokus auf Datenauswertungen im Personalbereich. Simbeck doziert im Studiengang Wirtschaftsinformatik an der Hochschule für Technik und Wirtschaft Berlin, Spielkamp ist Gründer und Geschäftsleiter der Organisation «AlgorithmWatch», die hinter dem Projekt «OpenSCHUFA» steht.

Problematisch findet Simbeck, wenn Entscheide auf Basis von Modellen, wie jenes von Simon Hegelich, gefällt werden. Denn schliesslich möchten Personaler mit den Datenauswertungen ja etwas anstellen, schickte sie voraus. Wenn ein Algorithmus nun prognostiziert, dass jemand das Unternehmen verlassen wird, stellen sich Fragen, ob man ihm einen niedrigeren Bonus zahlt, weil er in einem Jahr sowieso weg ist, oder ob er ein spannenderes Projekt erhält und man so versucht, ihn zu halten. «Da wird es aus ethischer Sicht kritisch – insbesondere, wenn Mitarbeiter nicht die Gelegenheit erhalten, sich zu den Prognosen zu äus­sern.» Die grösste Gefahr sei deshalb, dass Algorithmen unkritisch eingesetzt würden. Von Personen, die sich in Unternehmen auf solche Modelle stützen, fordert sie deshalb ein ausreichendes Wissen über die Funktionsweise von Algorithmen oder wie Daten richtig interpretiert werden müssen. Denn Letztere sind laut Simbeck immer ein Abbild der Gesellschaft. Die Realität, die sie widerspiegeln, beeinflusse schliesslich auch die Auswertungen des Algorithmus, der sie verwendet. Wenn es im Unternehmen beispielsweise die Situation gab, dass Frauen Mitte 30 nach den ersten ein, zwei Kindern kündigten, dann wird der Algorithmus auch künftig Frauen in derselben Situation als potenzielle Kündigerinnen einstufen. «Dann werde ich vielleicht anfangen, diesen Frauen wieder den geringeren Bonus, die geringere Lohnerhöhung, aber dafür das Extraprojekt zu geben – was sicher dazu führen wird, dass der Algorithmus Recht behält und sie auch kündigen werden», sagt Simbeck.

Matthias Spielkamp kann Algorithmen aber auch etwas Positives abgewinnen – und zwar die Möglichkeit, menschliche Entscheidungen mit den Datenauswertungen zu vergleichen. «Es ist ja nicht prinzipiell im Interesse eines Unternehmens, mithilfe eines solchen Systems schlechte Prognosen zu erstellen – im Gegenteil», erklärt Spielkamp. Allerdings seien aufgrund menschlicher Entscheidungen auch schon Leute eingestellt und gefeuert worden oder hätten Boni erhalten. «So werden Prozesse, die schon lange durchgeführt werden, neu auf den Prüfstand gestellt. Und das finde ich sehr positiv.» Dies provoziere schliesslich einen Diskurs darüber, was auf Grundlage solcher Prognosen gemacht werden dürfe oder eben nicht.

Wie Unternehmen mit Datenauswertungen umgehen sollen, darüber haben sich Wissenschaftler der Schweize­rischen Akademie der Technischen Wissenschaften (SATW) bereits Gedanken gemacht. In einer Studie, die letztes Jahr publiziert wurde, befassten sich die Wissenschschaftler während eineinhalb Jahren mit Big Data an der Schnittstelle zwischen Unternehmen und ihren Kunden. Dabei untersuchten sie fünf aktuelle und künftig mögliche Big-Data-Anwendungen. Darunter fanden sich beispielsweise das Social-Scoring-Verfahren, das Massschneidern von Angebotskondi­tionen bei Fluggesellschaften und Online-Händlern oder das Verbessern des Risikomanagements von Versicherern. Ein verantwortungsvoller Umgang mit Daten solle im Interesse der Unternehmen liegen, resümieren die Forscher. Schliesslich seien es die Kunden, welche die Rohdaten lieferten und Big-Data-Anwendungen erst möglich wachen würden. Den Firmen raten sie deshalb, Kundenbedürfnisse zu berücksichtigen und proaktiv, transparent und verständlich über Datenerhebung und -nutzung zu kommunizieren. Ausserdem solle neben dem «Business Case» auch der sogenannte «Ethics Case» berücksichtigt werden.

Es bleibt zu hoffen, dass in Zukunft nicht mehr nur Forscher und Netzaktivisten über ethische Gesichtspunkte digitaler Technologien diskutieren. Sondern auch Entscheider in der IT, im Business und in der Politik.

Über ethische Gesichtspunkte digitaler Technologien hat sich Computerworld zusätzlich mit Markus Christen von der Universität Zürich unterhalten. Er ist der Meinung, dass Risiken manchmal überbewertet werden. Debatten rund um ethische Fragen brauche es aber dennoch.

Markus Christen: Dieses Gefühl habe ich nicht. Grundsätzlich tendieren wir oftmals dazu, gewisse Risiken zu überbewerten oder falsch anzuschauen. Besonders in den letzten Wochen und Monaten sprachen wir sicherlich mehr über Risiken als über den Nutzen. Die Frage ist, wo man sich umhört. In der Bevölkerung und in den Medien dominiert momentan schon eher der Risiko-Diskurs – Stichwort Facebook. Währenddem spricht man in der Wirtschaft eher vom Nutzen.

Christen: Völlig neu war es nicht, was dabei herausgekommen ist. Aber ja, der Fall löste eine viel grössere gesellschaftliche Diskus­sion aus. Das scheint schon ein Hinweis da­rauf zu sein, dass nun mehr Sensibilität für die Thematik herrscht.

Christen: Es geht grundsätzlich darum, dass man sich bereits bei der Entwicklung eines Software-Produkts Gedanken darüber macht, welche ethischen Werte durch die-ses Produkt berührt werden. Man sollte sich überlegen, wie man mögliche Risiken mit gewissen Features minimieren oder gar gewisse positiven Aspekte hervorheben könnte. Zum einen sollten Firmen dabei bedenken, dass auch das Geldverdienen von bestimmten ethischen Aspekten abhängt. Wenn beispielsweise bekannt wird, dass ein Produkt die Privatsphäre von Personen stark verletzt, dann wird es wohl auch weniger verkauft. Zum anderen liessen sich Werte wie die Fairness eines Produkts auch zur Vermarktung verwenden.

Christen: Ich denke, es ist realistisch. Mit­arbeiter wollen in der Regel keine unethischen Produkte entwickeln. Auch stehen Profit und Ethik nicht zwingend im Gegensatz zueinander. Gerade in einem Umfeld, wo das kritische Bewusstsein eher zunimmt, können Firmen mit Ethik punkten und – plakativ gesagt – Profit machen.

Christen: Das ist sicherlich ein möglicher Ansatz – gewisse Unternehmen haben intern ja bereits begonnen, das einzuführen. Ich glaube aber nicht, dass die Ideallösung ein Wachhund-Gremium ist. Ein besserer Weg wäre meines Erachtens, dass man bereits in der Entwicklungsphase der Produkte Mit­arbeiter dazu nimmt, die etwa eine Schulung gemacht oder generell eine höhere Sensibilität für ethische Fragen haben. Dennoch kann es gut sein, dass wir künftig auch im digitalen Bereich so etwas wie eine Ethikkommission haben – analog zur Nationalen Ethikkommission im Bereich der Humanmedizin –, die Standpunkte aufzeigt und einen Beitrag zum öffentlichen Diskurs leistet.

Christen: Ja, und man sollte sie systema­tischer einbauen.