Kasten: Wie intelligent ist KI?

Wie intelligent sind KI-Algorithmen wirklich? Mit dieser Frage beschäftigten sich Forscher der TU Berlin, des Fraunhofer-Heinrich-Hertz-Instituts (HHI) und der Singa­pore University of Technology and Design. Wissenschaftlern und Nutzern von KI-Lösungen bleibt nämlich meist unklar, wie ein KI-System zu einer Entscheidung kommt. Und damit ist auch nicht transparent, ob eine solche Lösung tatsächlich «intelligente» Entscheidungen trifft oder nur statistisch erfolgreiche Methoden verwendet. Um das herauszufinden, haben die Forscher die Verfahren «Layerwise Relevance Propagation» (LRP) und «Spectral Relevance Analysis» (SpRAy) entwickelt. Damit können auch in grossen Datensätzen unerwünschte Entscheidungen identifiziert werden.

Die Untersuchung von KI-Lösungen mit Hilfe von SpRAy brachten ein sehr interessantes Ergebnis: «Selbst moderne KI-Systeme haben nicht immer einen aus menschlicher Perspektive sinnvollen Lösungsweg gefunden, sondern nutzten bisweilen Clever-Hans-Strategien», berichtet Wojciech Samek, Gruppenleiter am Fraunhofer HHI.

Der «kluge Hans» war ein Pferd, das in den Jahren vor dem Ersten Weltkrieg dafür berühmt war, komplexe Rechenaufgaben lösen zu können. Doch stellte sich letztlich heraus, dass das Pferd an der Mimik und Körpersprache der Zuschauer erkannte, ob es das richtige Ergebnis per Klopfen mit dem Huf oder Schütteln des Kopfes erraten hatte.

Auch bei einigen KI-Systemen stiessen die Forscher auf naive Lösungsansätze. Ein preisgekröntes Bildanalysesystem stufte beispielsweise Bilder anhand des Kontexts ein. So wurden Aufnahmen als «Schiff» klassifiziert, wenn viel Wasser zu sehen war, oder als «Zug», wenn die Aufnahme Schienen zeigte. Eine korrekte Identifizierung des eigentlichen Objekts unterblieb, also etwa des Zugs. Laut TU Berlin und HHI ist denkbar, dass etwa die Hälfte der eingesetzten KI-Systeme nach dem Verfahren «Kluger Hans» arbeitet. Das sei problematisch, wenn solche Lösungen in sicherheitskritischen Bereichen oder der medizinischen Diagnostik eingesetzt würden.

Doch konnten die Forscher auch KI-Anwendungen ermitteln, die tatsächlich «schlau» vorgehen. Dazu zählten Systeme, die Spiele wie «Pinball» und «Breakout» beherrschen. Ihre Algorithmen verstanden nicht nur die Funktionsweise der Spiele, sondern fanden auch höchst originelle Wege, um möglichst viele Punkte zu erzielen.

Die Test-Software der TU Berlin und des Heinrich-Hertz-Instituts steht als Open Source allen interessierten Fachleuten zur Verfügung.