ETH-Forscher bringen Computern das Kategorisieren bei

Wenn Computer selbstständig auf Satellitenbildern Gewässer und ihre Umrisse erkennen oder beim fernöstlichen Brettspiel Go einen der weltbesten professionellen Spieler schlagen, dann arbeiten im Hintergrund lernfähige Algorithmen. Programmierer haben diese zuvor während einer Trainingsphase mit bekannten Beispielen gefüttert: Bilder von Gewässern und von Land beziehungsweise bekannte Go-Spielverläufe, die in Turnieren zum Erfolg oder Misserfolg geführt haben. Ähnlich wie sich die Nervenzellen in unserem Gehirn während Lernprozessen neu vernetzen, sind auch die speziellen Algorithmen in der Lage, sich während der Lernphase anhand der ihnen präsentierten Beispiele anzupassen. Bis sie schliesslich selbständig auch auf unbekannten Fotos Gewässer von Land unterscheiden können sowie erfolgreiche von erfolglosen Spielverläufen. Solche sogenannte künstliche neuronale Netzwerke kamen beim maschinellen Lernen bisher dann zum Einsatz, wenn das Unterscheidungskriterium bekannt ist: Man weiss, was ein Gewässer ist und welches in vergangenen Go-Turnieren die erfolgreichen Spielverläufe waren.

Nun haben Wissenschaftler aus der Gruppe von Sebastian Huber, Professor für theoretische Festkörperphysik und Quantenoptik an der ETH Zürich, die Anwendungen solcher neuronaler Netzwerke erweitert: Sie entwickelten eine Methode, mit der sich beliebige Daten nicht nur kategorisieren lassen, sondern die auch erkennt, ob es in komplexen Datensätzen überhaupt Kategorien gibt. Solche Fragestellungen gibt es in der Wissenschaft zuhauf: Die Methode könnte für die Auswertung von Messungen an Teilchenbeschleunigern oder von astronomischen Beobachtungen interessant werden. Physiker können damit aus ihren oft unüberschaubaren Messdaten die vielversprechendsten Messungen herausfiltern. Pharmakologen könnten aus umfangreichen Moleküldatenbanken jene Moleküle aussieben, die mit einer gewissen Wahrscheinlichkeit eine bestimmte pharmazeutische Wirkung oder Nebenwirkung haben. Und Datenwissenschaftler könnten damit riesige ungeordnete Datenwulste ordnen und daraus verwertbare Informationen gewinnen (Data-Mining). Nächste Seite: Bewusst Verwirrung gestiftet

Die ETH-Forscher wandten ihre Methode unter anderem an einem intensiv erforschten Phänomen der theoretischen Physik an: einem sogenannten Viel-Teilchen-System von wechselwirkenden magnetischen Dipolen, das nie – auch langfristig nicht – in einen Gleichgewichtszustand fällt. Solche Systeme wurden jüngst beschrieben. Allerdings ist nicht im Detail bekannt, welche quantenphysikalischen Eigenschaften ein Viel-Teilchen-System davor bewahren, in einen Gleichgewichtszustand zu fallen. Insbesondere ist unklar: Wo genau liegt die Grenze zwischen Systemen, die in einen Gleichgewichtszustand fallen, und anderen, die das nicht tun? Um diese Grenze zu finden, entwickelten die Wissenschaftler das «So tun als ob»-Prinzip: Sie nahmen Daten von Quantensystemen zur Hand. Anhand eines Parameters zogen sie eine beliebige Grenze, mit der sie die Daten in zwei Gruppen einteilten. Dann trainierten sie ein künstliches neuronales Netzwerk, indem sie dem Netzwerk vortäuschten, die eine Gruppe falle in einen Gleichgewichtszustand, die andere nicht. Die Forscher taten also so, als ob sie diese Grenze kennen würden.

Insgesamt trainierten sie das Netzwerk unzählige Male, jeweils mit einer anders gewählten Grenze, und sie testeten nach jedem Training, wie gut das Netzwerk Daten zu sortieren vermag. Das Ergebnis: In vielen Fällen bekundete das Netzwerk Mühe, die Daten so einzuteilen, wie von den Wissenschaftlern vorgegeben, in einigen Fällen war die Einteilung in die zwei Gruppen jedoch sehr präzis. Die Forscher konnten zeigen, dass diese Sortierleistung vom Ort der gewählten Grenze abhängt. Evert van Nieuwenburg, Doktorand in der Gruppe von ETH-Professor Huber, erklärt das so: «Indem ich für das Training eine Grenze wähle, die stark neben der tatsächlichen Grenze liegt (die ich nicht kenne), leite ich das Netzwerk fehl. Ein auf diese Weise letztlich falsch trainiertes Netzwerk kann Daten nur schlecht einteilen.» Wählt man zufällig jedoch eine Grenze, die nahe der tatsächlichen liegt, erhält man einen leistungsstarken Algorithmus. Indem die Forschenden die Leistung des Algorithmus‘ bestimmten, konnten sie die Grenze eruieren zwischen Quantensystemen, die in ein Gleichgewicht fallen, und solchen, die das nie tun: Die Grenze liegt dort, wo die Sortierleitung des Netzwerks am grössten ist. Die Tauglichkeit ihrer neuen Methode bewiesen die Forscher ausserdem mit zwei weiteren Fragestellungen der theoretischen Physik: topologischen Phasenübergängen in eindimensionalen Festkörpern sowie dem Ising-Modell, das den Magnetismus im Innern von Festkörpern beschreibt. Nächste Seite: Kategorisierung ohne Vorwissen

Die neue Methode lässt sich vereinfacht auch mit einem Gedankenexperiment veranschaulichen, in dem wir rote, rötliche, bläuliche und blaue Kugeln in zwei Gruppen einteilen möchten. Wir nehmen an, dass wir keine Vorstellung davon haben, wie eine solche Einteilung sinnvollerweise aussehen könnte. Nimmt man nun ein neuronales Netzwerk und trainiert es, indem man ihm sagt, die Trennlinie sei irgendwo im roten Bereich, verwirrt man damit das Netzwerk. «Man versucht dem Netzwerk beizubringen, blaue und rötliche Kugeln seien dasselbe, und verlangt von ihm, rote von roten Kugeln zu unterscheiden, was es schlicht nicht zu leisten vermag», sagt ETH-Professor Huber. Setzt man die Grenze hingegen im violetten Farbbereich, lernt das Netzwerk einen tatsächlich existierenden Unterschied und sortiert die Kugeln in eine rote und blaue Gruppe. Dass die Trennlinie im violetten Bereich liegen sollte, muss man dabei nicht im vornherein wissen. Indem man die Sortierleistung bei verschiedenen gewählten Grenzen vergleicht, findet man diese Grenze auch ohne Vorwissen.