Besonders relevant für wissenschaftliche Anwendungen

Das Konzept von NoPFS ist indessen nicht völlig neu. Andere Deep-​Learning-Frameworks nutzen eine vereinfachte Version desselben Prinzips: Sie blicken einen oder mehrere Schritte voraus und beginnen vorzeitig mit Laden der nächsten Datenelemente, wodurch sie etwas effizienter werden. Allerdings hat bisher kein Tool diese Möglichkeit zur Voraussage so konsequent ausgereizt wie NoPFS – über den gesamte Trainingslauf hinweg.

«Die kürzere Trainingszeit mit NoPFS wird besonders für Anwendungen und Modelle in der Forschung und damit für das CSCS und seine Nutzer relevant sein», sagt Hoefler. In der Forschung wird das maschinelle Lernen meist auf zwei Arten eingesetzt: Zum einen können neuronale Netze dazu dienen, Ergebnisse von Computersimulationen zu verfeinern und analysieren. Zum anderen lassen sich einzelne Teile eines Simulationscodes mit Deep-​Learning-Anwendungen ersetzen, um Simulationen schneller und präziser zu machen.

Hoefler, Dryden sowie ihre Kolleginnen und Kollegen haben kürzlich selbst eine solche Arbeit veröffentlicht: Sie haben die statistische Nachbearbeitung im Wettervorhersagemodell des Europäischen Zentrums für mittelfristige Wettervorhersage ECMWF verbessert, indem sie den klassischen Code durch eine Deep-​Learning-Applikation ersetzt haben. Das erhöhte die Vorhersagewahrscheinlichkeit des Modells um über 14 Prozent.

Allerdings: «Um ein solches Ergebnis zu erreichen, müssen meist verschiedene Modelle und Varianten ausgetestet und trainiert werden, um dasjenige zu finden, das am besten funktioniert», sagt Hoefler. «Das bedeutet wochenlange Rechenzeit. Solche Forschungsanwendungen werden darum am meisten von NoPFS und dem schnelleren Training profitieren.» Künftig will das Team die Art verfeinern, wie NoPFS Datenelemente vorzeitig lädt und zwischenspeichert, um so das Training noch mehr zu beschleunigen.

Dieser Text von Santina Russo erschien zuerst auf ETH-News sowie davor auf Englisch auf der Website des CSCS.