Wer schon einmal in einem Cockpit sass, weiss: Ein Flugzeug steuern ist geistig anspruchsvoll. Denn beim Fliegen müssen Pilotinnen und Co-​Piloten eine enorme Menge an visuellen, akustischen und räumlichen Informationen verarbeiten. Fordernd ist, laufend die zahlreichen Instrumente im Cockpit zu überwachen. Bei einem Manöver gilt es, rasch die richtigen Anzeigen und das oft in einer bestimmten Reihenfolge zu beachten. 

Dieses «Scanning» der Flugsysteme verinnerlichen Pilotinnen bereits in der Ausbildung. Doch selbst für erfahrene Instruktoren ist es schwierig zu beurteilen, ob ein Flugschüler im entscheidenden Moment die richtigen Instrumente betrachtet. In einer Kooperation mit der Fluggesellschaft Swiss wendeten Forscher um ETH-​Professor Martin Raubal nun erstmals Eye-​Tracking-Technologien an, um nachzuvollziehen, wie Piloten die Automatik eines modernen Verkehrsflugzeugs überwachen. 

Eye Tracking ermöglicht es, die Augenbewegungen einer Person mittels kamerabasierter Blickmessgeräte exakt zu erfassen. «Da die Augenbewegungen eines Menschen Rückschlüsse über seine Denkprozesse erlauben, kam Swiss mit der Idee auf uns zu, Eye-​Tracking für die Pilotenausbildung nutzbar zu machen», sagt Martin Raubal, Professor für Geoinformations-​Engineering an der ETH Zürich.

Aus der Idee wurde eine mehrjährige Wirtschaftskooperation. Daran beteiligten sich neben der ETH Zürich auch die Nasa, Lufthansa Aviation Training sowie die University of Oregon. Das gemeinsame Ziel war, das Training im Flugsimulator zu verbessern und so die Sicherheit im Cockpit zu erhöhen. Raubals Team entwickelte eine Software namens «iAssyst», die Fluglehrer bei der Schulung angehender Piloten unterstützt. Darüber berichteten die Forschenden kürzlich in der Fachzeitschrift Ergonomics. 

«iAssyst» steht für «Instructor Assistant System». Das Programm verknüpft Video, Audio-​, und Simulator-​Aufnahmen und stellt gleichzeitig das Blickmuster der Piloten dar. Um Letztere nicht zu stören, wurde im Cockpit eines A320-​Flugsimulators eigens ein Eye-​Tracking-System aus fest installierten Kameras und Infrarot-​Sensoren installiert. «Das Aufsetzen des Systems und die Kalibrierung für jeden Flugschüler sind zwar aufwändiger als bei Eye-​Tracking-Brillen, aber wir erreichten damit bessere Resultate», erklärt David Rudi, der die Anwendung während seines Doktorats am Geogaze-​Lab der Professur für Geoinformations-​Engineering realisierte. 

Ihre Software haben die ETH-​Forschenden im engen Austausch mit Aviatik-​Experten der Projektpartner konzipiert und später mithilfe von sieben aktiven Swiss-​Instruktoren evaluiert. Während eines Trainingsflugs sitzt der Instruktor im hinteren Teil des Cockpits. Dort bedient er den Simulator, agiert als Fluglotse und beobachtet gleichzeitig den Piloten genau. «Das führt dazu, dass Instruktoren manchmal relevante Informationen verpassen oder falsch einschätzen, die für die Auswertung des Trainings mit dem Piloten bedeutend sind», sagt Rudi.

Die Rückmeldungen aus der Studie zeigten, dass die Instruktoren das Flugverhalten der Piloten mit iAssyst tatsächlich präziser analysieren konnten. «Das Werkzeug hilft uns, Schwächen im systematischen Scannen zu erkennen und Wahrnehmungslücken in bestimmten Flugphasen zu orten», bestätigt Benedikt Wagner. Der Swiss-​Pilot ist selber Instruktor und hat das Eye-​Tracking-Projekt seitens Swiss betreut. Mit der Software könnten Ausbilder die Ursachen für allfällige Pilotenfehler besser einschätzen und das Training gezielt anpassen. 

Es ist das erste Mal, dass ein Forschungsprojekt die blickbasierten Interaktionen von Piloten in einem Flugsimulator analysiert. Als Teil der Kooperation war es für Raubals Team wichtig, einen eigenständigen wissenschaftlichen Nutzen zu generieren, da für die ETH eine optimierte Pilotenausbildung per se als Ziel nicht reichte. «Deshalb haben wir den Fokus auf die Entwicklung der Software gelegt», resümiert Rudi.

Der Swiss wiederum ging es im Projekt primär um das Scanning im Cockpit. Das konnten sie dank dem Eye-​Tracking-System gemeinsam mit Aviatik-​Psychologen der Nasa und der University of Oregon separat untersuchen. Die Erkenntnisse mündeten in eine neue Richtlinie für die visuelle Überwachung der Flugautomatik. Lufthansa Aviation Training stellte dem Konsortium technisches Know-​how und die Infrastruktur im Simulator zur Verfügung. Schliesslich hat das Bundesamt für Zivilluftfahrt BAZL rund 40 Prozent der Projektkosten übernommen. 

Die naheliegende Anwendung von iAssyst sehen Raubal und Rudi im Evaluierungsgespräch nach einem Trainingsflug im Simulator. Langfristig könnte das Programm auch in echten Cockpits zum Einsatz kommen. Bis dahin ist es aber noch ein weiter Weg. 

Die Luftfahrt ist jedoch nicht das einzige Forschungsgebiet, in dem Eye Tracking dazu beitragen kann, die Interaktion zwischen Benutzer und technischen System zu verbessern. Laut Raubal und Rudi ist eine Anwendung ihrer Software beispielsweise auch in der Medizinausbildung denkbar, wo Ärzte mithilfe von Simulatoren chirurgische Eingriffe am künstlichen Körper trainieren.