Mal eben das Wohnzimmer virtuell neu einrichten, eine Partie Minigolf auf der virtuellen Anlage im Flur spielen oder die wertvolle Uhr schon vor dem Kauf als Hologramm am eigenen Handgelenk betrachten – die Vermischung virtueller Inhalte mit Bildern der physischen Umgebung macht es möglich.

Diese meist als Augmented oder Mixed Reality bezeichnete hybride Welt ist nach einer häufig zitierten Definition von Paul Milgram und Fumo Kishino ein Kontinuum, das von der Darstellung der rein physischen Umgebung auf der einen bis zum völligen Eintauchen in ein rein virtuelles Umfeld auf der anderen Seite reicht. In ihrem Artikel «A Taxonomy of Mixed Reality Visual Displays» unterscheiden Milgram und Kishino sechs Klassen von Schnittstellen für die Anzeige von Mixed-Reality-Inhalten – vom einfachen Display, auf dem digitale Inhalte mit dem Abbild der realen Umgebung vermischt werden, über verschiedene Typen von Brillen bis hin zu komplett computergenerierten Umgebungen, in die reale Bezüge per Video oder die holografische Repräsentation realer Objekte integriert werden.

Im Folgenden soll es im Wesentlichen um zwei Ausprägungen von Mixed Reality gehen, die meist als Assisted und Augmented Reality bezeichnet werden. «Bei Assisted Reality werden Zusatzinformationen, die einen Vorgang unterstützen und vereinfachen, am Rand des Sichtfelds transparent eingeblendet», erklärt Johanna Bellenberg, Director Marketing & Communications beim Software-Entwickler und Full-Service-Provider Picavi, der sich auf datengestützte Picking-Lösungen für Kommissionierungsprozesse spezialisiert hat.

Bekanntestes Beispiel für Assisted Reality sind die Head-up-Displays mancher Navigations- und Assistenzsysteme in Automobilen, die Informationen auf die Windschutzscheibe in das periphere Sichtfeld des Fahrers projizieren. Hierbei kommen keine ausgefeilten computergenerierten 3D-Grafiken zum Einsatz, sondern Zahlen und einfache Symbole, etwa Richtungspfeile. «Die eingeblendeten Daten beziehen sich nicht zwangsläufig auf ein bestimmtes ‹reales› Objekt, sondern dienen der kontextabhängigen Unterstützung im Prozess», sagt Bellenberg.

Augmented Reality geht einen Schritt weiter und blendet computergenerierte 3D-Welten statt dürrer Zahlen oder einfacher Symbole in die reale Umgebung ein. «Hier wird die echte Realität um virtuelle, räumlich positionierte Objekte in Echtzeit erweitert», erklärt Bellenberg, «es findet also eine Verschmelzung der beiden Realitäten statt, ohne dass man den Bezug zu den wirklichen Geschehnissen verliert.»

Während im Endkundenbereich Augmented-Reality-Apps und -Inhalte vor allem für Smartphones und Tablets angeboten werden, kommen im industriellen Umfeld überwiegend Head-Mounted Devices (HMDs) zum Einsatz. Sie werden häufig auch als Smartglasses oder Datenbrillen bezeichnet, obwohl einige Modelle gar keine Brillengläser integriert haben, sondern nur aus einer Befestigungseinrichtung und einem kleinen Anzeigegerät bestehen.

Bei dessen Ausführung lassen sich prinzipiell zwei Typen unterscheiden: «See through»-Modelle verwenden ein (teil-) durchsichtiges Display beziehungsweise einen Spiegel, während die «Look around»-Versionen – wie der Name schon andeutet – nicht-transparente Displays nutzen, die einen wenn auch kleinen Teil des Sichtfelds abdecken.

Im Bereich Assisted Reality werden hauptsächlich monokulare HMDs verwendet. Sie blenden die Informationen nur im Blickfeld eines Auges ein. Gerade bei diesem Brillentyp sei die Entwicklung sehr dynamisch, sagt Leonid Poliakov, Vice President Customer Success bei der Ubimax GmbH, einem Spezialisten für Industrielösungen in den Bereichen Wearable Computing und Assisted/Augmented Reality. «Die Hersteller haben erkannt, dass die Datenbrillen sich nicht im Endkundenbereich, sondern zunächst im professionellen Umfeld etablieren, und bringen dafür geeignete Produkte auf den Markt.» Aktuelle Modelle wie die Glass Enterprise Edition, die Vuzix M300 oder die Realware HMT-1 trügen den raueren Bedingungen in Industrieumgebungen Rechnung. «Diese HMDs sind unempfindlich gegen Staub oder Spritzwasser und können auch einmal herunterfallen, ohne Schaden zu nehmen.»

Bei Augmented Reality sind dagegen binokulare See-through-HMDs notwendig, die die dreidimensionale Computergrafik in das Sehfeld beider Augen einblenden können. Zusätzlich wird ein Tracking-System gebraucht, das die Position des Anwenders im Raum bestimmen kann, um eine realistische Überlagerung von physischer und virtueller Realität zu ermöglichen.

Vor allem Arbeitsabläufe, die ein hohes Mass an Orientierung und Bewegung im Raum sowie schnelle Reaktionen erfordern, profitieren laut Picavi-Managerin Bellenberg von Assisted Reality. «Mit Hilfe einer strikten visuellen Führung durch die Datenbrille wird der Werker entlastet, zusätzlich wird die Fehlerquote auf nahezu null gesenkt und gleichzeitig die Produktivität maximiert.» Ein typisches Einsatzszenario sind Logistikprozesse. So konnte etwa die Klosterfrau Healthcare Group durch den Einsatz der Picavi-Intralogistiklösung bei der Kommissionierung und internen Lagerverwaltung 30 Prozent der Handling-Zeit sparen und mit derselben Personalstärke ein deutlich grösseres Auftragsvolumen bewältigen.

Zu ähnlichen Werten kommen auch die Kunden des Picavi-Konkurrenten Ubimax. Versender DHL berichtet beispielsweise von 25 Prozent Zeitersparnis, einer um 15 Prozent gestiegenen Produktivität, einer geringeren Fehlerquote und einer höhere Mitarbeiterzufriedenheit durch den Einsatz von Datenbrillen. Darüber hinaus habe sich der zeitliche Aufwand für die Einarbeitung und das Training neuer Mitarbeiter halbiert, so das Logistikunternehmen.

Diese Vorteile sprechen sich langsam auch ausserhalb der Logistikbranche und der Automobilindustrie herum, die als Erste die Möglichkeiten von Assisted und Augmented Reality erkannt haben. «Der Fokus hat sich deutlich erweitert, es finden sich heute immer mehr Anwendungsmöglichkeiten im Gesundheitswesen, im Einzelhandel oder im Maschinenbau», sagt Leonid Poliakov, «und täglich kommen neue Use-Cases für Assisted und Augmented Reality hinzu.» Das grösste Hindernis auf dem Weg zum Massenmarkt sei die Generierung und Aufbereitung von Informationen für die AR-Nutzung: «Hier fehlt es teils an den notwendigen Ressourcen.» Ubimax hat daher mit dem Frontline Creator eine webbasierte Anwendung entwickelt, über die Kunden ohne IT-Kenntnisse Inhalte für Smartglasses zusammenstellen können. «Jeder kann sich sehr kostengünstig mit der Technologie auseinandersetzen.»

Einen ähnlichen Weg geht das französische Unternehmen Diota. Zu seinen Kunden gehören Luftfahrtunternehmen wie Dassault, Safran und Air France und Automobilhersteller wie VW, Daimler oder die PSA-Gruppe. Der Diota Player erlaubt es, Daten aus Planungs- und CAD-Systemen zu importieren, aufzubereiten und zu visualisieren. Mit Hilfe des Moduls Diota Connect lassen sich Informationen aus einem PLM, aus Produktionsleitsystemen (Manufacturing Execution System, MES) und CRM-Lösungen, aber auch 3D-Modelle aus CAD-Programmen wie Catia, Siemens NX oder SolidWorks importieren und zum Beispiel für Montage- oder Wartungsanleitungen verwenden. «Eine Arbeitsanweisung kann in 20 bis 30 Minuten erstellt werden, in manchen Fällen lässt sich dieser Schritt durch Automatisierung sogar auf zwei bis drei Minuten reduzieren», sagt Gottfried Roosen, Business Development Manager bei Diota.

Der Diota Player kann mit Tablets, Beamern, PCs oder auch der Microsoft HoloLens verwendet werden. Der Hersteller bietet spezielle Endgeräte an, die aus einem Tablet oder einem Beamer und einer Industriekamera bestehen. «Die in Tablets integrierten Kameras sind nicht präzise genug, um sie für industrielle Zwecke einzusetzen», sagt Roosen, «mit unserer Konstruktion sind wir dagegen in der Lage, computergenerierte Daten millimetergenau auf reale Gegenstände zu projizieren oder auf dem Tablet-Bildschirm zu überlagern.»

Die Einsatzmöglichkeiten reichen vom Prototyping über die Fertigung bis hin zu Wartung und Training. So lassen sich beispielsweise Montageschablonen auf eine Werkoberfläche, etwa einen Flugzeugflügel oder eine Turbine, projizieren. Es können aber auch Schritt-für-Schritt-Anweisungen für den Einbau oder Zusammenbau von Komponenten erstellt werden. Mit dem Zusatzmodul Diota Inspect lässt sich überprüfen, ob die Schritte in der korrekten Reihenfolge abgearbeitet wurden oder ob sich alle Komponenten an der richtigen Stelle befinden. Die erfolgreiche In­spektion wird dokumentiert und quittiert. Vor allem die Automobil- und Luftfahrtindustrie, aber auch andere produzierende Unternehmen setzen das System ein. «Mit Hilfe von Augmented Reality lässt sich die Fehlerrate um 60 bis 90 Prozent reduzieren und die Produktionszeit um 35 bis 85 Prozent verkürzen», sagt Roosen. Auch bei der Wartung seien erhebliche Einsparungen realisierbar. «Aufgaben, für die bisher ein Experte für mehrere Tage eingeflogen werden musste, lassen sich nun in wenigen Stunden vor Ort und ohne tiefe fachspezifische Kenntnisse erledigen.»

Mehrere Grossunternehmen haben in letzter Zeit begonnen, mit Mixed-Reality-Headsets zu arbeiten. Zum Einsatz kam dabei häufig die HoloLens von Microsoft. Testläufe mit der Brille führten etwa die Design- und Ingenieur-Teams des Autoherstellers Ford oder des Stahlkonzerns Thyssen-Krupp durch. Auch in der Schweiz sind Unternehmen bereits in die virtuelle Realität gestartet. ICT-Dienstleister wie Zühlke oder Ergon Informatik lancierten im vergangenen Jahr bereits erste Kundenprojekte. Für das Berner Inselspital programmierte das Zürcher Software-Haus Netcetera etwa eine Anwendung, die den Chirurgen bei der Operationsplanung helfen soll. Der Prototyp stand bis anhin allerdings noch nicht im medizinischen Einsatz.

Die Berner Universitätsklinik hat für das Projekt Befunde der Computertomographie und Magnetresonanztomographie (MRI) mit Daten aus der Neuronavigation kombiniert. Das Resultat wurde in verschiedene Segmente zerlegt, eingefärbt und als dreidimensionales Modell in Lebensgrösse visualisiert. Die räumliche Darstellung erhöht das Verständnis der Situation und hilft den Chirurgen bei der Planung der Operation. Für die Operationsvorbereitung erlaubt es die Netcetera-Software nun, das dreidimensionale Modell direkt auf die Microsoft-Brille zu laden. Über ein Menü in der HoloLens werden die Scans im Raum visualisiert. Verschiedene Segmente wie einzelne Gehirnareale oder Hirnventrikel (Gefässe) sind farblich hervorgehoben und wahlweise ein- und ausblendbar. Mit Gesten und Sprachsteuerung ändert der Arzt die Grösse und Position der Segmente. Laut Netcetera sei zum Projektbeginn fraglich gewesen, ob die HoloLens für derart komplexe Modelle leistungsfähig genug ist. Auch musste geprüft werden, ob die 3D-Daten vom Spital überhaupt für die Visualisierung des Grosshirns genutzt werden können. Es sollte sich später herausstellen, dass die Leistung der HoloLens zusammen mit den Entwicklungswerkzeugen und den vorhandenen Daten einen echten Mehrwert bringt, so Professor Andreas Raabe von der Universitätsklinik für Neurochirurgie am Inselspital.

Die Einsatzszenarien von Mixed Reality in ihren diversen Formen sind vielfältig. Vor allem in der Logistik, aber auch im Produktdesign, der industriellen Produktion komplexer Maschinen, in Wartung, Service und Support oder Schulung und Training ist die Integration digitaler Daten und Welten in die physische Umgebung bereits vielerorts erfolgreich im Einsatz. Natürlich gibt es noch einige Herausforderungen. Die Akkulaufzeiten der Brillen reichen oft nicht für einen ganzen Arbeitstag, der Tragekomfort lässt zum Teil zu wünschen übrig, die Grösse des Gesichtsfelds und die Tracking-Genauigkeit sind verbesserungsfähig.

Michael Zawrel, Senior Product Marketing Manager Devices bei Microsoft, erklärt, wie die Windows-Mixed-Reality-Plattform funktioniert und warum Unternehmen trotz des hohen Preises von knapp 5500 Franken auf die HoloLens setzen sollten.

Computerworld: Herr Zawrel, Microsoft hat mit dem Fall Creators Update im Oktober 2017 Mixed Reality als festen Bestandteil von Windows 10 eingeführt. Was zeichnet dieses System aus?

Michael Zawrel: Windows Mixed Reality ist eine durchgängige Plattform zur Erstellung und Nutzung von Mixed-Reality-Anwendungen. Entwickler können auf der Plattform MR-Inhalte für die verschiedensten Gerätetypen und Szenarien programmieren – etwa für die App Mixed Reality Viewer auf dem PC, für eine Anwendung auf der Microsoft HoloLens oder auch für vollimmer­sive Virtual-Reality-Erfahrungen auf den neuen Windows-Mixed- Reality-Headsets unserer Partner. Anwendungen lassen sich sogar über verschiedene Gerätetypen hinweg nutzen.

Zawrel: Wir orientieren uns an der 1994 von Paul Milgram und Fumio Kishino aufgestellten Definition, wonach Mixed Reality eine Vermischung der physischen und digitalen Welt darstellt. Das umfasst das ganze Spektrum der Anwendungsmöglichkeiten. Auch VR-Anwendungen sind eine Mischung aus virtuellen und physischen Komponenten. Zum Beispiel werden Orientierung und Bewegungen über Controller und Sensoren aus der physischen Welt in die künstliche digitale Welt übertragen. Deshalb sprechen wir primär von Mixed Reality.

Zawrel: Die Microsoft HoloLens hat natürlich eine Sonderstellung. Sie ist der erste völlig eigenständige, kabellose holografische Computer, ein Windows-10-Rechner, den man auf dem Kopf tragen kann. In das Blickfeld des Trägers lassen sich digitale Objekte – sogenannte Hologramme – einblenden, und zwar so, als ob sie Teil der Realität wären.

Zawrel: Die in der Brille verbauten Sensoren scannen kontinuierlich die Umgebung und erstellen davon eine räumliche Karte, wir nennen das «Spatial Mapping». So lassen sich digitale Objekte auf Oberflächen wie einem Tisch, dem Boden oder der Wand platzieren. Hinzu kommt, dass man die holografischen Objekte per Gesten- und Sprachsteuerung bedienen oder verändern kann. Das ermöglicht viele Anwendungsszenarien.

Zawrel: Sicher. Zusammen mit BMW und der Agentur Saint Elmo’s haben wir etwa ein Szenario für den Verkauf umgesetzt, in dem der interessierte Kunde den neuen BMW X2 holografisch erleben und konfigurieren kann. Das Szenario setzt stark auf spielerische Elemente und Social-Media-Integration. So kann der Nutzer beispielsweise das Auto durch einen Hindernis-Parcours navigieren oder es virtuell umlackieren.

Zawrel: Es kommt immer auf das Ziel an, das man erreichen will. Mit der Microsoft HoloLens erwirbt man eine innovative Technologie, die sich nachhaltig einsetzen lässt – nicht nur für ein Projekt. Grundsätzlich entscheidet aber natürlich immer der Kunde.

Zawrel: Die HoloLens ist primär für aufgabenorientiertes Arbeiten konzipiert: Ich setze sie auf, erledige meine Arbeit und setze sie wieder ab. Es ist aber auf jeden Fall wichtig, dass die Brille richtig eingestellt wird, damit sie komfortabel sitzt. Im Übrigen ist sie mit 579 Gramm nicht schwerer als vergleichbare Geräte.

Computerworld: Ein anderer Kritikpunkt betrifft das eingeschränkte Gesichtsfeld der HoloLens …

Zawrel: Wir adressieren mit der HoloLens ausschliesslich ein kommerzielles Umfeld. Dort ist es durchaus wichtig, dass ich meine Umgebung weiterhin wahrnehmen kann.