3D-Modell von Zürich aus Millionen Bildern und Videos

Forschende der ETH Zürich haben eine Technologieplattform entwickelt, mit der sie 3D-Modelle von Städten einzig aus Bildinformation erstellen können. Die Varcity genannte Plattform ist so vielseitig, dass sie alle erdenklichen Bildquellen nutzen, auswerten und automatisch miteinander kombinieren kann: Luftaufnahmen, mit Spezialfahrzeugen aufgenommene 360-Grad-Panorama-Bilder, aber auch gewöhnliche Fotos, etwa solche, die Touristen in sozialen Netzwerken und auf Internetplattformen veröffentlichen. Die Technologie nutzt zudem Videomaterial, beispielsweise Youtube-Filme und Daten von öffentlichen Webcams. Dank Algorithmen des maschinellen Lernens kann die Technologie Bildinhalte erkennen, wie Gebäude, Fenster und Türen, Strassen, Gewässer, Menschen und Autos. Ohne menschliches Zutun «weiss» das kreierte 3D-Modell zum Beispiel, was Gehwege sind und – mittels Auswertung von Webcam-Daten – welche Strassen nur in einer Richtung befahren werden.

«Das Ganze geht so weit, dass wir im Strassenraum den Verkehrsfluss sehr detailliert analysieren und Fussgängerströme messen können, je nach Anwendung sogar in Echtzeit», erklärt Hayko Riemenschneider. Er ist Postdoc und Varcity-Projektleiter in der Gruppe von Luc Van Gool, Professor am Computer Vision Lab der ETH Zürich. Verkehrszählungen werden damit sehr einfach: Sie können alleine mit Kameras durchgeführt werden und bedürfen keiner in der Fahrbahn installierter Sensoren mehr. «Unsere Technologie bringt die Dynamik, das Leben, die Menschen und Fahrzeuge in 3D-Städtemodelle. Das ist einer der grossen Vorteile unserer Technologie gegenüber bekannten Anwendungen wie Google Street View», sagt Riemenschneider. Ausserdem ist die Technologie nach dem «Privacy by Design»-Prinzip aufgebaut: Die Algorithmen generieren aus den Bilddaten Information in anonymisierter Form. In den Visualisierungen werden Menschenströme und Verkehr als Avatare angezeigt. Varcity ist daher datenschutzkompatibel. Nächste Seite: Grosse Datenmengen ausgewertet

Die entsprechenden Computeralgorithmen entwickelten die Wissenschaftler in den vergangenen fünf Jahren im Rahmen eines Projekts des Europäischen Forschungsrats ERC (ERC Advanced Grant an ETH-Professor Van Gool). Als Anschauungsobjekt kreierten sie ein 3D-Modell der Stadt Zürich, das sie zum planmässigen Projektabschluss nun in einem Video präsentieren. Die Varcity-Technologie basiert auf der Auswertung einer gigantischen Bilddatenmenge. «Je mehr Bilder und Videos die Plattform auswerten kann, desto genauer wird das Modell», sagt Kenneth Vanhoey, Postdoc in Van Gools Gruppe. «Das Ziel unseres Projekts war, die Algorithmen für solche 3D-Städtemodelle zu entwickeln. Dies unter der Annahme, dass die Menge verfügbaren Bilder und Videos auch in den kommenden Jahren rasant zunehmen wird.» Um aus den Bilddaten ein dreidimensionales Modell zu erstellen, verwenden die Wissenschaftler die Triangulation. Sie benötigen dazu von einem Objekt mehrere Aufnahmen aus unterschiedlichen Blickwinkeln. Über die Analyse der Distanzen und Winkel auf den verschiedenen Bildern lassen sich die Eckpunkte des Objekts im Raum genau verorten.

Das Städtemodell selbst bieten die Wissenschaftler nicht als Anwendung an, dennoch sind mögliche Anwendungen der Technologie zahlreich. Dazu gehören die Stadt- und Verkehrsplanung. Um auf der Technologie basierende Anwendungen zu vermarkten, haben die Projektbeteiligten ausserdem mehrere Startup-Firmen gegründet: Spectando bietet für den Immobilienmarkt virtuelle Gebäudebegehungen an, und Casalva führt für Versicherungen virtuelle Schadensanalysen an Gebäuden durch, zum Beispiel nach Unwettern wie Hagelstürmen. Für diese Anwendungen braucht es keine speziellen Geräte, gewöhnliche Smartphone-Aufnahmen reichen aus. Auch das aus Varcity hervorgegangene ETH-Spin-off Parquery nutzt die Technologie. Die Firma entwickelte ein Parkleitsystem, das ausschliesslich mit auf Parkplätze gerichtete Kameras funktioniert und keine Parkplatzsensoren braucht. Der Computer wertet die Videodaten in Echtzeit aus, kann Autos erkennen und weiss somit, welche Parkplätze leer sind, aber auch, welche Autos nicht regelkonform parkiert wurden. Das System war als erstes in Locarno im Einsatz. Darüber hinaus gibt es international weitere 30 Projekte. Das ETH-Spin-off Uniqfeed schliesslich verwendet die Methoden, um bei Fernsehübertragungen von Sportveranstaltungen Bandenwerbung und einzelne Spieler zu erkennen. Damit kann es einerseits deren Sichtbarkeitsdauer während der Übertragung berechnen und andererseits die Bandenwerbung für unterschiedliche Nutzergruppen personalisieren.