«FingerTrak»
31.07.2020, 09:27 Uhr
Sensor-Armband erkennt komplexe Handgesten
Mit Wärmebildkameras erfasst das von US-Forschern entwickelte Sensor-Armband «FingerTrak» die Position des Handgelenks.
«FingerTrak» bei ersten wissenschaftlichen Tests im Labor
(Quelle: scifilab.org)
Wissenschaftler der Cornell University und der University of Wisconsin, Madison haben mit «FingerTrak» ein neuartiges Sensor-Armband entwickelt, mit dem sich die Hand vollständig dreidimensional erfassen lässt. Das kleine, leichte Gerät verfügt über vier winzige LowRes-Wärmebildkameras, die Konturen des Handgelenks wahrnehmen und dadurch jede noch so komplizierte Position und Geste des Körperteils detailgenau registrieren können - inklusive der 20 Fingergelenke.
Übersetzung von Zeichensprache
«Wenn man sich die Konturen des Handgelenks sehr genau ansieht, kann man mithilfe von Technologie auch exakt die Positionen der Finger bestimmen. Diese Entdeckung war ein grosser Durchbruch für unser Team», erklärt Cheng Zhang, Assistant Professor für Information Science und Leiter des SciFi Lab an der Cornell University. «Unser System ist das erste, mit dem sich auf Basis dieses Ansatzes die vollständige Handhaltung in 3D erfassen lässt», betont der Forscher.
Bislang seien ähnliche Geräte vor allem an ihrem zu grossen Gewicht und der damit zusammenhängenden schlechten Alltagstauglichkeit gescheitert. «Die meisten sind ausserdem nur in der Lage, einige wenige Handgesten zu erkennen», merkt Zhang an. Mit FingerTrak würden sich aber nun gleich eine ganze Reihe von Anwendungsmöglichkeiten eröffnen. Am vielversprechendsten sei etwa ein Einsatz bei der Übersetzung von Zeichensprache. «Derzeit müssen User in diesem Bereich entweder einen speziellen Handschuh tragen oder eine Kamera in der Umgebung aufstellen. Beides ist oft viel zu umständlich.»
Handlich, klein und auch sehr leicht
Das neue Hightech-Armband ist wesentlich handlicher, relativ klein und sehr leicht, um den Träger nicht in seinem Bewegungsspielraum einzuschränken. Anstelle von normalen optischen Kameras wird auf auf eine Kombination aus Wärmebildaufnahmen und maschinellem Lernen gesetzt, um eine Hand virtuell zu rekonstruieren. Jede der insgesamt vier verbauten Mini-Kameras ist etwa erbsengross und zeichnet mehrfach Aufnahmen von der Hand-Silhouette auf.
Die gesammelten Daten werden anschliessend in ein neuronales Netzwerk eingespeist, das die unterschiedlichen Bilder zusammensetzt, um ein akkurates dreidimensionales Abbild der Hand zu erzeugen. «Mithilfe dieser Methode können wir die vollständige Handposition darstellen, sogar wenn jemand gerade ein Objekt in der Hand hält», schildert Zhang.
