Wir machen uns die Hände schmutzig mit VR Hand Tracking

In der virtuellen Realität sind Sie von digitalen, fantastischen Objekten umgeben, die Sie unbedingt anfassen möchten. Doch bis vor kurzem war die Interaktion in den gängigen VR-Headsets noch auf die Verwendung eines Controllers beschränkt. Bei einigen Erlebnissen stellt der Controller eine Diskrepanz zwischen dem, was man in den Händen fühlt, und dem, was man auf dem Bildschirm sieht, dar - zumindest bis vor kurzem.

Letzten Monat hat Oculus sein Hand Tracking SDK für die Oculus Quest veröffentlicht, das es den Benutzern ermöglicht, mit ihren Händen durch Menüs und Anwendungen zu navigieren, die das neue SDK unterstützen. Das Update ist zwar nicht dazu gedacht, die Controller vollständig zu ersetzen, aber es verbessert das Gefühl der Benutzer, im virtuellen Raum präsent zu sein, indem es die Grenzen zwischen real und virtuell noch weiter verwischt und damit neue kreative Möglichkeiten für Marken eröffnet, die in diesem aufstrebenden Medium unterstützende Inhalte anbieten möchten. "Berührbarkeit in der digitalen Welt wurde schon immer mit einem Mausklick oder einer Taste gleichgesetzt, aber jetzt wird sie noch mehr zu einer physischen Sache, zu einer realen Erfahrung", sagt Geert Eichhorn, Innovation Director bei MediaMonks.

Diese Illusion der Realität ist für Seth van het Kaar, Unity Monk bei MediaMonks, faszinierend. "Eine Sache, die VR durch Erfahrung und Forschung gezeigt hat, ist, dass unsere Augen unsere anderen Sinne überlagern", sagt er. "Wenn ich also meine Hand in der VR in einen Eimer mit kaltem Wasser halte, habe ich den Placebo-Effekt, dass sie sich kalt anfühlt. Mit Kreativität kann man das zu seinem Vorteil nutzen

Auf der Suche nach den kreativen Möglichkeiten, die das SDK bietet, war van het Kaar als Entwickler in einem Team von Monks tätig, das mit der Handverfolgung experimentierte, um einen funktionierenden Prototyp zu entwickeln, der die neue Schnittstelle optimal nutzen konnte. Im Folgenden erfahren Sie, was das Team dabei gelernt hat.

Gelegenheiten finden, um selbst Hand anzulegen

"Ähnlich wie die Entwicklung der Sprache als Schnittstelle Marken dazu veranlasst hat, die menschliche Konversation so natürlich wie möglich nachzubilden, müssen wir dafür sorgen, dass sich diese Erfahrungen so intuitiv wie möglich anfühlen, als würden Sie Ihre echten Hände benutzen", sagt Eichhorn. Als Teil von MediaMonks Labs, unserem Forschungs- und Innovationsteam, konzentriert er sich nicht darauf, die neueste Technologie um ihrer selbst willen zu nutzen, sondern vielmehr darauf, die reale Anwendung und den Wert zu finden, den sie für die Endbenutzer hat.

Um herauszufinden, welche Art von Erfahrung am besten von diesem neuen Input profitieren würde, fragte sich das Team: Welche Tätigkeiten sind sehr geschickt und erfordern einen sorgfältigen Einsatz der Hände? Rasieren lag nahe: "Das ist etwas, das für junge Erwachsene und Teenager, die gerade erst lernen, diese Geräte zu benutzen, schwierig ist", sagt Eichhorn. "Und viele Leute machen immer noch Dinge falsch, wie zum Beispiel gegen den Strich zu gehen Es ist auch ein faszinierender Anwendungsfall, da die Rasur ein gewisses Maß an Präzision erfordert, was die Benutzerfreundlichkeit der Handsteuerung auf die Probe stellt.

Indem man die Haarpflege in VR mit den eigenen Händen übt, können die Nutzer verschiedene Werkzeuge und Techniken ausprobieren, ohne sich Sorgen machen zu müssen, dass sie ihr eigenes Haar ruinieren. Also nahm das Team unser kahlköpfiges Mönch-Maskottchen und verpasste ihm eine Haarpracht. Es lud die Oculus Quest-Benutzer ein, ihn in einem von der Play-Doh-Spielzeugserie "Crazy Cuts" inspirierten Erlebnis zu rasieren und zu stutzen.

Beginnen Sie mit etwas Vertrautem

Mit den Händen zu interagieren ist unglaublich intuitiv; es ist eine der frühesten Arten, wie wir uns als Kleinkinder mit der Welt auseinandersetzen. Das bedeutet jedoch nicht, dass jedes Hand-Tracking-Erlebnis von vornherein einfacher zu nutzen oder zu gestalten ist. Das Experimentieren mit einer neuen Art der Interaktion erfordert, dass man sich von vorgefassten Meinungen über das Design löst. Wie kann man im Fall des Hand-Trackings eine Reihe von Optionen innerhalb eines Erlebnisses ohne physische Tasten (und in diesem Fall ohne haptisches Feedback) organisieren?

Um diese Herausforderung zu meistern, nutzte das Team gängige Handgesten als Ausgangspunkt - zum Beispiel die Gesten, die beim Stein-Papier-Schere-Spiel verwendet werden - um eine intuitive Metapher für die Interaktion zu schaffen. "Der Oculus kann den Unterschied zwischen den Fingerspitzen nachverfolgen, wenn ich also mit ihnen eine Schere imitiere, ist das eine lustige Interaktion", sagt van het Kaar. "In der App kann man die Schere auswählen, und schon ist man wie Edward Scissorhands", eine fiktive Filmfigur, die mit ihren Scherenhänden als Friseur sehr erfolgreich ist.

Über die Grenzen und kreativen Zwänge hinausgehen

Bei seinen Experimenten mit dem SDK hat das Team eine Reihe von Erkenntnissen gewonnen, die für spätere handaktivierte Oculus Quest-Erlebnisse gelten könnten. Zunächst geht es darum, die Herausforderung zu überwinden, die sich in jeder VR-Umgebung stellt: die Fortbewegung oder die Beziehung und (De-)Synchronisation zwischen den eigenen Körperbewegungen und denen des virtuellen Avatars.

Ohne haptisches Feedback stellt sich die Frage, was passieren soll, wenn die Hand des Benutzers mit einem virtuellen Objekt in Berührung kommt: Soll sie sich durch das Objekt hindurch bewegen oder soll das Objekt die Bewegung blockieren, so wie es in der Realität der Fall wäre? Letzteres mag auf dem Papier zwar sinnvoll sein, aber die Tatsache, dass der Benutzer seine physische Hand bewegen könnte, während die virtuelle Hand unbeweglich bleibt, könnte zu Verwirrung führen. Das Team löste die Herausforderung, indem es die Benutzer virtuelle Objekte frei schieben ließ - zum Beispiel das Mönchsmodell, das sie rasieren -, die wieder einrasten, sobald sie losgelassen werden (was an sich schon eine lustige Interaktion ist).

Die Art und Weise, wie das Hand Tracking SDK Hände erkennt, stellte ebenfalls eine Herausforderung dar: Es sucht nach der Form einer Hand vor einem Hintergrund, so dass es die Verfolgung verliert, sobald sich zwei Hände überschneiden. "Man kann zum Beispiel kein Menü auf der Handfläche platzieren und auf eine Option tippen oder mit einem virtuellen Objekt am Handgelenk interagieren", sagt van het Kaar. Um dieses Problem zu umgehen, schwebt ein Menü neben der Hand des Benutzers. Dies ermöglicht zwar keine haptische Rückmeldung bei der Auswahl von Optionen gegen den eigenen Körper, verringert aber das Risiko, dass das Tracking durch überlappende Hände verloren geht.

Wenn wir uns die Zeit nehmen, zu experimentieren und diese Erkenntnisse anzuwenden, können wir immer realistischere Erfahrungen in der erweiterten Realität entwickeln. Vom Spielen mit dem Hand-Tracking in VR bis hin zur Demonstration, wie die Okklusion Erfahrungen in AR transformiert, widmet sich unser Team von Machern dem kontinuierlichen Experimentieren mit neuen Technologien, dem Finden ihrer relevantesten Anwendungsfälle und dem Erstellen von Best Practices für Marken und unsere Partner. Da die Grenzen zwischen dem Physischen und dem Virtuellen immer weiter verschwinden, wird es spannend sein zu sehen, welche völlig neuen digitalen Erfahrungen entstehen.