Virtualisierung in Bewegung setzen mit Motion Capture

Diese Erkenntnisse werden in Form von Newslettern, Podcasts und Berichten veröffentlicht. Derjüngste Bericht befasst sich mit Motion Capture und den Möglichkeiten, wie es in eine Vielzahl von Workflows zur Produktion von Inhalten integriert werden kann. Aufgrund des wachsenden Einflusses von Motion Capture in der digitalen Welt veranschaulicht die Forschung der Labs.Monks zu dieser Technologie, wie das Team verschiedene Kategorien und Talente einbindet, um neue Innovationen zu erschließen.

Motion Capture im richtigen Moment

Die digitale Welt hat sich von dem Ort, an dem man eine Konzertkarte kauft, zu dem Ort entwickelt , an dem man das Konzert besucht. Und da die Erlebnisse im Metaverse dieses Konzept weiterhin veranschaulichen, besteht ein wachsender Bedarf an Lösungen, die die Lücke zwischen der physischen und der virtuellen Welt schließen - wie ausdrucksstarke Vtuber, Live-Events mit virtuellen Charakteren, käufliche Tänze und Begrüßungen für Avatare und vieles mehr. Alle diese Beispiele haben gemeinsam, dass sie durch Motion Capture aktiviert werden.

Die Motion-Capture-Technologie zeichnet die Handlungen von Menschen auf, um Live-Bewegungen digital darzustellen. Es gibt viele Formen: Anzüge, die mit mehreren Beschleunigungssensoren ausgestattet sind (dieselbe Technologie, die Ihrem Telefon mitteilt, ob oder wie Sie es halten), kamerabasierte Tracking-Kugeln oder Punkte auf dem Körper und kamerabasiertes Tracking mit künstlicher Intelligenz (wie ein Snapchat-Filter). Da es so viele Möglichkeiten gibt, Bewegungen in Echtzeit aufzuzeichnen, ist Mocap heute erschwinglicher und zugänglicher als je zuvor - und hat weitreichende Anwendungsmöglichkeiten bei der Erstellung digitaler Inhalte und Erlebnisse.

Die Labs.Monks haben die verschiedenen Möglichkeiten erkannt, wie sich Mocap auf die Arbeitsabläufe bei MediaMonks auswirken kann, und haben mit dem Xsens MVN Link-Anzug experimentiert, um seine Genauigkeit bei der Erfassung feiner Bewegungen besser zu verstehen. Das Ergebnis war ein Prototyp für ein VR-Erlebnis, bei dem die Benutzer ein digitales Instrument spielen können, indem sie einfach ihren Körper bewegen. Die Erkenntnisse aus dieser Erfahrung werden den Labs.Monks helfen, andere Teams zu unterstützen, die an der Verwendung von Mocap interessiert sind.

Rationalisierte virtuelle Produktion

Die Geschichte der Bewegungserfassung korreliert mit der Geschichte des Films, von der manuellen Rotoskopie in der traditionellen Animation bis hin zur digitalen Verkörperung von Gollum in Der Herr der Ringe und mehr. Es sollte daher nicht überraschen, dass eine der offensichtlichsten Anwendungen von Mocap in der virtuellen Produktion liegt, da so die Notwendigkeit entfällt, vor einem Greenscreen in einer großen Studioumgebung zu drehen.

"Für einen unserer Kunden führen wir einen hybriden Schnitt durch, bei dem Offline-Capture, VFX und Animation kombiniert werden", sagt Cas de Brouwer, Leiter der Postproduktion. "Wir müssen viel Rotoscoping machen, um die Animation hinzuzufügen, aber mit Motion Capture können wir wirklich profitieren Bei der Tabletop-Produktion können beispielsweise Bewegungsdaten, die von einer an einem Roboterarm befestigten Kamera erfasst wurden, in Adobe After Effects übertragen werden, um virtuelle Objekte und Animationen hinzuzufügen, die mit der Kameraperspektive übereinstimmen.

Patrick Staud, Chief Creative Technologist, hat bereits mit Mocap-gestützter virtueller Produktion für Kunden aus der Automobilbranche experimentiert - beispielsweise mit Mocap in der Vorproduktion, um die Bewegungen von Schauspielern zu erfassen und sie dann in der Nachbearbeitung auf der Oberfläche des Autos zu reflektieren. Aber die Technologie kann in vollständig virtuellen Umgebungen eine größere Wirkung entfalten.

Neue Effizienzen in der Animation

Wenn es um die Effizienz geht, die durch Motion Capture erschlossen wird, kann die Animation erheblich profitieren. Animation als Fähigkeit ist oft der Schlüssel zur Produktion digitaler Erlebnisse, die von Originalinhalten bis hin zu immersiven Metaverse-Umgebungen reichen. Auch wenn manuell gezeichnete oder manipulierte Animationen nicht aussterben werden - das Medium lebt von der Übertreibung und Stilisierung, die am besten durch die Hand eines Künstlers erzeugt wird, und nicht durch Realitätsnähe -, ist in manchen Fällen die genaue Nachahmung von Verhaltensweisen der Schlüssel.

Dies war bei einer virtuellen Performance mit Post Malone der Fall, die wir zur Feier des 25-jährigen Jubiläums von Pokémon animiert haben. Die Bewegungen des Sängers wurden durch Motion Capture in die virtuelle Umgebung übertragen. "Da Live-Events auf Eis liegen, war dies eine großartige Gelegenheit, Motion Capture zu nutzen, um ein animiertes Erlebnis zu schaffen, das unser Publikum anspricht", sagt Jessica Norton, Executive Producer, Experiential bei Media.Monks.

Thymo van der Vlies, Leiter von Animation.Monks, betont, dass die realistische Darstellung von Post Malone trotz seines stilisierten Aussehens entscheidend war: "Da er eine Berühmtheit ist, muss man seine Bewegungen genau einfangen - er hält zum Beispiel das Mikrofon auf eine ganz bestimmte Weise", sagt er. "Der Einsatz von Motion Capture ist eine enorme Zeitersparnis, wenn wir realistische Bewegungen einfangen müssen

Das gleiche Bedürfnis macht es auch für die Forschung und die Vorvisualisierung nützlich: "Bei einem unserer Projekte bestand ein lustiger Teil des Prozesses darin, dass wir die Animatoren sich gegenseitig beim Fallen filmen ließen, um zu sehen, wie die Bewegungen aussehen", sagt Van der Vlies.

Immersive Live-Events vereinen Fantasie und Realität

Animation und virtuelle Produktion werden zusammengeführt, um Live-Erlebnisse mit virtuellen Figuren zu schaffen, mit denen man in Echtzeit interagieren kann. "Wir schaffen Bilder, die früher monatelange Nachbearbeitung erforderten - und jetzt sind sie live", sagt Lewis Smithingham, Director of Creative Solutions, der kürzlich mit Motion Capture gearbeitet hat, um eine animierte Figur bei einem Live-Event zum ersten Mal in drei Dimensionen zu bringen. "Das Publikum hat höhere Ansprüche an die Qualität als je zuvor, und mit diesen Tools können wir sie live erfüllen

Motion Capture überwindet nicht nur die Grenzen zwischen Fantasie und Realität, sondern kann bei Live-Events auch eine Brücke zwischen Zeit und Raum schlagen. Schauspieler können an verschiedenen Orten aufgenommen und digital zusammengeführt werden - eine Lösung für die Arbeit innerhalb der laufenden Pandemie-Beschränkungen sowie für die vollen Terminkalender der Talente. Konnektivität wie 5G-Ultrabreitband und Multi-Zugriffs-Edge-Computing können die Verarbeitung vor Ort und die Latenzzeit reduzieren, um sicherzustellen, dass die Darsteller unabhängig vom Standort in Echtzeit miteinander und mit dem Publikum interagieren können.

Auf dem Weg zu zukünftigen Innovationen

Die Einsatzmöglichkeiten von Motion Capture sind weitreichend, und die Labs.Monks experimentieren weiter und suchen nach Wegen, wie die Technologie in unsere verschiedenen Produktionsabläufe integriert werden kann. Gleichzeitig ist das Team bestrebt, künftige Innovationen und ihre praktischen Anwendungen vorauszusehen. "Labs hat die Möglichkeit, mehr Risiken einzugehen als andere Teams", sagt Eichhorn. "Wir sind ein wenig flexibler und haben die Ressourcen, um mit Dingen zu experimentieren. Wir können herausfinden, ob etwas machbar ist, ohne zu viele Ressourcen investieren zu müssen."

Ihr Ansatz, Experimente mit der Zusammenarbeit von Teams aus verschiedenen Bereichen - darunter Automobil, Mode und Sport -zu verbinden , hatentscheidend dazu beigetragen, dass unsere Mitarbeiter und unsere Kunden immer auf dem neuesten Stand der Technik sind. Da die Virtualisierung weiterhin neue Wege der Interaktion und des digitalen Engagements aufzeigt, werden die Labs.Monks auch in Zukunft Erkenntnisse und Fachwissen in diesem Bereich miteinander verbinden.