Ein Frame-by-Frame-Blick darauf, wie generative KI die Kreativität steigert

Die beeindruckende Leistung der generativen KI hat einige dazu veranlasst, Bedenken zu äußern, ob ihr Lebensunterhalt gefährdet ist. Schließlich galt Kreativität lange Zeit als eine rein menschliche Fähigkeit.

Aber die Kreativen werden ihre Arbeit nicht an Roboter verlieren, die Textstränge in gepixeltes Gold verwandeln können. Ganz im Gegenteil: Diese Tools, die auf menschlichen Input und ein gewisses Maß an künstlerischer Begabung angewiesen sind, um wirklich zu glänzen, setzen kreatives Potenzial frei und helfen Menschen, ihre Konzepte auf neue Weise zum Leben zu erwecken. Diese Aussicht veranlasste die Labs.Monks, unser Forschungs- und Entwicklungsteam, zu erforschen, wie generative KI die Arbeit unserer Teams und unserer Kunden verbessern kann.

"Wir spielen schon seit einiger Zeit mit dieser Technologie, und nachdem sie in Mode gekommen war, bekamen wir immer mehr Fragen dazu", sagt Geert Eichhorn, Innovation Director und Head of Labs. Zum Beispiel: Man kann viel über die Zukunft der Inhaltserstellung mit Hilfe von KI sagen, aber wie lassen sich die heutigen Tools in eine heutige Produktionspipeline integrieren?

Auf der Suche nach einer Antwort arbeiteten die Labs.Monks mit Animatoren und Illustratoren aus unserem Team zusammen, um einen Prototyp eines Produktionsworkflows zu entwickeln, der traditionelle Animationsmethoden mit modernster KI-Technologie verbindet. Das Ergebnis ist ein animierter Filmtrailer, der mit einem Bruchteil der Zeit und der Ressourcen erstellt wurde, die für eine typische, Frame-für-Frame-Animation dieser Länge erforderlich wären.

Lernen Sie, mit dem Algorithmus zu leben.

Ancestor Saga ist ein 2D-animiertes Nebenprojekt, das sich auf eine zentrale Frage konzentriert: Was wäre, wenn die Menschen in der Wikingerzeit erkennen würden, dass sie in einer Simulation leben? Werden sie ihre neue Realität akzeptieren, nachdem sie erfahren haben, dass ihr Lebenszweck darin besteht, die Götter zu unterhalten, oder werden sie der Welt ein Ende setzen, indem sie Ragnarök herbeiführen?

Das Thema dürfte jedem bekannt vorkommen, der versucht, die zunehmend algorithmische Welt zu verstehen, in der wir uns plötzlich wiederfinden. "Wir wollten eine Geschichte erzählen, die sich mit der Technologie, die wir benutzen, verbinden lässt: virtuelle Welten und virtuelle Menschen", sagt Samuel Snider-Held, Creative Technologist. Joan Llabata, Associate Creative Director, führt diesen Gedanken weiter und nennt einige der Herausforderungen, die sich ergeben, wenn Menschen und KI nicht ganz zusammenpassen. "Es gibt einen Bereich, in dem wir den besten Weg finden müssen, um effektiv mit der Maschine zu kommunizieren", sagt er.

Beim Einsatz generativer KI ist ein maßgeschneiderter Ansatz am besten.

Die Herausforderung, Menschen und KI zu einem guten Miteinander zu bringen, zeigt, wie wichtig es für ein Team wie die Labs.Monks ist, mit den verfügbaren Tools zu experimentieren. Standardtools eignen sich zwar hervorragend, um einzelne Kreative zu unterstützen, aber die Integration in Team-Pipelines erfordert eine maßgeschneiderte Lösung.

KI ist darauf ausgelegt, bestimmte Aufgaben sehr, sehr gut zu erledigen. Projekte, die mehrere Funktionen und Phasen umfassen, erfordern einen Workflow, der eine Vielzahl generativer KI integrieren kann, um unterschiedliche Ziele zu erreichen. Bei einem Animationsprojekt bedeutet dies, dass die kreative Konzeption, das Storyboarding, der Ton und natürlich die Animation des Bildmaterials einbezogen werden müssen.

In unserem Fall", so Snider-Held, "wollten wir erforschen, wie KI es uns ermöglichen könnte, die Arbeit zu machen, die wir wirklich machen wollen, auch wenn die Zeit oder das Budget dafür nicht vorhanden ist Er stellte fest, dass unser Animationsteam zwar die klassische Frame-by-Frame-Animation liebt, diese Methode aber oft übersehen wird, weil sie langsamer zu produzieren und weniger kosteneffizient ist als andere Animationsmethoden.

Nun hatte das Team ein klares Ziel: einen KI-basierten Workflow zu orchestrieren, der eine Frame-by-Frame-Animation in Rekordzeit ausgeben kann, ohne dass die Qualität darunter leidet. Dabei ließen sie sich vom Rotoscoping inspirieren, einer Methode, die von Animationskünstlern wie Ralph Baskhi verwendet wird und bei der ein Künstler Bilder über vorhandenes Filmmaterial legt. Diese Aufgabe, eine bestehende Aufnahme von einem Stil in einen anderen zu übersetzen, war ideal für generative KI von Bild zu Bild. Darüber hinaus nutzte das Team die KI-Technologie, um Hintergrunddesigns zu entwickeln und das Voiceover der Animation vorzulesen.

Die generative KI ist keine radikale Abkehr von der Tradition.

Das Team begann mit der Aufnahme eines 3D-Figurenmodells in einer virtuellen Umgebung, wobei es eine Vielzahl von Posen aufnahm, die ein Illustrator nachzeichnen konnte. Anhand dieser Bilder wurde das KI-Modell darauf trainiert, wie die Figur in verschiedenen Bewegungen zu zeichnen ist. "Wenn man etwa fünf Bilder zeichnet, hat man genug, um einem neuronalen Netzwerk beizubringen, wie man die anderen Bilder malt", sagt Snider-Held und weist darauf hin, dass es wichtig ist, Bilder auszuwählen, die sich voneinander unterscheiden, damit die KI verschiedene Formen, Gestalten und Posen erfassen kann.

Zusätzlich zum Rotoscoping virtueller Produktionen experimentierte das Team auch mit Live-Action-Filmmaterial. Die Möglichkeit, zwei verschiedene Arten von visuellem Quellmaterial zu verwenden, brachte zusätzliche Flexibilität in den Prozess; die Teams konnten die verschiedenen Methoden je nach ihren spezifischen Bedürfnissen oder Fähigkeiten kombinieren. Fantastische Kreaturen lassen sich vielleicht leichter in einer virtuellen Produktion einfangen, während ein Team, dem es an der Fähigkeit mangelt, lebensechte Bewegungen zu animieren, vielleicht lieber Live-Action-Filmmaterial als Grundlage verwendet. "Mit Filmmaterial kann man besser schauspielern als mit einem 3D-Modell, aber das visuelle Ergebnis ist letztlich dasselbe", sagt Snider-Held.

Ähnlich wie dieser Prozess das klassische Rotoscoping von Hand nachahmt, folgen andere Möglichkeiten der Integration von KI einem traditionellen Animationsprozess, wenn auch mit einigen zusätzlichen Schritten hier und da. Die Storyboarding-Phase ist zum Beispiel wichtig, um zu visualisieren, welche Arten von Aufnahmen oder Animationen für eine bestimmte Sequenz benötigt werden. Zusätzlich zu diesen Überlegungen plante das Team auch, welche Art von KI sich am besten für die Erstellung dieser oder jener Einstellung eignen würde.

Durch den Einsatz von Stable Diffusion - einer Art generativer KI, die eine Texteingabe in ein Bild übersetzt - konnte das Team eine große Anzahl von Hintergründen erstellen, die es beliebig austauschen konnte, um zu testen, wie sie aussehen. "In dieser Phase kann man eine Menge ausprobieren", sagt Snider-Held.

Was die Entwicklung von Hintergründen im Besonderen angeht, "ist es so, als würde man einem Kameramann die gewünschte Aufnahme beschreiben", sagt Llabata. Er konnte Hunderte von verschiedenen Umgebungen, Kamerawinkeln, künstlerischen Stilen, Beleuchtungen und mehr testen, und das alles mit relativer Leichtigkeit.

Erschließen Sie Effizienz und langfristige Vorteile.

Die oben genannten Erkenntnisse treffen den vielleicht größten Vorteil, den ein generativer, KI-gestützter Workflow bieten kann: mehr Flexibilität während der gesamten Laufzeit eines kreativen Projekts. Die Möglichkeit, 60 Bilder in einer Minute zu generieren - und nicht nur ein Bild in 60 Minuten - macht es unglaublich einfach, Dinge im Handumdrehen zu ändern oder umzustellen.

Es erfordert auch keine ausgefeilte Hardware-Einrichtung, was die Erstellung von Inhalten für Teams jeder Größe zugänglich macht. "Man braucht keinen riesigen Server oder Cloud Computing", sagt Eichhorn. "Ein einigermaßen guter Gaming-PC kann schnell Inhalte wie Kulissen erstellen Komplexere Anwendungen von KI wie Rotoscoping können jedoch mehr Leistung erfordern.

Die Flexibilität, die sich durch die Integration generativer KI in die Pipeline eines Teams ergibt, zahlt sich auch über die Dauer eines einzelnen Projekts hinaus aus. "Wenn Sie ein Projekt haben, dessen Umfang wirklich groß ist, werden sich der Aufwand und das Geld, das Sie in die Forschung und Entwicklung gesteckt haben, im Laufe der Zeit aufaddieren", sagt Snider-Held und merkt an, dass die Schritte zur Schaffung einer KI-gestützten Grundlage in etwa die gleichen sind, egal ob eine Marke 10 oder 30 Animationen erstellen möchte.

Experimentieren Sie, um einen Ansatz zu finden, der Ihren Anforderungen entspricht.

Tools wie die stabile Diffusion sind nicht dazu gedacht, die Kreativen zu ersetzen. "Eine KI wird von sich aus nichts erreichen", sagt Llabata. Stattdessen geben diese Produkte den Teams die Möglichkeit, ehrgeizigere Projekte mit weniger Zeit- und Budgetbeschränkungen zu verwirklichen. Man denke nur daran, wie sehr die Erstellung des Ancestor Saga-Trailers einem traditionellen Animationsprozess folgt, nur mit mehr Effizienz.

Diese Flexibilität, die generative KI bietet, kann weit über die traditionelle Animation hinausgehen.

Unabhängig von Ihrem Anwendungsfall für generative KI sollten Sie sich darüber im Klaren sein, dass die Entwicklung von Tools von Grund auf zwar eine Herausforderung sein kann, das Ergebnis aber extrem leistungsfähig ist. "Unser Ansatz lautet: Wenn ein Standardwerkzeug ausgereift genug ist, verwenden Sie es. Wenn nicht, entwickeln Sie es selbst", sagt Snider-Held. Teams, die sich für ein maßgeschneidertes Tool entscheiden, stellen nicht nur sicher, dass es auf ihre speziellen Bedürfnisse abgestimmt ist, sondern sind auch besser für die Zukunft gerüstet, da sich die Technologie in rasantem Tempo weiterentwickelt.

Sind Sie bereit zu erkunden, was generative KI für Ihren Bereich bedeutet? Erfahren Sie mehr über die Vor- und Nachteile der Technologie im neuesten Labs Report, der die rasante Entwicklung der digitalen Kreation untersucht.