逐帧观察生成式人工智能 如何 提升创造力

生成式人工智能令人印象深刻的成果让一些人担心他们的生计是否会受到威胁。毕竟，长期以来，创造力一直被认为是一种严格意义上的人类技能。

但创作者们并不会因为机器人霸主把一串串文字变成像素化的黄金而丢掉饭碗。恰恰相反，这些依靠人类输入和某种程度的艺术天赋才能真正发挥作用的工具正在释放创意潜能，帮助人们以全新的方式将自己的概念变为现实。这种前景促使我们的研发团队 Labs.Monks 探索生成式人工智能如何提升我们团队和客户的工作水平。

"创新总监兼实验室主管 Geert Eichhorn 说："我们已经使用这项技术有一段时间了，在它开始流行之后，我们收到了越来越多关于它的问题。创新总监兼实验室负责人 Geert Eichhorn 说道，"例如：关于人工智能辅助内容创作的未来，可以说有很多说法，但今天的工具如何才能融入当今的生产流水线？

为了寻找答案，Labs.Monks 与我们团队中的动画师和插图画家合作，开发了一种将传统动画方法与尖端人工智能技术相结合的原型制作流程。其结果是，制作一部动画电影预告片所需的时间和资源，与制作一部典型的逐帧动画预告片所需的时间和资源相比，简直是小巫见大巫。

学会与算法共存。

Ancestor Saga》是一个二维动画副项目，主要关注一个核心问题：如果维京时代的人们意识到自己生活在一个模拟世界中，会怎样？在得知自己的人生目标是娱乐诸神之后，他们是会接受新的现实，还是会通过毁灭世界来结束这个世界？

对于那些试图理解我们突然发现自己身处的日益算法化的世界的人来说，这个主题可能并不陌生。"创意技术专家塞缪尔-斯奈德-赫尔德（Samuel Snider-Held）说："我们希望讲述一个能与我们正在使用的技术（虚拟世界和虚拟人）相结合的故事。创意副总监琼-拉巴塔（Joan Llabata）进一步阐述了这一想法，并列举了人类与人工智能无法完全融合时所面临的一些挑战。"他说："我们需要找到与机器有效沟通的最佳方式。

在使用生成式人工智能时，最好采用定制方法。

让人类和人工智能友好相处的挑战表明，像实验室僧侣这样的团队需要对现有工具进行试验。虽然现成的工具非常适合增强个人创作者的能力，但将它们整合到团队管道中需要更多的定制解决方案。

人工智能旨在非常出色地完成特定任务。涉及多种能力和阶段的项目需要一个能够整合各种生成式人工智能的工作流程，以在整个过程中实现不同的目标。对于一个动画项目来说，这意味着需要整合创意概念、故事板、声音，当然还有视觉动画。

斯奈德-赫尔德说："在我们的案例中，我们想探索人工智能如何让我们完成真正想做的工作，即使时间或预算不允许。他发现，虽然我们的动画团队喜欢经典的逐帧动画，但这种方法往往被忽视，因为与其他动画制作方法相比，这种方法制作速度较慢，成本效益较低。

现在，团队有了一个明确的目标：协调一个基于人工智能的工作流程，在不影响质量的前提下，以最短的时间输出逐帧动画。他们从 Ralph Baskhi 等动画师使用的旋转动画法中汲取了灵感，在这种方法中，艺术家会在已有的素材上追踪图像。这种将现有记录从一种风格转换为另一种风格的任务非常适合图像到图像的生成式人工智能。此外，团队还利用人工智能技术来开发背景设计和朗读动画配音。

生成式人工智能并没有完全背离传统。

团队首先在虚拟环境中录制了一个 3D 角色模型，捕捉了各种姿势，供插图画家描摹。然后利用这些视觉效果来训练人工智能模型如何绘制人物的不同动作。斯奈德-赫尔德说："如果你绘制了大约五帧画面，你就有足够的能力教会神经网络如何绘制其他画面。"他指出，选择彼此不同的画面非常重要，这样人工智能才能掌握各种形态、形状和姿势。

除了旋转虚拟制作，团队还尝试使用真人素材。能够使用两种不同类型的视觉源素材为整个过程带来了额外的灵活性；团队可以根据自己的具体需求或能力混合使用不同的方法。虚拟制作可能更容易捕捉到奇幻的生物，而缺乏逼真动作动画制作能力的团队可能更喜欢使用真人电影作为基础。"斯奈德-赫尔德说："与三维模型相比，你可以从镜头中获得更好的表演，但视觉效果最终是一样的。

与模仿经典的手工旋转镜制作过程一样，集成人工智能的其他方法也遵循传统的动画制作流程，只是在这里和那里增加了一些步骤。例如，故事板阶段对于可视化特定序列所需的镜头或动画类型非常重要。除了思考这个问题，团队还计划了哪种人工智能最适合生成这样或那样的镜头。

使用稳定扩散（Stable Diffusion）--一种将文本提示转化为图像的生成式人工智能--可以让团队创建大量的背景，他们可以将这些背景换进换出，以测试它们的效果。"斯奈德-赫尔德说："在这个阶段，你可以探索很多东西。

特别是在开发背景方面，"这就像向摄影指导描述你想要的镜头一样，"Llabata 说。他能够比较轻松地测试数百种不同的环境、摄影角度、艺术风格、灯光等等。

提高效率，实现长期收益。

上述研究结果或许触及了人工智能驱动的生成式工作流程所能带来的最大收益：在创意项目的整个生命周期中都具有更大的灵活性。能够在一分钟内生成 60 个画面，而不是在 60 分钟内生成一个画面，这使得在眨眼之间就能轻松地做出调整或改变。

它也不需要复杂的硬件设置，从而使各种规模的团队都能进行内容创建。"你不需要巨型服务器或云计算，"Eichhorn 说。"一台相当不错的游戏 PC 就能快速制作出背景等资产。不过，更复杂的人工智能应用（如旋转剪辑）可能需要更强的能力。

将生成式人工智能集成到团队的流水线中，所释放出的灵活性在单个项目的生命周期结束后还会继续带来红利。Snider-Held 说："如果你有一个规模非常大的项目，那么你在研发过程中花费的精力和金钱就会随着时间的推移而产生复合价值，"他指出，无论一个品牌想要制作 10 个动画还是 30 个动画，奠定人工智能基础的步骤都大致相同。

通过实验找到适合自己的方法。

稳定扩散等工具并不是要取代创意领域的工具。"Llabata说："人工智能本身不会实现任何事情。相反，这些产品将使团队有能力在更少的时间和预算限制下追逐更雄心勃勃的项目。试想一下，《祖先传》预告片的制作过程与传统的动画制作过程是多么接近，只是效率更高而已。

生成式人工智能所带来的灵活性远远超出了传统动画的范畴。

无论您的生成式人工智能使用案例是什么，都要明白，虽然从零开始构建工具可能具有挑战性，但结果却非常强大。"我们的方法是，如果现成的工具足够成熟，就使用它。如果不够成熟，那就自己创建。"Snider-Held 说。Snider-Held 说道，"除了确保工具符合他们的特定需求外，随着技术的快速发展，采用定制路线的团队也能更好地适应未来的需要。

那么，您是否已经准备好探索生成式人工智能对您所在领域的意义？在探索数字创作快速发展的最新实验室报告中，了解更多有关该技术的来龙去脉。