运动捕捉技术如何成为好莱坞常用的VFX角色技术
运动捕捉技术如何成为好莱坞常用的VFX角色技术
在《魔戒二部曲：双城奇谋》中，咕噜这个角色完全是根据演员Andy Serkis的演技以数字方式创造出来的。Serkis一开始只是为咕噜配音，但开始工作之后，导演Peter Jackson就认为他的动作可以完美地呈现到屏幕上。这个流程称为运动捕捉（mocap）或表演捕捉，但并非由导演Jackson所发明。早在1937年，迪士尼的《白雪公主》就使用了动作捕捉的早期版本：绘画式转描（rotoscoping）。
在《双城奇谋》中，动画师参考了与《白雪公主》一样的表演画面，以便配合真人画面中Serkis的时间和动作。二十年前，Jackson在电影《魔戒》三部曲和《金刚》中将逼真度和细节提升到了全新境界，并凭借《双城奇谋》和《王者再临》赢得了奥斯卡视觉特效（VFX）奖。
Wētā FX的VFX总监Erik Winquist表示，表演捕捉技术的基本要素从那时起就没有什么改变，Wētā FX公司在上述电影以及《阿凡达》和《猩球崛起》系列等电影中推动了表演捕捉技术的发展。Winquist表示：“基本上，我们所做的仍然是找到一位才华横溢的演员，在他们身上贴上某种标记，让他们进入片场，然后录下他们的表演。”
全新进化的人猿
利用最新的运动捕捉技术，Wētā FX工作人员可以在户外日光下，甚至是恶劣环境条件下捕捉表演。Image © Disney。
VFX美工人员认为，他们最棒的工作成果是藏于无形的。逼真度的标准很高，VFX哪怕有一丁点瑕疵，观众也会恶评如潮。在今年的《猩球崛起：王国诞生》中，表演捕捉可以说是无懈可击。观众可以从屏幕上体验到会说话的逼真人猿，他们与道具、真人角色以及彼此之间进行互动。
Winquist和他的技术团队为2011年《猩球崛起》所解决的最大挑战之一，就是如何在户外，也就是在片场布景之外进行运动捕捉。他表示：“运动捕捉技术是以红外线为基础，而太阳光有大量的红外线成分，只要一走到户外，您就必须与所有反射回来的红外线对抗。”
运动捕捉团队需要Winquist所说的“黑海中的白点”来进行细致的捕捉，这些白点是指连接到演员穿着的运动捕捉服装上的标记。在室内片场里，您可以使用没有红外线的人造光，这样摄影机就可以轻松捕捉到服装标记。为了能够在室外进行表演捕捉，他们对标记进行了改良。
最新一代的标记采用小的LED光源，可与相机快门同步启动，将LED光源独立出来并滤除所有其他红外光源。摄影师可以调整曝光设置，这样就不会捕捉到阳光中的红外线。
不过，主动式LED灯可能很脆弱。在2014年的《猩球崛起：黎明的进击》中，Wētā FX将电线包裹在保护性橡胶绳中，以便可以在加拿大温哥华的潮湿森林中进行户外拍摄。在2017年的《猩球崛起：终极决战》中，Wētā FX就使用了保护壳在雪地和水中等更严酷的环境中捕捉表演。
视差视角
立体捕捉演员的表演和脸部表情，让Wētā FX动画师能够更轻松地在真人画面中将3D角色网格套用至演员身上。Image © 2024 20th Century Studios，由Wētā FX授权使用。
Wētā FX的运动捕捉流程的其他进步包括在面部装备中安装更多技术以捕捉更多细节，以及使用两台摄影机更精确地捕捉细节。就像3D电影因为两个影像之间几乎无法察觉的差异而产生深度错觉一样，使用两台摄影机可以让动画师更精确地呈现演员脸部的3D网格，提供比单一镜头更精细的细节。
由于灵长类动物移动脸部的方式很独特，因此这项突破对《猩球崛起：王国诞生》至关重要。Winquist表示：“一旦演员噘起嘴唇、嘴唇伸展或突出，尤其是人猿在发出嘶吼声时，在只用一台摄影机的情况下，所有这些事情都会很棘手，需要大量的猜测。3D网格就能有效提高精确度。”成功制作这类动作的动画，创造出活生生、会呼吸、会说话的猿猴角色，忠于真实的人猿，展现了表演捕捉技术的进步。
这项新技术还消除了手动3D深度合成的需求。脸部装备和标准摄影机上的立体捕捉意味着Wētā FX可以为画面中的任何内容建立3D网格，而不仅仅是演员。这大大改进了匹配移动的过程，也就是将2D动画物体放入实体画面中。Winquist表示：“八个主要角色都在与真实的道具互动，例如武器或翻书。在主要片段中保留这些动作，一旦清楚了解角色在3D空间中的位置，就能更轻松在主要片段保留这些动作，却以动画元素取代角色进行互动。”
捕捉演员的精髓
《猩球崛起：王国诞生》的角色诺亚透过表演捕捉和CG动画保留了演员Owen Teague表演的所有细微元素。Image © Disney。
表演捕捉过程中的关键要素仍然是表演，演员以角色的身份来表现动作和行为。在《双城奇谋》和《王者再临》中，咕噜这个角色之所以如此出色，主要是Serkis对于胆怯、尖酸刻薄个性的发掘。在《猩球崛起：王国诞生》中，主演Owen Teague在灵长类动物保护区学习猿猴的行动，让他的表演更加真实。
当Serkis向媒体介绍即将上映的《魔戒》电影系列新作《猎杀咕噜》时，他表示这项技术其实是一种解放。他说道：“现在已经达到一个层次，表演的作者身份可以让您更进一步深入内化，而不会有过度表演的感觉。这项技术现在显然在更大且更深的层面上发挥着作用。”
但现在的导演可以在表演的同时在平板电脑上观看场景，并将角色装备即时套用到表演捕捉资料上。Winquist表示：“电影制片人不需要专注于‘猿人感’，我们可以进行各种后制调整，例如增加角色身高或和谐地融入画面。最需要关注的是演员脸部的细微变化以及最微妙的微调。我所担心的是，这会抹去那些使人表演独树一格的粗糙界线。如果导演因为他们看到的是一个应用了即时低解析度代理脸部装备的近似值，而无法看到这一点，就无法获得所需的资讯来决定是第5次还是第6次的拍摄效果更好。”
Winquist补充道，无论技术有多好，导演和动画师都需要真正看到演员的表演，仅仅几个像素的微妙眼球移动，就能让每个人都看到“思维流转”。
在拍摄现场的表演捕捉与后期制作的CGI增强之间，可以取得完美平衡。Winquist表示：“有时候，我们必须发明一些导演在拍摄当天因为某些原因而没有拍到的东西。他们说电影的真正制作是在剪辑室里，经常有人会说‘如果当时取得了现在拥有的知识，我们就可以用不同的方式来拍摄，但是，嘿，Wētā FX，您能帮帮我们吗？’”
同样地，一切都回归到表演上。他继续说道：“我们的动画师都非常有才华，但在导演和演员之间有种独特的关联。那种实验性创作就是在当下发生的。如果交由VFX团队处理，哪怕只需要几个小时，仍然需要一定的延迟时间才能完成更新。到那时，那种只有在片场才会发生的魔力，那种即兴的感觉就消失的无影无踪了。”
速度和规模
Wētā FX使用脸部深度学习求解器（FDLS）来高效产生初步的表演捕捉彩现，让美工人员有更多时间专注处理艰难的人脸表表达口语对话作业。Image © Disney。
Winquist表示，在这个领域工作多年之后，该公司的彩现流水线已经非常完善且流畅，因此他的团队可以彩现“绝对完美无瑕的真实感”。在二十一世纪的CGI里程碑中，水、火和头发等表面效果终于被“攻克”。如今，重点在于如何提高CGI和VFX的制作效率。他表示：“在某种程度上，这就像您买了一个新硬盘，然后不断往里面储存资料一样。”
表演捕捉是现代VFX中资料最密集的领域之一，因此非常适合机器学习。《猩球崛起：王国诞生》有超过1,500个VFX镜头，其中大多数都包含表演捕捉资料。只有38个镜头完全不含VFX，此现象与2002年的情况大相径庭，当时咕噜在《双城奇谋》中有17分钟的出镜时间。
在机器学习的协助下，Wētā FX开发了脸部深度学习求解器（FDLS），其中演算法导向的表演捕捉彩现可由人类全程验证，摒弃了大多數機器學習工具的“黑箱”特性。鏡頭獲得核准後，動畫師就可以直接將結果串流至編輯或動畫應用程式中的工具。Wētā FX使用Autodesk Maya作为平台，承載一些专有的视觉效果和动画工具。
Wētā FX在机器学习技术方面的进步，是為了让他们美工人員能够完成更多工作。Winquist表示：“我们希望依赖我们一直使用的核心团队，但在人猿脸上制作口語對話，倒是給他們增加了一些工作。”他补充道，FDLS协助《猩球崛起：王国诞生》的动画师为每个角色建立一致的基线，以套用在多个镜头上。
在表演捕捉工作流程中，一切都回归到故事的本质和制作风格。Winquist表示：“如果有一个角色要拍摄数十个镜头，您的处理方法就会改变，因为运动捕捉需要非常庞大的团队，突然间，您身旁就围绕着40名工作人员。如果只有一个角色，您在片场的工作会比较轻松，工作效率也会更高。因此，当我们进入片场时，务必要考量哪種技术最適合特定的表演和預算。”
他继续说道：“我们会评估特定专案的需求，并据此制定计划。我们可以将一个完整的捕捉系统带入摄影棚或外景场地，也可以只带上几台摄影机，在表演者身上放置稍有不同的标记，喊一声‘Action’，然后稍后在进行处理。”