日期
10/08
2024
咨询
  • QQ扫一扫

  • Vision小助手
    (CMVU)

3D扫描系统,将数字角色带入现实
收藏
2024-10-08 15:35:43来源: 中国机器视觉网

视觉效果 (VFX) 的进步引发了娱乐行业的数字化转型,并改变了我们消费媒体的方式。 如今,要将这些数字角色、物体和环境带入电影、电视节目和视频游戏中,首先要部署高速3D数字捕捉系统。

然而,在视觉特效(VFX)流程中使用3D头部扫描系统时可能会出现一些挑战。 激光扫描或结构光等技术需要拍摄对象保持静止,这会减慢整个电影的制作速度,并且可能需要在事后从拍摄的图像中去除高反光成分。 此外,复杂的系统需要专业的电气和机械工程师来设置。 为了解决这些问题,一站式视觉测量与扫扫描公司Pixel Light Effects利用高速、高分辨率GigE Vision视觉相机 其 3D 数字捕捉系统能够创建逼真、准确的 体积扫描 用于在视觉特效(VFX)流程中。

一、Avoid the Uncanny Valley避开恐怖谷

三十二年前,詹姆斯·卡梅隆的《终结者 2》成为视觉特效领域的分水岭,据报道,这标志着故事片中的主角首次部分使用计算机图形创建。 虽然效果仍然存在,尤其是在当时,但技术已经远远超过了 1991 年的续集。 (参见卡梅伦的2022年阿凡达:水之道)尽管如此,对于所有已有的高质量视觉特效的执行良好的例子,许多其他极端的人也这样做了。 例如 2017年《正义联盟》(Justice League)中亨利·卡维尔(Henry Cavill)的胡子被数字化删除,或者2004年《极地快车》(Polar Express)给许多观众带来的不幸的恐怖谷效应。

糟糕的视觉特效可能会毁掉一部电影,而出色的特效则能提供让观众沉浸在观影体验中的真实感。对于Pixel Light Effects公司——其最近的项目包括《猎物》、《死侍2》、《猩球之战》、《变碳》、《塞布丽娜惊魂记》和《往事》——这意味着部署所谓的4D扫描(或“3D with time”)体积捕捉技术。3D角色动画公司Reallusion使用4D扫描,获取的每一帧都是带有纹理贴图的3D模型。一旦12 x 12英尺的头部扫描设备安装和设置完毕(图1) ,相机就会被校准,拍摄参数存储在公司的专有软件中,并在每个启动序列中进行同步。内置参数还可以更改拍摄参数,如相机设置,帧速率,LED亮度,照明顺序等。

微信截图_20241008142636.png

快门和LED闪光灯是与相机设置精确同步的硬件。 该系统使用142只60 fps的线性偏振LED闪光灯来确保光强度,而不会消耗过多的功率,避免过亮对演员的影响。 这些灯光为纹理采集创建了漫射照明环境,并显示了脸上的皱纹。 来自32台机器视觉相机的帧数据被传输到带有高速固态硬盘(SSD)或大量 RAM的定制配置数据服务器中,然后数据进入图形处理单元(GPU)进行编码。

二、Ditching Digital Doubles放弃数字替身或数字人

每帧由32个图像构成,允许系统跟踪Wrap4D中的网格序列以获得一致的拓扑。Pixel Light Effects 首席执行官张京一(音译)表示,系统的最终输出通常以两种不同的方式用于动画。

“首先,这些数据可以用作绑定参考,以研究脸部在表情之间如何变形,从而使CGI艺术家能够从连续网格中提取‘中间部分’,以便在他们的脸部绑定中添加额外的混合形状,” 他说, “此外,该系统还能够进行4D表演捕捉,捕捉到的序列可以与已装配的动画叠加以验证表演。”

为了避免过去电影的错误让观众脱离体验,Pixel Light Effects捕捉人类演员的表演并使用 4D 技术创建数字替身,然后将演员的表演延伸到 3D 数字空间。

微信截图_20241008142700.png

“面部动画的难点是捕捉正确的感觉或情绪,因为动作捕捉和动画过程中,一些微妙之处可能会丢失,” 张说,“我们帮助引导表演者进入正确的情绪,并在3D环境中复制这种行为。

“我们听到很多人说数字替身变得如此真实,我们不再需要演员了,但我们强烈表示不同意,” 他继续说道, “我们依靠演员的才华和表演,将其引入CGI,这样观众就可以沉浸在故事中,获得更好的体验。”

三、高速、高分辨率的升级

张表示,在之前的设计中,系统使用32只 5MP 10GigE相机经验,但3D/4D重建的结果并不太理想。

“在之前的迭代中,系统很难提取几何细节,低纹理质量影响了跟踪结果,” 他说。 “当时市场上的其他高速、高分辨率相机对于我们的应用来说并不经济。 因此,当我们发现Emergent Vision Technologies的相机时,它改变了游戏规则,使我们能够为客户的内容创建流程提供卓越且更易于访问的解决方案。”

Pixel Light Effects首先选择了HR-12000-SC 相机,一款基于Sony IMX253芯片的10GigE 10MP彩色相机,帧速率高达80fps。 相机的优点包括低噪音、多相机同步以及光纤电缆长度从1m 到10km,无需光纤转换器或中继器。如此优秀的性能和强大的客户支持,促使我们选择了他们,张说。

微信截图_20241008142711.png

他说:“分辨率和帧速率在我们的系统中同样重要,但Emergent不仅拥有我们需要的摄像机,还拥有成熟的软件开发工具包和网络接口卡,以促进快速可靠的数据传输,”他补充说Emergent提供了知识渊博的技术支持团队,可以非常及时地回答所有问题。

在新版本的系统中,Pixel Light Effects将集成25GigE HB-25000-SB-C相机,基于 24.47MP Sony IMX530,通过高速25GigE QSFP25接口,帧速率可以达到28 fps。

“以前的设计利用了 10GigE 接口,但这些新的 25GigE 相机让我们能够以相似的帧速率可靠地捕获数据,但分辨率要高得多,使我们的系统在公开市场上更具竞争力,” 张说。