- 11/29
- 2024
-
QQ扫一扫
-
Vision小助手
（CMVU）
视觉效果 (VFX) 的进步引发了娱乐行业的数字化转型，并改变了我们消费媒体的方式。 如今，要将这些数字角色、物体和环境带入电影、电视节目和视频游戏中，首先要部署高速 3D 数字捕捉系统。
然而，在视觉特效(VFX)流程中使用 3D 头部扫描系统时可能会出现一些挑战。 激光扫描或结构光等技术需要拍摄对象保持静止，这会减慢整个电影的制作速度，并且可能需要在事后从拍摄的图像中去除高反光成分。 此外，复杂的系统需要专业的电气和机械工程师来设置。 为了解决这些问题，一站式视觉测量与扫扫描公司 Pixel Light Effects 利用高速、高分辨率 GigE Vision视觉相机 其 3D 数字捕捉系统能够创建逼真、准确的 体积扫描 用于在视觉特效（VFX）流程中。
Avoid the Uncanny Valley避开恐怖谷
三十二年前，詹姆斯·卡梅隆的《终结者 2》成为视觉特效领域的分水岭，据报道，这标志着故事片中的主角首次部分使用计算机图形创建。 虽然效果仍然存在，尤其是在当时，但技术已经远远超过了 1991 年的续集。 （参见卡梅伦的 2022 年 阿凡达：水之道）尽管如此，对于所有已有的高质量视觉特效的执行良好的例子，许多其他极端的人也这样做了。 例如 2017年《正义联盟》(Justice League)中亨利·卡维尔(Henry Cavill)的胡子被数字化删除，或者2004年《极地快车》(Polar Express)给许多观众带来的不幸的恐怖谷效应。
糟糕的视觉特效可能会毁掉一部电影，而出色的特效则能提供让观众沉浸在观影体验中的真实感。对于Pixel Light Effects公司——其最近的项目包括《猎物》、《死侍2》、《猩球之战》、《变碳》、《塞布丽娜惊魂记》和《往事》——这意味着部署所谓的4D扫描(或“3D with time”)体积捕捉技术。3D角色动画公司Reallusion使用4D扫描，获取的每一帧都是带有纹理贴图的3D模型。一旦12 x 12英尺的头部扫描设备安装和设置完毕(图1) ，相机就会被校准，拍摄参数存储在公司的专有软件中，并在每个启动序列中进行同步。内置参数还可以更改拍摄参数，如相机设置，帧速率，LED亮度，照明顺序等。
图 1：恐龙头骨复制品放置在 3D 数字捕获系统内进行扫描
快门和 LED 闪光灯是与相机设置精确同步的硬件。 该系统使用 142 只 60 fps 的线性偏振 LED 闪光灯来确保光强度，而不会消耗过多的功率,避免过亮对演员的影响。 这些灯光为纹理采集创建了漫射照明环境，并显示了脸上的皱纹。 来自32台机器视觉相机的帧数据被传输到带有高速固态硬盘 (SSD) 或大量 RAM 的定制配置数据服务器中，然后数据进入图形处理单元 (GPU) 进行编码。
Ditching Digital Doubles放弃数字替身或数字人
Each frame is constructed by 32 images, allowing the system to track the mesh sequence in Wrap4D for consistent topology. The final output of the system is typically used in two different ways for animation, according to Jingyi Zhang, CEO of Pixel Light Effects.
每帧由 32 个图像构成，允许系统跟踪 Wrap4D 中的网格序列以获得一致的拓扑。 Pixel Light Effects 首席执行官 张京一（音译）表示，系统的最终输出通常以两种不同的方式用于动画。
“首先，这些数据可以用作绑定参考，以研究脸部在表情之间如何变形，从而使 CGI 艺术家能够从连续网格中提取 ‘中间部分’，以便在他们的脸部绑定中添加额外的混合形状，” 他说， “此外，该系统还能够进行 4D 表演捕捉，捕捉到的序列可以与已装配的动画叠加以验证表演。”
为了避免过去电影的错误让观众脱离体验，Pixel Light Effects捕捉人类演员的表演并使用 4D 技术创建数字替身，然后将演员的表演延伸到 3D 数字空间。
图 2：Pixel Light Effect 的 3D 扫描系统利用零数据丢失的高速、高分辨率相机来提供更高质量的数字替身
“面部动画的难点是捕捉正确的感觉或情绪，因为动作捕捉和动画过程中，一些微妙之处可能会丢失，” 张说，“我们帮助引导表演者进入正确的情绪，并在3D环境中复制这种行为。
“我们听到很多人说数字替身变得如此真实，我们不再需要演员了，但我们强烈表示不同意，” 他继续说道， “我们依靠演员的才华和表演，将其引入CGI，这样观众就可以沉浸在故事中，获得更好的体验。”
高速、高分辨率的升级
张表示，在之前的设计中，系统使用 32只 5MP 10GigE 相机经验，但3D/4D重建的结果并不太理想。
“在之前的迭代中，系统很难提取几何细节，低纹理质量影响了跟踪结果，” 他说。 “当时市场上的其他高速、高分辨率相机对于我们的应用来说并不经济。 因此，当我们发现 Emergent Vision Technologies 的相机时，它改变了游戏规则，使我们能够为客户的内容创建流程提供卓越且更易于访问的解决方案。”
Pixel Light Effects 首先选择了 HR-12000-SC 相机，一款基于 Sony IMX253芯片的10GigE 10MP彩色相机，帧速率高达 80 fps。 相机的优点包括低噪音、多相机同步以及光纤电缆长度从 1 m 到 10 km，无需光纤转换器或中继器。如此优秀的性能和强大的客户支持，促使我们选择了他们，张说。
图 3：首次部署 Emergent 的 10GigE 摄像机后，Pixel Light Effects 将安装 32 个 25GigE 摄像机，分辨率为 24.47MP，帧速率可达 98fps
他说：“分辨率和帧速率在我们的系统中同样重要，但 Emergent 不仅拥有我们需要的摄像机，还拥有成熟的软件开发工具包和网络接口卡，以促进快速可靠的数据传输，” 他补充说 Emergent提供了知识渊博的技术支持团队，可以非常及时地回答所有问题。
在新版本的系统中，Pixel Light Effects将集成25GigE HB-25000-SB-C 相机，基于 24.47MP Sony IMX530，通过高速 25GigE QSFP25 接口，帧速率可以达到 28 fps。
“以前的设计利用了 10GigE 接口，但这些新的 25GigE 相机让我们能够以相似的帧速率可靠地捕获数据，但分辨率要高得多，使我们的系统在公开市场上更具竞争力，” 张说。