光学动作捕捉（光学动捕）系统是什么？它能在自动驾驶、无人机、机器人中起什么作用？--机器视觉网

近年来，人工智能AI非常火热，算法越来越得到重视，其在AI中的地位越来越高。在智能体算法层面，动作捕捉是自动驾驶、无人机、机器人、安防等涉及电子运动学中最重要的技术和算法，而光学动作捕捉（简称光学动捕）处于这门算法学科的最前端。那么光学动作捕捉系统到底能做哪些事情呢？

人工智能分为三大学派，符号主义、连接主义、行为主义。无人机、机器人等智能体属于连接主义、行为主义范畴，其应用价值也日益凸显。

我们先设想几个场景：

在未来几年内无人驾驶会越来越普遍，甚至在不久的将来，道路上的车会有超过一半是无人驾驶汽车；

无人机的应用会越来越普遍，物流、巡查、航测等等；

从扫地机器人开始我们的家庭生活里智能体的数量会逐渐丰富起来。

以上都可以称作为智能体，智能体也必将深入我们的生活，成为我们的好帮手。

那么，智能体在开发阶段是如何进行的呢？在算法层面又是否需要一把高精度的尺子呢？

【定义】

先给光学动作捕捉系统下一个定义：

它相当于智能体算法层面的一把“尺子”，能够实时以0.1mm的精度捕捉空间内智能体6DoF位姿信息。

有些名词可能仍然不够清晰明，后面会进一步进行说明。

光学动作捕捉系统依靠一整套精密而复杂的光学摄像头来实现，它通过计算机视觉原理，由多个高速摄像机从不同角度对目标特征点进行跟踪，以完成全身的动作的捕捉。

光学动作捕捉系统是一种用于准确测量物体（刚体）在室内三维空间运动信息的设备。

具有高精度的室内定位能力，能够给室内小车、无人机、机器人、机械手臂等智能体提供高精度的空间位置信息。

【工作原理】

精准记录运动信息：基于计算机视觉原理，光学室内定位系统通过布置在空间中的多个红外摄像机，捕捉区域内物体上反光标识点的运动信息，并以图像的形式记录下来。
实时解算六自由度位姿：利用计算机对捕捉到的图像数据进行处理，实时地解算出运动物体的六自由度位姿，即三自由度位置（X,Y, Z坐标）和三自由度姿态（俯仰角，偏航角和滚转角）。
该系统也可以称为“室内定位系统”或“室内GPS”。
多架相机支持，覆盖范围广：光学室内定位系统采用智能相机，将反光球图像坐标传到主机，不同相机数目将产生不同的覆盖范围，相机越多，覆盖范围越大。

【应用场景】

可以做算法验证、运动规划、集群控制、人机交互、轨迹回放、步态分析、智慧沙盘等。

现在大家已经知道了光学动作捕捉系统能够捕捉哪些数据，以及能有什么用，那么下面我来给大家分享一些具体案例

具体案例（视频请看文末联系方式）

先讲一下无人机集群控制，在这个案例中光学动作捕捉系统起到的作用是让无人机知道“我”在哪？“你”在哪？我下一步要做什么？

大家可以看到无人机是飞在空中的，所以我们要捕捉其6DoF信息给到上位机，上位机再把控制指令发送到无人机集群。

无人机集群是高速运动的，而且是多架，所以就必须做低延时的反馈效率，要不然无人机就炸机或者相互撞上。

所以光学动作捕捉系统的低延时、捕捉6DoF位姿信息的功能起到了至关重要的作用。

说完多架无人机,我们来说说单架无人机。

大家可以看到这是一个虚实结合的方案，光学动作捕捉系统在实物仿真算法验证阶段起到了“尺子”的作用。

举例说明，在飞控开发悬停的时候，有一个理论的输入值和一个实际的输出真值.

这个差值就是算法层面的△P,需要一个高精度能够捕捉6DoF的尺子,给测量出来验证算法的准确性进而高效的算法，其他智能体在算法层面亦类似。

某高校智慧交通沙盘，有十几辆小车要求能够准确的识别路况、周围环境、变道等。

前面有提到智慧交通无人机驾驶在短期的未来会逐渐的普及。

大家可以想一下，路上跑无人驾驶汽车都需要具备哪些功能呢？

高精度的识别、超低延时的反馈。

而且这些无人机驾驶汽车一定是从实验室里跑出去的。

所以这套系统在无人驾驶领域，也有着足够强大的应用前景。

提到智能体大家或许会想到机械手臂，机械手臂一般是六轴的。

光学动作捕捉系统在机械手IK反向动力学算法中有着很重要的作用。

在空间中机械手要抓取一个细小的零件需要一个高精度6DoF控制信息，和要一个精准的轨迹规划路径。

在空间内机械手的第六轴从A点位移到B点需要高精度的“尺子”来验证其算法的准确性。

光学动作捕捉系统定位精度达0.1mm且可捕捉6DoF位姿数据足以满足需求。

在老牌自动化相关专业多数都在研究机械手臂。

这个市场的存量和增量都非常可观，包括基于机械手的人机交互的研究等等。

【机器学习】

以无人机机器学习为例，无人机在训练“黑盒子”的时候，有一个理论的输入值和一个输出的真值。

这里的输出真值需要一个高精度的“尺子”来佐证数据的准确性，为人工智能—机器学习沉淀大量的数据。

光学动捕相机

前面提到光学动作捕捉系统的定义：实时以0.1mm精度捕捉空间内智能体6DoF位姿信息。

那光学动作捕捉系统是怎么做到这么低延时，这么高的精度，以捕捉智能体的6DoF位姿信息呢？

因为光学动作捕捉系统肚子里有一个非常强大的GoKu SoC处理模块，内置高速目标追踪算法，可同时捕捉400个目标智能体。

它能够以每秒钟拍摄并处理360张灰度图，并以ms为单位把灰度图转化为数据坐标给到上位机，这样就会大大减少了带宽的需求。

光学动作捕捉系统支持被动光和主动光系统。像素达130像素可以满足绝大部分的用户需求。且理论上支持无限级联，覆盖几千平米的面积都没有问题。

拆开看看光学动作捕捉相机，大家同样可以看到强大的SoC模块，动捕相机的体积非常小巧集成度非常高。即小巧的身躯解决了大问题。

介绍了光学动作捕捉相机的内在，我们再来说说多个光学动作捕捉系统部署统一空间内时如何同步标定。

首先空间内相机部署完成后第一件事是要用“T型杆”进行扫场时的多个相机同步，告诉这些光学动作捕捉相机他们在同一空间内；

第二步是利用“L型杆”以某一个相机为基准，建立整个空间的坐标系。

这两步完成后就可以开始工作捕捉空间内的智能体了。

大家可以看一下标定的界面视频，这是其中的一个课题，大家可以看到有79台光学动作捕捉相机，场地大小达到了300平米（视频请看文末联系方式）。

理论上级联没有上限。

标定完，空间内坐标系建立完成，那我们就开始在智能体上做些文章了。

捕捉智能体分为被动光标记和主动光标记。

首先先介绍一下被动光标记，在智能体上搭建一个以反光marker点空间几何刚体即可，因为空间几何在空间内位置信息是唯一的。

只要这个刚体被两天以上的相机同时看到，就可以把位姿信息定位出来，原理是光学动作捕捉相机发出850nm红外光，照到反光球反射回来产生相位差。

被动光捕捉已经是世界上比较先进的方法了，下面介绍一下比被动光系统更为先进的方法，主动光自识别频闪编码。

一组LED灯发出850nm频闪的红外光被光学动作捕捉相机直接识别，开放部分API客户可自行开发，LED灯频闪相当于1/0的编码被光学动作捕捉相机识别，其是唯一的，一个智能体上固定3个以上的可编码LED灯即可，这样做有几个优势：

不用3D打印刚体直接固定在智能体上，避免了损坏，且智能体美观，操作开发方便。
主动光识别的追踪距离更远，在相机部署的数量上有优化的空间。
用户以往是基于光学动作捕捉系统开发智能体，并进行相关研究和撰写论文。开放API后会在动捕系统方向做相关研究，但目前此方向研究很少，因而相关专业的硕士博士有很大的论文研究空间。
因为是频闪所以耗电量极低，因此它不会不影响智能体的正常运作。