挑战

激增的电子商务需求导致对自动包裹处理系统的需求大幅增长。如今，大多数自动包裹分拣机采用最后一公里人工分拣方案。这种方案执行缓慢、繁琐且耗费大量体力。如何增效物品运输？实现最后一公里的包裹准确快速分拣，以机械化设备代替人工操作是亟待解决的问题。

解决方案

瑞士的Prolistic GmbH为其eSorter系统开发了一种低成本自动包裹感应系统。该系统融合了Nerian 3D双目视觉系统、神经元网络和机械臂技术。

· 自动包裹分拣机

Prolistic与伯尔尼应用科技大学和CSEM (瑞士电子与微技术中心，Centre Suisse d’Electronique et de Micro-technique) 创新专家合作，为灵活的包裹分拣系统eSorter开发自动感应系统。

收入的包裹倾倒并输送到传送带上，3D视觉系统和神经元网络检测不同的包裹及其位置，机械臂基于这些信息单独捡取包裹，并正确定向输送到对应的传送带上。

· 模块化系统架构

此系统融合了视觉、神经元网络和机械臂技术，具备如下特性：可处理重量10kg以内、体积400 x 300 x 200mm3以内的包裹；可轻松驾驭任意包装材料；每小时至少搬运4000个包裹；可识别姿态偏差±5mm和±20°以内的包裹；可识别并读取地址标签。

此系统为模块化架构，可根据所需的吞吐量部署大量机械臂单元。模块与gRPC/protobuf通信，CSEM开发了Visard用户界面，方便用户控制整个流程。3D打印的真空抓手配有多个抓取区域，融合了吸盘和密封泡沫，兼具吹扫功能，可处理不同尺寸、重量和包装材料的包裹。

eSorter 感应系统：机械臂从接收传送带取下包裹

· 3D深度相机和图像处理 

eSorter系统配备了Nerian 3D双目视觉系统，该3D系统由Karmin3双目视觉相机组成，与Nerian双目视觉传感器 SceneScan Pro互连。额外的LED图案投影仪可为测量对象添加纹理，几乎可改善任何表面上的3D处理结果。

投影仪通过SceneScan Pro系统同步触发；双目视觉系统可提供高达135 fps的帧率或高达6 MP的处理能力；最后，系统通过神经元网络可实现对包裹的分类和检测。

机器学习是通过真实照片的合成数据完成的，数据包含所有场景信息（包括地块尺寸、姿态、材料），以及快速且不受限制的大量训练数据。

RGB图像

为缩小模拟与现实的差距，深度学习必须拥有真实数据支撑，计算3D姿态预估边框并将其发送至机械臂包裹处理机。

从Nerian SceneScan 相机获取的包裹深度图像

Nerian SceneScan Pro是一款3D双目视觉传感器，可与Nerian Karmin3双目相机或两台Alvium USB3相机互连，打造功能完整的3D双目视觉系统。

SceneScan Pro支持USB3相机，是一款非常灵活的传感器，几乎可根据任意应用进行配置和适配调整，其具有如下特点： 以高达135 fps的帧率超高速、细致地实时处理3D图像；高达4300万个3D点/秒的精密深度信息；通过以太网直接传输完全计算的3D数据，无需主机或GPU额外提升处理能力。

双目视觉系统亮点：相机自动校准，在恶劣环境下运行时可实现稳定的3D测量；可在室内外环境运行，不受阳光或其他传感器干扰；可以与额外的LED图案投影仪配合使用，改善复杂表面的3D处理结果。