日期
02/05
2024
咨询
  • QQ扫一扫

  • Vision小助手
    (CMVU)

3D点云实例分割现成算法模块助力实现自动化上下料应用
收藏
2024-02-05 14:03:00来源: 中国机器视觉网

全球范围内的大型汽车制造商和技术公司,以及一些专注于智能制造领域的创新企业,在3D视觉引导汽车部件自动化上下料项目方面都在进行研发和实践。国内外汽车制造行业,越来越多的企业开始采用3D视觉引导技术进行自动化上下料操作。

本文将介绍3D点云实例分割现成算法(Part Finder)模块,通过该算法模块的应用,基于友思特Ensenso的3D相机拍摄的物体点云以及纹理,能够将不同物体分割为独立的实例,准确识别部件的位置和方向,控制机器臂和其他设备动作,自动化上下料、分拣等系统的效率和准确性将得到显著提升。

算发模块的具体操作步骤

· 选择相机

选择并打开要在NxView SDK软件中使用的相机。在本文中,我们将使用我们SDK中的文件相机(无需接入真实的相机,直接通过我们提供的相机点云文件,即可读取由相机之前拍摄的图像)。请注意,您需要使用 STL 或 PLY 模型,目前此两种模型均可以支持。

· 打开Part Finder模块

微信图片_20240117140537.png

如上图所示,使用菜单项打开Part Finder,点击工具,进一步可以找到Part Finder算法模块。

· 创建模型

我们必须先生成一个模型,然后才能使用它作为模板找寻相同的目标物。选择一个 STL 或 PLY 文件,可以支持导入CAD模型。如果您的模型是对称的或仅从某个方向观察,则可以相应地选择视角选项,可以根据应用场景的需要,也就是场景中定位工件的姿态来选择最优的视角来生成模型。这是可选的,但会提高在特定应用场景下的性能。现在我们将其保留为默认值。

您可以暂时将其他选项保留为其默认值。如果要试验这些不同的参数,请参阅我们所提供的SDK说明文档中的命令文档或工具提示,了解有关不同参数的作用的详细信息。单击生成模型(Create Model),模型会被自动创建,进入下一步。

微信图片_20240117140541.png

· 实例分割,搜索目标物单体

切换到Part Finder对话框中的选项卡——“查找”。现在我们可以将大多数搜索参数保留为其默认值。对于本文场景下,我们必须减小或禁用最小假设得分参数,才能在 3D点云数据中查找模型的所有匹配项。如果不更改此参数,零件查找器将仅查找场景中的最佳匹配项。单击开始搜索。搜索完成后,对话框将在结果选项卡中显示检测到的零件表。

微信图片_20240117140547.png

微信图片_20240117140551.png

检测到的零件也将在NxView SDK软件的3D视图中可视化。可视化效果的颜色表示匹配的覆盖范围。好的匹配将是绿色的,较差的匹配(例如某些部分被遮挡)将是橙色的。并且会生成总报表,将视野范围内所识别定位的所有工件列出来,包含识别分数、XYZ坐标姿态等信息。

微信图片_20240117140555.png

至此,透过我们的Part Finder算法功能模块,便可以找到3D相机视野下的每一个单独的目标物。除此之外,为了让用户能够将我们的点云实例分割部署到自己的应用中,我们会提供C++例程,让用户通过调用我们的SDK就可以将网络模型生成和搜索目标物的两个操作非常快速简易实现。

Part Finder的使用优势

1. 支持与友思特高精度Ensenso 双目散斑3D相机配合使用。2. 快速生成模型和搜索匹配目标单体。3. 在定位识别中可同时结合纹理和深度数据。4. 可处理自相似零件方向。5.支持处理球体、长方体等不同几何体类型。6. 支持检测复杂的3D表面几何形状。7. 支持识别带有纹理部件的不同姿态。