- 05/28
- 2024
-
QQ扫一扫
-
Vision小助手
(CMVU)
大模型赋能,突破硬件局限,跨维智能重磅推出首创新品IRIS智能相机及工业物流纯视觉成像感知套件,携手合作伙伴,助推新质产能迈向高效新时代。
IRIS + 大模型 > 传统3D方案
在现代供应链管理中,拆垛作业作为物流与制造流程的关键环节,其效率对整个供应链的流畅运作至关重要。当前,使用“3D视觉+机器人”的方式替代人工进行拆垛,从而提升生产效率、提升质量与一致性、降低劳动风险、降低运营成本已逐渐成为行业共识。而如何通过高通用性的技术,使3D视觉拆垛在各领域中更通用、更易用、更高效,是跨维智能在物流及制造领域的其中一个突破方向。
跨维智能结合自身在具身智能、大模型、3D视觉等方面的技术积累及众多终端行业的应用经验,正式发布国内首创的IRIS智能相机,并针对拆垛场景推出全新升级的纯视觉成像感知套件,致力于使3D视觉引导应用“更高、更快、更强、更易用”。全新套件可覆盖更全面的场景,有效应对阳光直射或半室外环境,具备更强大的通用识别能力的同时,最快5分钟可完成视觉配置。
跨维智能IRIS智能相机及全新纯视觉成像感知套件
突破3D成像技术限制——结合AI成像和双目结构的IRIS智能相机
常见的3D工业相机主要采用结构光、飞行时间(TOF)等技术,用于获取三维空间中物体的形状和位置信息,从而完成下游检测、定位、测量等任务。然而,这些技术也存在诸多限制,如成像容易受到环境光的影响、成像时间较慢、相机使用寿命短、成本较为高昂等。
针对以上3D成像技术的限制,跨维智能基于DexVerse™ 数据与具身智能仿真引擎,通过创新研发 Sim2Real 在双目立体成像中的应用,成功突破了传统3D成像的技术限制,创新性地推出了基于双目立体成像技术的 IRIS智能相机。双目立体成像技术模仿人类双眼视觉原理,利用两个相机从不同角度获取图像,并通过使用 Sim2Real 训练的智能算法,使用两组不同角度的图像,可以在各种环境光下,最快 0.5s 内精确重建场景的三维点云,解决了传统3D相机的问题,有效提升视觉系统的稳定性,为3D成像领域带来了革命性的创新和突破。
IRIS智能相机对各种物料的点云成像图
在阳光直射或半室外环境的客户项目现场,传统3D成像技术由于受到环境光干扰、复杂光照条件的限制,难以满足用户场景的需求。而跨维智能采用了基于双目立体成像的 IRIS 相机,不仅有效地解决了复杂光照和半室外强光条件下的成像问题,还提高了系统的稳定性和准确性。更重要的是,双目成像技术在保持高性能的同时,还实现了成本优化,凸显了其出色的经济性优势。
拆垛新质效能助推器——工业物流纯视觉成像感知套件
针对拆垛场景,跨维智能基于在具身智能多模态大模型上的长期积累,结合IRIS智能相机,打造了基于3D VLA (3D Vision Language Action) 大模型的全新工业物流纯视觉成像感知套件,支撑拆垛场景趋近实现AnyGrasp,而不再是针对不同的操作对象进行定制的数据标定及任务编程。从而具备更强大的核心能力、更高的通用性,实现更快的交付、更优的应用成本。
1.更强大的核心能力:轻松应对不同纹理、材质的纸箱和麻袋定位
• 麻袋定位:准确定位各种材质、纹理的麻袋
• 纸箱定位:准确定位各种材质、纹理的纸箱
• 底托定位:准确定位纸箱下方的底托(如有)
• 纸箱尺寸测量:精确测量纸箱的长宽
• 底托尺寸测量:精准测量底托的长宽
• 纸箱长宽方向识别:精准识别纸箱长边和短边的方向
2.更高的通用性:支持自适应学习、通用识别各种拆垛物料的3D视觉大模型
跨维智能以Sim2Real为核心,打造了独有的 DexVerse™ 数据与具身智能仿真引擎,用于数据生成与大模型训练。在拆垛场景中,通过 DexVerse™ 可以仿真模拟纸箱、麻袋拆垛的场景,生成海量带有精准标注信息的高质量数据,利用 Sim2Real 训练用于拆垛场景的视觉大模型。同时,通过大量的落地项目,积累真实数据,使用Sim2Real的假面模式可端侧微调,和使用 Real2Sim 的影子模式端侧域自适应,持续训练并提升模型能力,提供了通用识别各种拆垛物料的3D视觉大模型。
通过 DexVerse™ 仿真生成大量的高质量合成数据用于3D视觉大模型训练跨维智能视觉大模型在部署时,可以基于自身预测的结果,微调模型参数,从而使模型的性能进一步提升。同时,针对不同的真实现场,3D视觉大模型可以结合少数真实场景中的特殊纹理,自动生成针对特殊纹理的高质量仿真数据,进而微调模型,从而克服复杂、特殊、有歧义的纹理对模型性能造成的影响,解决了例如麻袋反光、褶皱、塌陷,纸箱紧密贴合、表面有胶带等客户项目现场的棘手问题,趋近实现拆垛场景下的AnyGrasp。
通过3D视觉大模型,能准确识别各种类型的麻袋和纸箱
3.更快的交付:零代码,最快5分钟
为了提升现场交付效率,跨维智能升级了 3D 视觉引导软件 PickWiz,有效降低3D视觉引导抓取软件的学习门槛,大幅缩短交付周期。秉持零代码的设计理念,PickWiz 基于融合具身智能相关技术与行业积累经验,针对不同任务场景,提供了不同的预设选项,可供用户基于实际情况灵活搭配,直接调用该场景下软件预设的视觉配置及对应的3D视觉大模型。
同时,PickWiz 提供了多种常用品牌的机器人预设程序,方便用户快速完成标定和抓取任务。扩充了更多应用场景且大幅缩短了调试时间,最快5分钟即可完成视觉配置,20分钟即可配合机器人进行抓取调试。
PickWiz 3D视觉引导抓取软件,极简设计,最快5分钟即可完成视觉配置
4.更优的应用成本:高通用性、易用性支撑规模化、快速交付
不同于传统3D视觉引导方案频繁地项目化定制,带来的长交付周期和高昂的应用成本,跨维智能的全新纯视觉成像感知套件,凭借其卓越的通用性与易用性,可支撑规模化应用并快速交付,在保持更高性能的基础上,实现更为极致的应用成本优化。同时,在新品正式发布期间,可以享受新品限时优惠政策,助力广大客户及合作伙伴“跨越维度,快人一步”。
应用案例
跨维智能推出的3D视觉成像感知套件在物流、化工、农业、食品等行业的多个客户现场完成了落地并稳定运行。
跨维智能3D视觉成像感知套件在各个客户现场稳定运行
这些案例展示了跨维智能3D视觉成像感知套件的技术实力和广泛的应用潜力,相信通过此次全新的升级迭代,跨维智能将与更多的合作伙伴一起,为各行业创造更多的便利与价值。