日期
11/07
2024
咨询
  • QQ扫一扫

  • Vision小助手
    (CMVU)

基于深度学习的视觉系统用于红薯的分级与分类
收藏
2024-11-07 14:49:54来源: 中国机器视觉网

红薯在美国很受欢迎,美国在2023年收获了12.63万英亩的红薯。这些红薯通常由包装厂的人员根据美国农业部规定的尺寸、形状和质量标准进行手动检查和分级,但也有许多包装厂开始初步使用电子光学分级机按大小对红薯进行分类。

微信图片_20241107145028.png

密歇根州立大学的研究人员在《Computers and Electronics in Agriculture》杂志上发表的一篇文章中说,对红薯的手动检测过程耗时且费用昂贵。然而,研究人员又指出,与其它水果和蔬菜相比,红薯的形状天生不规则,因此对它的自动化质量评估就很有挑战。

密歇根州立大学的研究人员建立了一个红薯实时在线质量分级系统,他们使用激光雷达相机和卷积神经网络对在滚筒输送系统上移动的红薯进行检查和分级,最终将红薯分为四个质量类别,总体准确率达到91.7%。

创建深度学习视觉系统检测红薯

研究人员写到:“据我们所知,这项研究首次致力于开发由最先进的人工智能驱动的创新机器视觉技术,用于红薯的实时在线质量分级。”该自动化流程使用基于YOLOv8的算法,YOLO意为“You Only Look Once”,它采用卷积神经网络架构,是一个单级图像检测器,只查看一次图像。

研究人员开发的系统会根据红薯的尺寸和表面缺陷对其进行分级。在定制的辊筒输送系统上,当红薯以5 cm/s的速度移动和旋转时,相机会捕捉红薯的图像。研究人员手动将红薯装载至使用链条和齿轮系统旋转红薯的输送机上,这可使该系统能够收集到每个红薯所有表面的图像。

该机器视觉系统还包括一台Intel RealSense L515 LiDAR相机、一台计算机和一个监视器。Intel相机镜头朝下安装在传送带上方,能以30fps的帧率拍摄分辨率1920×1080像素的彩色视频。虽然该相机可产生RGB和深度图像,但研究人员只使用RGB图像。在计算机方面,则配备了Intel酷睿i7-13650HX@2.6 GHz处理器和NVIDIA GeForce RTX 4060 GPU。在软件方面,研究人员将跟踪器算法与YOLOv8集成,使他们能够实时划分和跟踪红薯。他们还使用具有2500多种计算机视觉和机器学习算法的OpenCV(开源计算机视觉库),开发了一种估计尺寸的算法。

微信图片_20241107145037.png

由定制设计的辊式输送机系统、激光雷达相机、计算机、监视器和封闭成像室组成的检测系统

检测系统性能评估

为了测试他们的系统,研究人员在当地的商店购买了123个红薯。经过培训的人员根据红薯的长度、宽度和表面缺陷对其进行手动标记和评估。研究作者、密歇根州立大学生物系统与农业工程系助理教授Yuzhen Lu解释道:“这种手动评估对于建立监督学习的基本事实是必要的。”

Yuzhen Lu和第二作者、助理研究员Jiajun Xu将红薯分成几批,然后将它们手动装载到输送机上,随后拍摄并制作了19个独立视频。他们将视频随机分为13个训练视频和6个测试视频,其中13个视频代表87个红薯,6个视频代表36个红薯。研究人员从视频中提取了285张静止图像。由于一张图像中通常会出现不止一个红薯实例,因此他们最终得到1564个红薯实例。这些实例被分为两组,1080个红薯实例用于训练,484个红薯实例用于测试。研究人员在每个红薯实例周围手动绘制多边形边界,并根据图像的视觉检测结果指定红薯的质量等级。Yuzhen Lu说,这一轮手动生成的标记和分级“对于缺陷分级的实例分割模型的训练和评估都是必要的”。

在测试过程中,红薯样本在旋转的同时在输送机上向前移动。算法估算红薯的尺寸、宽度和注意到的表面缺陷,然后确定静态照片中单个实例的质量等级。根据单个红薯所有图像的累积数据,来确定其最终的质量等级——最终将红薯分为四个质量类别,总体准确率达到91.7%。

研究人员指出了该研究的几个局限性。首先,与包装厂的情况相比,这些红薯样本是从商店挑选出来的,质量类别范围很窄。其次,输送机5 cm/s的传输速度太慢,无法对大批量红薯进行自动分级。

改进工作仍在继续。Yuzhen Lu说:“我们已经将计算机视觉算法与分拣机制相结合,从而创建一个更完整的系统。下一步我们将优化系统,以获得更好的分级和分拣性能,并在更贴近现实需要的例如0.5m/s以上的传输速度下进行测试。”

研究人员正在探索的另一条途径是使用多光谱成像技术,其想法是同时获取彩色和近红外(NIR)图像。Yuzhen Lu说:“因为近红外图像可以更好地分辨出一些缺陷,预计这种方法将能够提供与红薯质量评估有关的更多信息。”

(文章来源于互联网,如有侵权,请联系删文)