日期
06/07
2023
咨询
  • QQ扫一扫

  • Vision小助手
    (CMVU)

图像处理技术支持智能房间的示例,介绍HALCON Smart home
收藏
2023-06-07 15:20:43来源: 中国机器视觉网

近年来,对智能房间的研究逐渐兴起。这类房间日益显现其重要性,不仅有助于改善医疗服务和提升幸福感,还可用于办公室或普通房屋。毫无疑问,可传达人类意图的人机接口是打造智能房间的重要组成部分。此篇文章介绍了采用图像处理技术支持智能房间的示例。

智能房间手势识别概况

要实现简单便捷的交互,智能房间必须能够自动辨识房间内的人员并理解其手势。为此,我们在天花板处安装了 CCD 摄像头,以提高这个过程的简便性和可靠性。这里我们主要介绍人手做出的手势。系统首先会通过 CCD 摄像头找到房间内的人员,接着利用颜色信息提取手部区域,然后从手部区域提取手指区域,并识别出手指数。如果提取的手指数为 1,且手部未移动,可确定手指在指向某一方向。

640 (2).jpg

天花板装有 CCD 摄像头的智能房间图示

提取手部区域

我们通过检测头部识别人类。为了降低计算成本,会从头部区域中心建立手部搜索区域。我们将图像转换至 hsv 空间,以降低亮度产生的影响,并在二维色度和饱和度空间中提取手部区域。

640.jpg

提取手指区域

识别手指数

手指数是意图传输方法的重要元素。识别手指的过程如图 2 所示。首先减小提取的手部区域 (1),并去除手指区域 (2)。随后,将区域放大 (3) 为原始大小。两个区域之差(也就是 (1)-(3))代表手指区域 (4)。这样,手指区域数即等同于手指数。

640.png

识别手指数

识别指向方向

假设手指数为 1 且手部不动时,手指在指向某个物体。可以将获取的手指区域主轴的方向作为指向方向。假定房间中目标物体的位置已知。随即计算每个物体相对于手部的方向。算出每个物体的方向与得到的指向方向之间的夹角。如果夹角小于特定阈值,则会将形成最小夹角的物体识别为被指向的物体。例如,图 3 中将物体 A 识别为被指向的物体。

640 (1).png

识别指向物体

实验

我们的实验系统由 PC(Pentium III 500MHz、Windows NT)、图像处理板卡 PXC200、安装于天花板的彩色 CCD 摄像头以及图像处理软件 HALCON 组成。提取手部区域的实验如图 4 所示。进行头部区域和手部区域提取,识别出手指数为 1。我们的实验采集了 3 个对象的 200 个样本,手指数 (0-5) 的识别率平均高达 96.0%。

我们针对 200 张图像进行了指向 2 个物体的实验,具体如图 6 和图 7 所示。物体之间的夹角设为 60°、45°、30° 和 15°,平均识别率为 87.1%。夹角超过 30° 时,识别几乎不会出错。

640 (1).jpg

已识别的手指数示例

640 (2).png

识别指向方向

640 (3).jpg

已识别的指向方向

未来发展计划

到目前为止,已开发出识别手指数和指向方向的方法,并通过实验进行了评估。未来的工作包括构建更加实用的手势识别系统和智能房间。