- 06/07
- 2023
-
QQ扫一扫
-
Vision小助手
(CMVU)
近年来,对智能房间的研究逐渐兴起。这类房间日益显现其重要性,不仅有助于改善医疗服务和提升幸福感,还可用于办公室或普通房屋。毫无疑问,可传达人类意图的人机接口是打造智能房间的重要组成部分。此篇文章介绍了采用图像处理技术支持智能房间的示例。
智能房间手势识别概况
要实现简单便捷的交互,智能房间必须能够自动辨识房间内的人员并理解其手势。为此,我们在天花板处安装了 CCD 摄像头,以提高这个过程的简便性和可靠性。这里我们主要介绍人手做出的手势。系统首先会通过 CCD 摄像头找到房间内的人员,接着利用颜色信息提取手部区域,然后从手部区域提取手指区域,并识别出手指数。如果提取的手指数为 1,且手部未移动,可确定手指在指向某一方向。
天花板装有 CCD 摄像头的智能房间图示
提取手部区域
我们通过检测头部识别人类。为了降低计算成本,会从头部区域中心建立手部搜索区域。我们将图像转换至 hsv 空间,以降低亮度产生的影响,并在二维色度和饱和度空间中提取手部区域。
提取手指区域
识别手指数
手指数是意图传输方法的重要元素。识别手指的过程如图 2 所示。首先减小提取的手部区域 (1),并去除手指区域 (2)。随后,将区域放大 (3) 为原始大小。两个区域之差(也就是 (1)-(3))代表手指区域 (4)。这样,手指区域数即等同于手指数。
识别手指数
识别指向方向
假设手指数为 1 且手部不动时,手指在指向某个物体。可以将获取的手指区域主轴的方向作为指向方向。假定房间中目标物体的位置已知。随即计算每个物体相对于手部的方向。算出每个物体的方向与得到的指向方向之间的夹角。如果夹角小于特定阈值,则会将形成最小夹角的物体识别为被指向的物体。例如,图 3 中将物体 A 识别为被指向的物体。
识别指向物体
实验
我们的实验系统由 PC(Pentium III 500MHz、Windows NT)、图像处理板卡 PXC200、安装于天花板的彩色 CCD 摄像头以及图像处理软件 HALCON 组成。提取手部区域的实验如图 4 所示。进行头部区域和手部区域提取,识别出手指数为 1。我们的实验采集了 3 个对象的 200 个样本,手指数 (0-5) 的识别率平均高达 96.0%。
我们针对 200 张图像进行了指向 2 个物体的实验,具体如图 6 和图 7 所示。物体之间的夹角设为 60°、45°、30° 和 15°,平均识别率为 87.1%。夹角超过 30° 时,识别几乎不会出错。
已识别的手指数示例
识别指向方向
已识别的指向方向
未来发展计划
到目前为止,已开发出识别手指数和指向方向的方法,并通过实验进行了评估。未来的工作包括构建更加实用的手势识别系统和智能房间。