关键词:
嵌入式系统
视频捕获
Socket
手势分割
手势跟踪
Open CV
摘要:
手势跟踪技术是人机交互领域的一项关键技术,目前已广泛应用在智能控制、手势识别等方面。随着人工智能的发展,手势跟踪技术引起了广泛关注,因此研究基于嵌入式系统的手势跟踪技术具有重要的理论意义和广阔的应用前景。本文设计并实现了一种复杂背景下动态手势检测及跟踪系统,该系统的服务器通过V4L2技术实现视频捕获,可以获取视频源属性、设置图片尺寸等功能,客户端软件具备设置服务器的IP和端口、显示帧速率、对手势进行跟踪等功能。最后,对整体系统的各项功能进行实验测试,取得了较好的测试结果。主要研究工作如下:(1)研究了Linux视频捕获机制、基于TCP协议的Socket网络模型、epoll机制等基本理论知识,提出了一种嵌入式系统下视频采集及传输的应用方案。对嵌入式Linux系统下图像采集及传输进行了详细分析,利用软件工程中模块化设计方法,实现了基于epoll机制的高并发服务器程序的编写,将图像数据实时传输至上位机。(2)在类间方差法、帧差法、光流法等算法研究的基础上,针对复杂背景下的手势分割,进行了两方面的研究。其一,利用YCr Cb颜色空间中的Cr分量对手势进行自适应阈值分割;其二,利用前景检测Vi Be算法对动态手势进行检测。然后,将这两部分手势区域进行与运算,保留最大连通区域,实现了较好的手势分割,为进一步手势跟踪算法奠定了基础。(3)在手势跟踪方面,针对光线变化、目标遮挡、肤色与背景颜色相近等导致的运动目标跟踪不准确的问题,本文提出了一种基于Kalman滤波器的改进型Camshift算法。Kalman滤波器利用手势在上一帧的位置信息,预测出手势在当前帧的位置及搜索窗口,有效地预测了手势运动趋势,避免了手势被遮挡时丢失目标的情况。同时提出了一种融合LBP纹理特征与H分量的二维直方图,并将二维直方图的概率密度图作为Camshift算法的输入参数,而且仅仅计算比预测搜索窗口稍大区域的概率密度图,而不是整幅图像的概率密度图,减少了背景的干扰。(4)在Windows操作系统下,通过开源视觉计算机库Open CV2.4.11与Qt软件相结合,开发出了具有很好兼容性、稳定性的客户端软件工具。最后,实验结果证明,该手势跟踪系统性能良好,满足实际应用的需求。