Kinect传感器及其相关应用

Kinect传感器及其相关应用

Kinect传感器是微软公司推出的一款革命性体感设备，它通过三个摄像头（RGB彩色摄像头、红外投影机和红外摄像头）实现3D体感摄影。该设备不仅能够捕捉用户的动作和手势，还内置了麦克风阵列用于语音识别。Kinect广泛应用于游戏、医疗、安防等领域，其独特的深度感知技术为用户带来了全新的交互体验。

Kinect传感器结构

Kinect是微软公司研制的一款体感外设，实际上是一种3D体感摄影机。该设备共有3个摄像头，中间是RGB彩色摄像头，左右两边分别为红外投影机（红外线发射器）和红外摄像头（CMOS红外感应设备），用于深度探测。Kinect搭配了追焦技术，底座马达会随着对焦物体移动而转动。同时Kinect还内置麦克风阵列，用于语音识别。

Kinect深度图像产生原理

Kinect采用光编码技术，可以直接获取物体和摄像头之间的距离。基本思想是通过连续光（近红外线）对测量空间进行编码，再进过CMOS感应器得到编码的光线，将数据传递给晶片（ps1080系统级芯片SoC）进行运算解码，产生一张具有深度的图像。

核心一：结构光技术，激光散斑。
核心二：光源标定，参考平面，相关运算。

Kinect三角投影法的基本原理

Kinect用于检测和识别手势

1. 肤色分割找到手的位置

• Lab颜色空间，b(23)
• 1）RGB图像→Lab颜色空间
• 2）b=2,b=3时转换图像的两个切片
• 3）切片图像转换成二值图像
• 4）两幅二值图像进行”和“操作

A:手分割

• A1：RGB图像
• A2：深度图像
• A3：b=2
• A4：b=3
• A5：和操作后的肤色图像
• A6：手分割二值图像

2. 通过K均值聚类分离手

• 如果两只手距离传感器有相同距离，二值图像仅会显示一支手，K=2代表人只有两只手

3. 找到手掌中心

• 手掌比较宽大，可以近似为一个圆，两种选择：最小外接圆和最大内切圆（最佳），最大内切圆的中心近似为手掌中心。

B:手指识别

1. 找到凸包：用Graham扫描算法
2. 检测指尖和手指方向

• 方向矢量和等腰三角形中顶角的二等分线平行
• 设置最大阈值A

Graham扫描算法寻找凸包

• 首先找到点集P中y坐标最小的点，如果y坐标相等，找出x坐标最小的点p0。
• 以这个点p0为基准，将其他点与之相连，夹角由小到大进行排序，依次为p1,p2…p12。

C:手势呈现

1. 手掌中心位置
2. 手指数目
3. 指尖位置
4. 手指方向矢量

手势识别应用

1. 剪刀-石头-布游戏
2. 手势拖动屏幕图像：手掌中心决定拖动位置
3. 皮影戏

优点

1. 基于廉价深度传感器Kinect
2. 不需要任何辅助工具，数据库和机器学习过程
3. 检测出手掌和指尖位置及手指方向，获得更复杂的手势信息。
4. 实验证明能检测大部分手势，手水平放置或垂直放置
5. 当手掌朝向传感器打开时，检测率达到95%。

缺点

1. 手掌未朝向传感器打开时，深度图像中手掌的投影区特别小，不能检测到手的位置。

• 计划方案：使用多个传感器，从多个方向来检测手势

2. 不能很好地区分手部和肘部
3. 手位于身体后方时，不能检测手势

• 改进：利用Kinect提供的骨骼图像，基于深度图像和骨骼图像的一种手势识别算法

基于深度图像和骨骼图像的手势识别算法

两步：
a:对手的部位进行追踪，即在视频流中每一帧中准确找到手的位置;
b:识别不同的手部动态动作。

优点：

• 实时动态手势识别
• 对手的位置没有限制
• 不受照明影响
• 手位于前方身体位于前方

动态手势识别的应用

• 在远程操控中，通过手来控制汽车的前进与后退；
• 在讲解PPT时，通过手来控制PPT翻页；