“You are the Controller”,Kinect for Xbox的广告词。明白说明了Kinect体感的交互方式。作为一款集成了诸多先进视觉技术的自然交互设备,Kinect在学术和游戏业界均享有非常高的关注度。此外,Kinect硬件的研发与生产综合了声、光、电和机械学等多方面的技术。其主要零部件近百个,是眼下市场上大批量生产中的最为复杂的电子消费产品。

Kinect 的关键技术有四点:骨骼跟踪、动作识别、人脸识别、语音识别。本文关注的是基于前两者,骨骼跟踪和动作识别。这是Kinect 1体感交互的主要模块。Kinect 体感交互的流程大致是:

1、红外激光投影机周期性发射光编码形成散斑空间。

2、红外摄像头採集反射的散斑图像;

3、散斑图像分别与參考散斑图案进行互相关运算,得到各个像素点的互相关峰值,这个峰值就是深度图像。

4、深度图像经USB传送到主机;

5、通过人体分类器在深度图像中找到可能的人体区域,并创建切割掩膜,切割出人体区域;

6、通过机器学习的结果,高速对玩家的身体部位(头部、肢体、躯干等)进行分类;

7、从人体部位识别出20个关节点的三维坐标。从而进行人体骨骼三维建模;

8、基于骨骼跟踪进行动作识别(广义上识别的内容包括肢体运动、手势以及静态姿势)。须要预先设定一些合理的动作定义;

9、游戏系统依照预定的动作定义,运行命令。

【手势交互】4. Kinect for XBox-LMLPHP

Kinect for XBox

Kinect1的视觉部分有三仅仅“眼镜”,从左到右各自是红外激光投影机、彩色摄像头、红外摄像头。红外激光投影机投射红外激光。红外摄像头採集探測范围内反射回来的的红外光,依靠一定算法确定各反射点的距离,红外激光投影机和红外摄像头一起构成深度检測设备,为兴许进一步的骨架提取提供基础。红外摄像头的深度图数据为320x240@30fps,每个像素用16比特记录。深度检測设备的有效视角垂直方向43°,水平方向57°,有效视距0.8-3.5米,单人的最佳视距为2.26米,双人的最佳视距为2.5米。彩色摄像头主要用来做人脸识别等应用,红外摄像头对光照无要求,即使在黑夜里也能操作。可是彩色摄像头须要明亮的光照,否则人脸识别等功能无法完毕。彩色摄像头的分辨率为640x480@30fps。没像素32比特。Kinect配备了自己主动追焦系统,假设追踪的玩家超出了有效视角范围,底座马达可驱动Kinect左右旋转27度。

为了让深度图像和彩色图像相互相应,必须进行“Prime Sense注冊过程”。注冊就是将彩色图像和深度图像进行相应,产生像素相互相应的影像,即彩色图像中的每一个像素分别与深度图像中的一个像素相应。

这能让应用程序准确了解收到的彩色图像中每一个像素的深度。

Kinect1红外激光投影机投射的不是普通的红外光线。而是Prime Sense公司为微软提供的光编码(Light Coding)技术。这项技术属于结构光三维測量技术的一种。可能当时Prime Sense的开价比較贵,微软买入了另外两家利用TOF技术做三维測量的公司。而没有买Prime Sense,仅仅是採用了Prime Sense的技术,Kinect1的核心运算单元就是Prime Sense的PS1080芯片(PS1080负责处理红外图像,然后逐帧生成准确的场景深度图像)。

Light Coding使用的是连续的照明(而非脉冲),也不须要特制的感光芯片,仅仅须要普通的CMOS感光芯片,这让方案的成本大大减少,对Kinect消费及电子产品的市场化至关重要。

Light Coding,是用光源照明给须要測量的空间编码,属于结构光技术。这样的技术的基本原理是,载入一个激光投射器,在激光投射器外面放一个刻有特定图样的光栅。激光通过光栅进行投射成像时会发生折射,从而使得激光终于在物体表面上的落点产生位移。当物体距离激光投射器比較近的时候,折射而产生的散斑位移就较小;当物体距离较远时,折射而产生的散斑位移也就会对应的变大。

这时使用一个摄像头来採集投射到物体表面上的散斑图样,通过某块散斑的位移变化,就能用算法计算出该块物体的位置和深度信息,进而复原整个三维空间。把一个物体放进这个空间,仅仅要看看物体上面的散斑图案,就能够知道这个物体在什么位置。

当然,在这之前要把整个空间的散斑图案都记录下来,所以要先做一次光源标定。

【手势交互】4. Kinect for XBox-LMLPHP

Kinect1散斑图案

(在黑暗的环境里。用夜视摄像机拍摄Kinect1的检測区域)

在Prime Sense的专利上,标定的方法是这种:每隔较短的一段距离。取一个參考平面,并把參考平面上的散斑图案记录下来。如果Kinect规定的用户距离是1~4米,每隔1cm取一个參考平面并把这个平面上的散斑图案记录下来。那么标定完毕后就保存了300幅散斑图像。測量的时候。拍摄一幅待測量的散斑图像。将这幅图像和保存下来的300幅參考图案依次做互相关运算。进而得到300幅相关度图像。

空间中有物体存在的位置,在相关度图像上就会显示出峰值。把这些峰值叠在一起,再经过一些插值,就会得到整个场景的三维形状了。能够看到Light Coding技术不是通过空间几何关系求解的,它的測量精度仅仅和标定时取的參考面的距离密度有关。參考面越密測量将越精确。依据第三方的測试数据。Kinect对于在2米左右的物体。X、Y轴上的空间精度是3毫米,Z轴(前后)上的空间精度为1厘米。

Kinect的Light Coding依赖于激光折射后产生的落点位移。所以在太近的距离上,折射导致的位移尚不明显。使用该技术就不能太精确的计算出深度信息,所以1米到4米是其最佳应用范围。

深度图像的分辨率320x240。帧率为30fps。帧率是由Prime Sense的PS1080芯片处理能力限制的,对于一般性的运动游戏,30fps能够应付。对于电影级别的运动採集。30fps满足不了要求。深度图像的每一个像素点表示该像素与红外摄像头之间的距离,用16比特来表示,当中低3位是用户ID,“000”表示该像素属于背景,“001”表示该像素属于玩家1,“010”表示该像素属于玩家2,以此类推。理论上除了000外,Kinect1能够标定7个人,但Kinect1输出最多6个人的深度信息。深度像素高13位是距离信息。黑色表示极远,白色表示极近。

16比特全为0表示该像素深度信息不可获得(要么是极远,要么是极近)。

Kinect是通过人体分类器来分类类似人体的目标,因此类似人体的目标都有可能被识别为人体。比如挂在衣架上的衬衣,一个大的毛绒玩具熊等。Kinect的骨骼识别能够兼容不同身高的人体,从幼儿到成人都基本能够准确识别。除了站姿之外,还能够分辨出坐姿的人体。由于Kinect的分类器是基于人体来训练的,因此它不能识别其它非人体的动植物。Kinect不能识别人的正面和背面。透明物体,发光物体(台灯尤其是卤素灯、电脑屏幕等),镜子等反光物体。某些黑色物体,对Kinect的识别有影响。肤色、背景光照对骨架识别没有影响。但对彩色摄像机的工作有影响。比如黑人的人脸识别。对于被遮盖或重叠的人体部位,通过相邻的关节点以及机器学习的结果。Kinect能够猜測出人体部位。

Kinect是先识别人体部位进而再判断出关节点,这是一个近似度概率匹配、评估的过程。在Kinect里面,人体骨骼是通过20个关节点来表示的。每个关节由(x, y, z)三维坐标点来标注它在骨架空间中的位置。

(从这点来看,不是深度摄像头的精度不够。而是微软就没有想要去检測手指的动作。由于整个手部是一个关节点坐标。类似的还有表情识别)。尽管理论上Kinect能够提供最大7个人的深度信息。但处于性能与实际情况的考虑,Kinect最多仅仅跟踪两个骨骼,最多能够检測六个人。

也就是说,假如Kinect面前站着六个人。Kinect能告诉你这六个人详细站在什么位置,但仅仅能提供当中两个人的关节点数据。

【手势交互】4. Kinect for XBox-LMLPHP

Kinect 人体关节

动作识别包括静态姿势和动态动作。姿势是骨骼在某一时间点的状态,比如Kinect中玩家左手向下倾斜45度,表示“暂停或退出”命令。动作是骨骼中的某一关节或是多个关节点在空间的运动序列,是为动态的行为。比方挥动左手,或者离地跳起等。动态的行为分析要比静态的姿势识别要复杂得多。

參考:余涛. 《Kinect应用开发实战:用最自然的方式与机器对话》 机械工业出版社. 2012年11月.

05-23 08:44