基于PAC的实时人脸检测和跟踪方法^[1]

摘要：

这篇文章提出了复杂背景条件下，实现实时人脸检测和跟踪的一种方法。这种方法是以主要成分分析技术为基础的。为了实现人脸的检测，首先，我们要用一个肤色模型和一些动作信息(如：姿势、手势、眼色)。然后，使用PAC技术检测这些被检验的区域，从而判定人脸真正的位置。而人脸跟踪基于欧几里德（Euclidian）距离的，其中欧几里德距离在位于以前被跟踪的人脸和最近被检测的人脸之间的特征空间中。用于人脸跟踪的摄像控制器以这样的方法工作：利用平衡/（pan/tilt）平台，把被检测的人脸区域控制在屏幕的中央。这个方法还可以扩展到其他的系统中去，例如电信会议、入侵者检查系统等等。

1.引言

视频信号处理有许多应用，例如鉴于通讯可视化的电信会议，为残疾人服务的唇读系统。在上面提到的许多系统中，人脸的检测喝跟踪视必不可缺的组成部分。在本文中，涉及到一些实时的人脸区域跟踪^[1-3]。一般来说，根据跟踪角度的不同，可以把跟踪方法分为两类。有一部分人把人脸跟踪分为基于识别的跟踪喝基于动作的跟踪，而其他一部分人则把人脸跟踪分为基于边缘的跟踪和基于区域的跟踪^[4]。

基于识别的跟踪是真正地以对象识别技术为基础的，而跟踪系统的性能是受到识别方法的效率的限制。基于动作的跟踪是依赖于动作检测技术，且该技术可以被分成视频流（optical flow）的（检测）方法和动作—能量（motion－energy）的（检测）方法。

基于边缘的（跟踪）方法用于跟踪一幅图像序列的边缘，而这些边缘通常是主要对象的边界线。然而，因为被跟踪的对象必须在色彩和光照条件下显示出明显的边缘变化，所以这些方法会遭遇到彩色和光照的变化。此外，当一幅图像的背景有很明显的边缘时，（跟踪方法）很难提供可靠的（跟踪）结果。当前很多的文献都涉及到的这类方法时源于Kass et al.在蛇形汇率波动^[5]的成就。因为视频情景是从包含了多种多样噪音的实时摄像机中获得的，因此许多系统很难得到可靠的人脸跟踪结果。许多最新的人脸跟踪的研究都遇到了最在背景噪音的问题，且研究都倾向于跟踪未经证实的人脸，例如臂和手。在本文中，我们提出了一种基于PCA的实时人脸检测和跟踪方法，该方法是利用一个如图1所示的活动摄像机来检测和识别人脸的。这种方法由两大步骤构成：人脸检测和人脸跟踪。利用两副连续的帧，首先检验人脸的候选区域，并利用PCA技术来判定真正的人脸区域。然后，利用特征技术（eigen－technique）跟踪被证实的人脸。

2.人脸检测

在这一部分中，将介绍本文提及到的方法中的用于检测人脸的技术。为了改进人脸检测的精确性，我们把诸如肤色模型^[1,6]和PCA^[7,8]这些已经发表的技术结合起来。

2.1肤色分类

检测肤色像素提供了一种检测和跟踪人脸的可靠方法。因为通过许多视频摄像机得到的一幅RGB图像不仅包含色彩还包含亮度，所以这个色彩空间不是检测肤色像素^[1,6]的最佳色彩图像。通过亮度区分一个彩色像素的三个成分，可以移动亮度。人脸的色彩分布是在一个小的彩色的色彩空间中成群的，且可以通过一个2维的高斯分部来近似。因此，通过一个2维高斯模型可以近似这个肤色模型，其中平均值和变化如下：

m=(,) 其中＝，＝ （1）

＝ （2）

一旦建好了肤色模型，一个定位人脸的简单方法是匹配输入图像来寻找图像中人脸的色彩群。原始图像的每一个像素被转变为彩色的色彩空间，然后与该肤色模型的分布比较。

2.2动作检测

虽然肤色在特征的应用种非常广泛，但是当肤色同时出现在背景区域和人的皮肤区域时，肤色就不适合于人脸检测了。利用动作信息可以有效地去除这个缺点。为了精确，在肤色分类后，仅考虑包含动作的肤色区域。结果，结合肤色模型的动作信息导出了一幅包含情景（人脸区域）和背景（非人脸区域）的二进制图像。这幅二进制图像定义为 ，其中It(x,y)

和It-1(x,y)分别是当前帧和前面那帧中像素（x,y）的亮度。St是当前帧中肤色像素的集合，（斯坦）t是利用适当的阈限技术计算出的阈限值^[9]。作为一个加速处理的过程，我们利用形态学（上）的操作（morpholoical operations）和连接成分分析，简化了图像Mt。

2.3利用PCA检验人脸

因为有许多移动的对象，所以按序跟踪人脸的主要部分是很困难的。此外，还需要检验这个移动的对象是人脸还是非人脸。我们使用特征空间中候选区域的分量向量来为人脸检验问题服务。为了减少该特征空间的维度，我们把N维的候选人脸图像投影到较低维度的特征空间，我们称之为特征空间或人脸空间^[7,8]。在特征空间中，每个特征说明了人脸图像中不同的变化。

为了简述这个特征空间，假设一个图像集合I₁，I₂，I₃，hellip;，I_M，其中每幅图像是一个N维的列向量，并以此构成人脸空间。这个训练（测试）集的平均值用A＝来定义。用_i＝I _I－A来计算每一维的零平均数，并以此构成一个新的向量。为了计算M的直交向量，其中该向量是用来最佳地描述人脸图像地分布，首先，使用C＝_ii^r＝YY^r （4）来计算协方差矩阵Y＝[ _{1 2}hellip; _M]。虽然矩阵C是Ntimes;N维的，但是定义一个N维的特征向量和N个特征值是个难处理的问题。因此，为了计算的可行性，与其为C找出特征向量，不如我们计算[Y^TY]中M个特征向量v_k和特征值_k，所以用u _k＝来计算一个基本集合，其中k＝1，hellip;，M。关于这M个特征向量，选定M个重要的特征向量当作它们的相应的最大特征值。对于M个训练（测试）人脸图像，特征向量W _i＝[w ₁，w ₂，hellip;，w _Mrsquo;]用w _k＝u _k^T_i,k=1,hellip;，M（6）来计算。

为了检验候选的人脸区域是否是真正的人脸图像，也会利用公式（6）把这个候选人脸区域投影到训练（测试）特征空间中。投影区域的检验是利用人脸类和非人脸类的检测区域内的最小距离，通过公式（7）来实现的。Min（||W_k^candidate－W_face||,||W_k^candidate－W_nonface||），（7）其中W_k^candidate是训练（测试）特征空间中对k个候选人脸区域，且W_face，W_nonface分别是训练(测试)特征空间中人脸类和非人脸类的中心坐标，而||times;||表示特征空间中的欧几里德距离（Euclidean）

3.人脸跟踪

在最新的人脸检测中，通过在特征空间中使用一个距离度量标准来定义图像序列中下一幅图像中被跟踪的人脸。为了跟踪人脸，位于被跟踪人脸的特征向量和K个最近被检测的人脸之间的欧几里德距离是用obj＝arg_kmin||W_old－W_k||，k＝1，hellip;，K，（8）来计算的。

在定义了人脸区域后，位于被检测人脸区域的中心和屏幕中心之间的距离用dist_t（face，screen）＝Face_t（x，y）－Screen（height/2，width/2），（9）来计算，其中Face_t（x，y）是时间t内被检测人脸区域的中心，Screen（height/2，width/2）是屏幕的中心区域。使用这个距离向量，就能控制摄像机中定位和平衡/倾斜的持续时间。摄像机控制器是在这样的方式下工作的：通过控制活动摄像机的平和/倾斜平台把被检测的人脸区域保持在屏幕的中央。在表2自己品母国。参数表示的是活动摄像机的控制。用伪代码来表示平衡/倾斜处理的持续时间和摄像机的定位。

计算平和/倾斜持续时间和定位的伪代码：

Procedure Duration（x，y）

Begin

Sig_d=None；

Distance=；

IF distancegt; then

Sig_d=Close；

ELSEIF distancegt; then

Sig_d=fat；

Return（Sig_d）；

End Duration；

Procedure Orientation（x，y）

Begin

Sig_o=None；

IF xgt; then

Add “RIGHT” to Sig_o；

ELSEIF xlt;- then

Add “LEFT” to Sig_o；

IF ygt; then

Add “up”to Sig_o；

ElSEIF xlt;- then

Add “DOWN” to Sig_o；

Return（Sig_o）；

End Orientation；

摄像机把被检测的人脸区域保持在屏幕的中央。未来的工作是我们将进一步发展这种方法，通过从被检测的人脸区域种萃取脸部特征来为脸部活动系统服务。

图像中的人脸检测是人脸识别研究中一项非常重要的研究分支。为了更有效地检测图像中的人脸，此次研究设计提出了基于半边脸的人脸检测方法。根据图像中人半边脸的容貌或者器官的密度特征，比如眼睛，耳朵，嘴巴，部分脸颊，正面的平均全脸模板就可以被构建出来。被模拟出来的半张脸是基于人脸的对称性的特点而构建的。图像中人脸检测的实验运用了模板匹配法和相似性从而确定人脸在图像中的位置。此原理分析显示了平均全脸模型法能够有效地减少模板的局部密度的不确定性。基于半边脸的人脸检测能降低人脸模型密度的过度对称性，从而提高人脸检测的速度。实验结果表明此方法还适用于在大角度拍下的侧脸图像，这大大增加了侧脸检测的准确性。

关键词：人脸模板， 半边人脸模板，模板匹配法，相似性，侧脸。

1. 介绍

近几年，在图像处理和识别以及计算机视觉的研究领域中，人脸识别是一个很热门的话题。作为人脸识别中一个重要的环节，人脸检测也拥有一个延伸的研究领域。人脸检测的主要目的是为了确定图像中的信息，比如，图像总是否存在人脸，它的位置，旋转角度以及人脸的姿势。根据人脸的不同特征，人脸检测的方法也有所变化^[1-4]。而且，根据人脸器官的密度或颜色的固定布局，我们可以判定是否存在人脸。因此，这种基于肤色模型和模板匹配的方法对于人脸检测具有重要的研究意义^[5-7]。

这种基于模板匹配的人脸检测法是选择正面脸部的特征作为匹配的模板，导致人脸搜索的计算量相对较大。然而，绝大多数的人脸都是对称的。所以我们可以选择半边正面人脸模板，也就是说，选择左半边脸或者有半边脸作为人脸匹配的模板，这样，大大减少了人脸搜索的计算。

1. 人脸模板构建的方法

人脸模板的质量直接影响匹配识别的效果。为了减少模板局部密度的不确定性，构建人脸模板是基于大众脸的信息，例如，平均的眼睛模板，平均的脸型模板。这种方法很简单。

在模板的仿射变换的实例中，人脸检测的有效性可以被确保。构建人脸模板的过程如下^[8]：

步骤一：选择正面人脸图像；

步骤二：决定人脸区域的大小和选择人脸区域；

步骤三：将选出来的人脸区域格式化成同一种尺寸大小；

步骤四：计算人脸区域相对应像素的平均值 。

在构建模板之前，挑选些有正面人脸的图片。首先，决定人脸区域的尺寸大小。然后，在图像中手动挑选人脸区域。我们设选定的人脸区域的数量为n。因为人脸区域的矩阵向量都是被独立分布的，所以在那些人脸图像相同位置的像素值也是独立分布的。

我们设在人脸区域第k(k=1,2,Ă,n)位置的像素值是fk(i,j) (k=1,2,hellip;,n)，那些人脸图像的是标准比例系数wk (k=1,2,hellip;,n)，由此得出正面人脸模板的表达式：

^{资料编号：[442266]，资料为PDF文档或Word文档，PDF文档可免费转换为Word}