【专利】一种高性能人脸特征点定位模型训练方法

发明的目的：

训练准确快速的、能够定位任意姿态下的人脸特征点的模型

基于此模型，从摄像头或拍摄的图像视频中快速准确地定位人脸部诸如眼角、嘴角等特征点，如下图6所示效果。人脸特征点定位实际用于人脸虚拟化妆、虚拟换脸、人脸识别应用中。

人脸特征点自动定位可以分为模型训练和定位计算两大阶段，

模型训练具体过程如下：

1）收集一批训练用的人脸图像数据；2）人工标记每个人脸训练图像上各特征点位置；3）设计一个人脸特征点模型及其训练学习方法；4）从人工标记的训练人脸图像数据集中训练出模型的具体参数，用于定位识别阶段计算。

定位计算阶段具体过程如下：

1）输入一张人脸图像；2）检测人脸区域方框；3）把上步人脸区域内的图像输入上一阶段所学习的模型中计算得出特征点定位识别结果。

本发明所涉及是模型训练阶段的模型设计及训练方法。

与本发明相关的现有技术：

   一、相关方法概述：

   目前主流的人脸特征点定位都是采用基于回归的方法。这些方法将人脸特征点定位当作一个多元变量回归问题，即将人脸图像当作输入变量、将人脸特征点坐标作为输出变量进行回归。这类方法又可以分为两小类：1）基于手工设计特征的方法；2）基于深度学习的方法。

   基于手工设计的方法首先提取图像的二值特征或小波等特征，然后通过随机森林或者决策树学习映射函数。基于深度学习的方法将特征提取与映射函数学习统一起来通过反向传播的方法学习到一个深层卷积神经网络（CNN）或递归神经网络（RNN）进行图片到坐标的端到端的映射。目前基于深度学习的方法效果要显著好于手工特征的方法。

二、缺点分析

虽然现有的基于深度神经网络模型的方法达到了非常高的精度，但是其突出缺点在于网络参数过多导致定位速度过慢，若减少其参数则会显著降低其定位精度。

其次，现有基于回归的方法（无论是手工设计特征还是深度网络学习特征），他们的优化目标（约束条件）全部是绝对坐标位置。具体地说，这些方法全是以欧式损失作为坐标约束条件。欧式坐标约束可以保证预测特征点接近于其对应的真实特征点，但是欧式损失这类绝对坐标约束条件并没有考虑到两个特征点之间的相对关系，会出现如图1所示的错误情况。在只看任何一个预测点的情况下，其都非常接近于真实点，然而两个预测点之间的相对位置和真实点相比出现较大误差。

图 1. 现有的方法的缺陷（红色：真实标注的特征点，绿色：现有算法预测的点）

发明内容：

针对现有技术中存在的缺陷，本发明旨在提出一种高性能人脸特征点定位模型及训练方法。主要包含两个部分：（1）针对人脸这一特殊目标发明的一种轻量级高表示力深层卷积神经网络结构设计方法；（2）可以提高任意姿态下人脸特征点定位精度的相对坐标约束训练方法，本发明提出的约束方法可以和深度卷积神经网络模型完美结合进行端到端的训练。

在实验中我们和目前已知人脸特征点定位比较方法进行了比较，结果表明本发明提出的人脸特征点定位方法在300FPS的速度下达到了世界领先的准确率。

本发明提供完整的技术方案：

整体流程

本发明所设计的人脸特征点定位方法框架简单易实现，如图2所示。

整体框架是采用深层卷积神经网络的回归结构，即把人脸特征点定位当作回归任务。具体地说，将原始人脸图像作为输入特征，将人脸特征点的坐标当作输出，深层卷积网络用来进行人脸图像到特征点坐标的映射。

和传统的基于深度学习的人脸特征点自动定位流程类似，本发明所设计的人脸特征点定位方法框架可以分为模型训练和定位计算两大阶段。

模型训练流程如下：

1）收集一批训练用的人脸图像数据；

2）人工标记每个人脸训练图像上各特征点位置；

3）本发明设计一种轻量级且高表示力的深层卷积网络结构在本发明提出的新的坐标约束方法的监督下学习深度映射函数模型，用于定位识别阶段计算。

定位计算流程如下：

1）输入一张人脸图像；

2）检测人脸区域方框；

3）把上步人脸区域内的图像输入模型训练阶段所学习的模型中计算对应的人脸特征点坐标。

发明的效果： 

在常用的三个公开评测数据集上（MTFL，AFLW，300-W）达到了最好的精度（平均误差如表2所示），模型仅有3MB且速度达到300FPS （Core-i5 CPU）。实际检测效果示例如图6所示。图7展示的结果证明本发明提出的方法具有非常高的鲁棒性，可以解决各种严重遮挡情况。

技术关键点：

1） 轻量级的高性能人脸特征点定位神经网络结构设计方法。

2） 可以提高任意姿态下人脸特征点定位精度的相对坐标约束方法（本发明提出的约束方法只需在网络训练中进行相关操作，对于训练完成的网络进行实际使用时不增加任何计算量）。