人脸识别中，取出强健的有效特徵值，即使在不一样的光源、拍摄时间、些微的表情、视角变化，仍能正确判断，是数十年来研究的挑战工作。而近来人脸识别的稳定度可以提昇到满足产业应用，在于两个主要因素：深度卷积网络的发展以及大量的人脸训练数据。
卷积网络利用层状的结构来逐步表示影像中的复杂信号，由低端的线条到高端富有语意(semantic meaning)的物件、情境等。每个阶层皆有数十个（到百个）卷积单元的单元组成—可以想像在各层输入画面进行特殊的样式检测，再将诸多检测结果（反应强度）交给下一层继续检测。一般阶层个数由数个到上百个，端看基底网络架构以及应用复杂度。目前人脸识别的主流是采用ResNet型态(在2015年底由任职于微软研究院的何凯明博士率先提出)的基底网络。
识别时，取出末端一层网络输出做为人脸（高纬）特徵值。过去的方法，不管是特徵脸、局部二值模式、稀疏编码等，一般类似于使用一到两层的卷积运算来逼近，相对上，称为「浅层」作法。与深度卷积网络来比，参数使用量（复杂度）低，特徵值描述能力相当薄弱。更重要的，当利用大量数据训练卷积网络时，这些重要的检测样式还可以由训练样本中自动学出，目的是为了让最后的识别效果达到最好。之前的方法，常从经验当中判断设计，不一定吻合应用情境。
目前在国际研究社区也分享了相当多的人脸训练数据，甚至达到百万人的数目。为何可以收集到这些数据？主要来自于网络名人（明星、新闻人物）以及社群网站上的公开相簿。但是这也衍伸出其他的问题，比如说这些免费人脸数据中绝大部分为西方人，绝少戴眼镜，画质清晰，在实际场域上还有某些技术问题得克服，但是已经大大降低数据收集耗时、耗费的问题。
除数据外，训练卷积网络的目标函数（Cost Function）也占了非常重要的角色，比如说单使用常用的交叉熵（Cross-Entropy）来训练人脸识别的稳定度，远远比不上Large Margin 的系列作法—因为不只在训练网络中将人脸正确预测，还得让不属于同个人的人脸特徵值分隔遥远，反之，则得十分接近。
利用目标函数，还有增益训练数据的技术，还可以训练网络解决人脸光影变化过大、化妆、眼镜的问题，甚至是低分辨率的人脸识别。在特殊的安全应用上，更可以部分解决人脸伪装的问题，最近我们获得国际伪装人脸识别竞赛冠军，也验证了这些作法。
人脸识别技术发展逐渐成熟，更可能溢出传统安控领域而成为「个人化」的基础引擎，而影响各种应用情境。如果整合我们擅长的硬件（系统、芯片）技术，似乎在产业应用上也带来了新的机会！
系列文见<人脸识别的核心问题与商机>、<人脸识别的技术环节>
徐宏民(Winston Hsu)现任富智捷(MobileDrive)技术长暨副总经理以及台大信息工程学系教授。哥伦比亚大学电机博士，专精于机器学习、大规模影像视讯查找与识别。为讯连科技研发团队创始成员，慧景科技(thingnario)共同创始人，NVIDIA AI Lab计划主持人；曾任IBM华生研究中心客座研究员、美国微软研究院客座研究员。习惯从学术及产业界的角度检验技术发展的机会；十余年产学合作及新创经验。曾获2018 IBM Research Pat Goldberg Memorial Best Paper Award 、2018伪装人脸识别冠军、杰出信息人才奖、吴大猷先生纪念奖等国内外研究奖项。
