人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部识别的一系列相关技术，通常也叫做人像识别、面部识别。
- 中文名：人脸识别
- 别名：人像识别、面部识别
- 工具：摄像机或摄像头
- 传统技术：可见光图像的人脸识别
- 处理方法：人脸识别算法
- 用途：身份识别
发展历史
人脸识别系统的研究始于20世纪60年代，80年代后随着计算机技术和光学成像技术的发展得到提高，而真正进入初级的应用阶段则在90年后期，并且以美国、德国和日本的技术实现为主；人脸识别系统成功的关键在于是否拥有尖端的核心算法，并使识别结果具有实用化的识别率和识别速度；“人脸识别系统”集成了人工智能、机器识别、机器学习、模型理论、专家系统、视频图像处理等多种专业技术，同时需结合中间值处理的理论与实现，是生物特征识别的最新应用，其核心技术的实现，展现了弱人工智能向强人工智能的转化。[1]
技术特点
传统的人脸识别技术主要是基于可见光图像的人脸识别，这也是人们熟悉的识别方式，已有30多年的研发历史。但这种方式有着难以克服的缺陷，尤其在环境光照发生变化时，识别效果会急剧下降，无法满足实际系统的需要。解决光照问题的方案有三维图像人脸识别，和热成像人脸识别。但这两种技术还远不成熟，识别效果不尽人意。
迅速发展起来的一种解决方案是基于主动近红外图像的多光源人脸识别技术。它可以克服光线变化的影响，已经取得了卓越的识别性能，在精度、稳定性和速度方面的整体系统性能超过三维图像人脸识别。这项技术在近两三年发展迅速，使人脸识别技术逐渐走向实用化。
人脸与人体的其它生物特征（指纹、虹膜等）一样与生俱来，它的唯一性和不易被复制的良好特性为身份鉴别提供了必要的前提，与其它类型的生物识别比较人脸识别具有如下特点：
- 非强制性：用户不需要专门配合人脸采集设备，几乎可以在无意识的状态下就可获取人脸图像，这样的取样方式没有“强制性”；
- 非接触性：用户不需要和设备直接接触就能获取人脸图像；
- 并发性：在实际应用场景下可以进行多个人脸的分拣、判断及识别；
- 除此之外，还符合视觉特性：“以貌识人”的特性，以及操作简单、结果直观、隐蔽性好等特点。
技术流程
人脸识别系统主要包括四个组成部分，分别为：人脸图像采集及检测、人脸图像预处理、人脸图像特征提取以及匹配与识别。
人脸图像采集及检测
人脸图像采集：不同的人脸图像都能通过摄像镜头采集下来，比如静态图像、动态图像、不同的位置、不同表情等方面都可以得到很好的采集。当用户在采集设备的拍摄范围内时，采集设备会自动搜索并拍摄用户的人脸图像。
人脸检测：人脸检测在实际中主要用于人脸识别的预处理，即在图像中准确标定出人脸的位置和大小。人脸图像中包含的模式特征十分丰富，如直方图特征、颜色特征、模板特征、结构特征及Haar特征等。人脸检测就是把这其中有用的信息挑出来，并利用这些特征实现人脸检测。
主流的人脸检测方法基于以上特征采用Adaboost学习算法，Adaboost算法是一种用来分类的方法，它把一些比较弱的分类方法合在一起，组合出新的很强的分类方法。
人脸检测过程中使用Adaboost算法挑选出一些最能代表人脸的矩形特征(弱分类器)，按照加权投票的方式将弱分类器构造为一个强分类器，再将训练得到的若干强分类器串联组成一个级联结构的层叠分类器，有效地提高分类器的检测速度。
人脸图像预处理
人脸图像预处理：对于人脸的图像预处理是基于人脸检测结果，对图像进行处理并最终服务于特征提取的过程。系统获取的原始图像由于受到各种条件的限制和随机干扰，往往不能直接使用，必须在图像处理的早期阶段对它进行灰度校正、噪声过滤等图像预处理。对于人脸图像而言，其预处理过程主要包括人脸图像的光线补偿、灰度变换、直方图均衡化、归一化、几何校正、滤波以及锐化等。
人脸图像特征提取
人脸图像特征提取：人脸识别系统可使用的特征通常分为视觉特征、像素统计特征、人脸图像变换系数特征、人脸图像代数特征等。人脸特征提取就是针对人脸的某些特征进行的。人脸特征提取，也称人脸表征，它是对人脸进行特征建模的过程。人脸特征提取的方法归纳起来分为两大类：一种是基于知识的表征方法；另外一种是基于代数特征或统计学习的表征方法。
基于知识的表征方法主要是根据人脸器官的形状描述以及他们之间的距离特性来获得有助于人脸分类的特征数据，其特征分量通常包括特征点间的欧氏距离、曲率和角度等。人脸由眼睛、鼻子、嘴、下巴等局部构成，对这些局部和它们之间结构关系的几何描述，可作为识别人脸的重要特征，这些特征被称为几何特征。基于知识的人脸表征主要包括基于几何特征的方法和模板匹配法。
人脸图像匹配与识别
人脸图像匹配与识别：提取的人脸图像的特征数据与数据库中存储的特征模板进行搜索匹配，通过设定一个阈值，当相似度超过这一阈值，则把匹配得到的结果输出。人脸识别就是将待识别的人脸特征与已得到的人脸特征模板进行比较，根据相似程度对人脸的身份信息进行判断。这一过程又分为两类：一类是确认，是一对一进行图像比较的过程，另一类是辨认，是一对多进行图像匹配对比的过程。
识别算法
一般来说，人脸识别系统包括图像摄取、人脸定位、图像预处理、以及人脸识别（身份确认或者身份查找）。系统输入一般是一张或者一系列含有未确定身份的人脸图像，以及人脸数据库中的若干已知身份的人脸图象或者相应的编码，而其输出则是一系列相似度得分，表明待识别的人脸的身份。
人脸识别算法分类
- 基于人脸特征点的识别算法（Feature-based recognition algorithms）。
- 基于整幅人脸图像的识别算法（Appearance-based recognition algorithms）。
- 基于模板的识别算法（Template-based recognition algorithms）。
- 利用神经网络进行识别的算法（Recognition algorithms using neural network）。
- 基于光照估计模型理论
提出了基于Gamma灰度矫正的光照预处理方法,并且在光照估计模型的基础上，进行相应的光照补偿和光照平衡策略。 - 优化的形变统计校正理论
基于统计形变的校正理论，优化人脸姿态；强化迭代理论
强化迭代理论是对DLFA人脸检测算法的有效扩展； - 独创的实时特征识别理论
该理论侧重于人脸实时数据的中间值处理，从而可以在识别速率和识别效能之间，达到最佳的匹配效果
识别数据
人脸识别需要积累采集到的大量人脸图像相关的数据，用来验证算法，不断提高识别准确性，这些数据诸如A Neural Network Face Recognition Assignment(神经网络人脸识别数据)、orl人脸数据库、麻省理工学院生物和计算学习中心人脸识别数据库、埃塞克斯大学计算机与电子工程学院人脸识别数据等。
配合程度
现有的人脸识别系统在用户配合、采集条件比较理想的情况下可以取得令人满意的结果。但是，在用户不配合、采集条件不理想的情况下，现有系统的识别率将陡然下降。比如，人脸比对时，与系统中存储的人脸有出入，例如剃了胡子、换了发型、多了眼镜、变了表情都有可能引起比对失败。
优势困难
优势
人脸识别的优势在于其自然性和不被被测个体察觉的特点。
所谓自然性，是指该识别方式同人类（甚至其他生物）进行个体识别时所利用的生物特征相同。例如人脸识别，人类也是通过观察比较人脸区分和确认身份的，另外具有自然性的识别还有语音识别、体形识别等，而指纹识别、虹膜识别等都不具有自然性，因为人类或者其他生物并不通过此类生物特征区别个体。
不被察觉的特点对于一种识别方法也很重要，这会使该识别方法不令人反感，并且因为不容易引起人的注意而不容易被欺骗。人脸识别具有这方面的特点，它完全利用可见光获取人脸图像信息，而不同于指纹识别或者虹膜识别，需要利用电子压力传感器采集指纹，或者利用红外线采集虹膜图像，这些特殊的采集方式很容易被人察觉，从而更有可能被伪装欺骗。
困难
人脸识别被认为是生物特征识别领域甚至人工智能领域最困难的研究课题之一。人脸识别的困难主要是人脸作为生物特征的特点所带来的。
- 相似性
不同个体之间的区别不大，所有的人脸的结构都相似，甚至人脸器官的结构外形都很相似。这样的特点对于利用人脸进行定位是有利的，但是对于利用人脸区分人类个体是不利的。 - 易变性
人脸的外形很不稳定，人可以通过脸部的变化产生很多表情，而在不同观察角度，人脸的视觉图像也相差很大，另外，人脸识别还受光照条件（例如白天和夜晚，室内和室外等）、人脸的很多遮盖物（例如口罩、墨镜、头发、胡须等）、年龄等多方面因素的影响。
在人脸识别中，第一类的变化是应该放大而作为区分个体的标准的，而第二类的变化应该消除，因为它们可以代表同一个个体。通常称第一类变化为类间变化（inter-class difference），而称第二类变化为类内变化（intra-class difference）。对于人脸，类内变化往往大于类间变化，从而使在受类内变化干扰的情况下利用类间变化区分个体变得异常困难。
主要用途
人脸识别主要用于身份识别。由于视频监控正在快速普及，众多的视频监控应用迫切需要一种远距离、用户非配合状态下的快速身份识别技术，以求远距离快速确认人员身份，实现智能预警。人脸识别技术无疑是最佳的选择，采用快速人脸检测技术可以从监控视频图象中实时查找人脸，并与人脸数据库进行实时比对，从而实现快速身份识别。
应用前景
生物识别技术已广泛用于政府、军队、银行、社会福利保障、电子商务、安全防务等领域。例如，一位储户走进了银行，他既没带银行卡，也没有回忆密码就径直提款，当他在提款机上提款时，一台摄像机对该用户的眼睛扫描，然后迅速而准确地完成了用户身份鉴定，办理完业务。这是美国德克萨斯州联合银行的一个营业部中发生的一个真实的镜头。而该营业部所使用的正是现代生物识别技术中的“虹膜识别系统”。此外，美国“9.11”事件后，反恐怖活动已成为各国政府的共识，加强机场的安全防务十分重要。美国维萨格公司的脸像识别技术在美国的两家机场大显神通，它能在拥挤的人群中挑出某一张面孔，判断他是不是通缉犯。
当前社会上频繁出现的入室偷盗、抢劫、伤人等案件的不断发生，鉴于此种原因，防盗门开始走进千家万户，给家庭带来安宁；然而，随着社会的发展，技术的进步，生活节奏的加速，消费水平的提高，人们对于家居的期望也越来越高，对便捷的要求也越来越迫切，基于传统的纯粹机械设计的防盗门，除了坚固耐用外，很难快速满足这些新兴的需求：便捷，开门记录等功能。人脸识别技术已经得到广泛的认同，但其应用门槛仍然很高：技术门槛高（开发周期长），经济门槛高（价格高）。
人脸识别产品已广泛应用于金融、司法、军队、公安、边检、政府、航天、电力、工厂、教育、医疗及众多企事业单位等领域。随着技术的进一步成熟和社会认同度的提高，人脸识别技术将应用在更多的领域。
- 企业、住宅安全和管理。如人脸识别门禁考勤系统，人脸识别防盗门等。
- 电子护照及身份证。中国的电子护照计划公安部一所正在加紧规划和实施。
- 公安、司法和刑侦。如利用人脸识别系统和网络，在全国范围内搜捕逃犯。
- 自助服务。
- 信息安全。如计算机登录、电子政务和电子商务。在电子商务中交易全部在网上完成，电子政务中的很多审批流程也都搬到了网上。而当前，交易或者审批的授权都是靠密码来实现，如果密码被盗，就无法保证安全。但是使用生物特征，就可以做到当事人在网上的数字身份和真实身份统一，从而大大增加电子商务和电子政务系统的可靠性。
主要产品
数码相机
人脸自动对焦和笑脸快门技术：首先是面部捕捉。它根据人的头部的部位进行判定，首先确定头部，然后判断眼睛和嘴巴等头部特征，通过特征库的比对，确认是人面部，完成面部捕捉。然后以人脸为焦点进行自动对焦，可以大大的提升拍出照片的清晰度。 笑脸快门技术就是在人脸识别的基础上，完成了面部捕捉，然后开始判断嘴的上弯程度和眼的下弯程度，来判断是不是笑了。以上所有的捕捉和比较都是在对比特征库的情况下完成的，所以特征库是基础，里面有各种典型的面部和笑脸特征数据。
门禁系统
受安全保护的地区可以通过人脸识别辨识试图进入者的身份。人脸识别系统可用于企业、住宅安全和管理。如人脸识别门禁考勤系统，人脸识别防盗门等。[2]
- 人脸识别门禁
人脸识别门禁是基于先进的人脸识别技术，结合成熟的ID卡和指纹识别技术而推出的安全实用的门禁产品。产品采用分体式设计，人脸、指纹和ID卡信息的采集和生物信息识别及门禁控制内外分离，实用性高、安全可靠。系统采用网络信息加密传输，支持远程进行控制和管理，可广泛应用于银行、军队、公检法、智能楼宇等重点区域的门禁安全控制。[3]
身份辨识
如电子护照及身份证。这或许是未来规模应用。在国际民航组织已确定，从 2010年 4月 1日起，其 118个成员国家和地区，必须使用机读护照，人脸识别技术是首推识别模式，该规定已经成为国际标准。美国已经要求和它有出入免签证协议的国家在2006年10月 26日之前必须使用结合了人脸指纹等生物特征的电子护照系统，到 2006年底已经有 50多个国家实现了这样的系统。美国运输安全署（Transportation Security Administration）计划在全美推广一项基于生物特征的国内通用旅行证件。欧洲很多国家也在计划或者正在实施类似的计划，用包含生物特征的证件对旅客进行识别和管理。中国的电子护照计划公安部一所正在加紧规划和实施。
可在机场、体育场、超级市场等公共场所对人群进行监视，例如在机场安装监视系统以防止恐怖分子登机。如银行的自动提款机，用户卡片和密码被盗，就会被他人冒取现金。同时应用人脸识别就会避免这种情况的发生。通过查询目标人像数据寻找数据库中是否存在重点人口基本信息。例如在机场或车站安装系统以抓捕在逃案犯。
网络应用
利用人脸识别辅助信用卡网络支付，以防止非信用卡的拥有者使用信用卡等。如计算机登录、电子政务和电子商务。在电子商务中交易全部在网上完成，电子政务中的很多审批流程也都搬到了网上。而当前，交易或者审批的授权都是靠密码来实现。如果密码被盗，就无法保证安全。如果使用生物特征，就可以做到当事人在网上的数字身份和真实身份统一。从而大大增加电子商务和电子政务系统的可靠性。
娱乐应用
人脸识别技术广泛地应用于日常生活中，如相机拍摄，图片对比等，尤其近两年来，相亲节目如火如荼，其中浙江电视台的爱情连连看中的最佳夫妻像环节就利用了人脸对比技术来测试男女主人公面相的相似程度。
随着移动互联网的崛起，一些人脸识别技术的开发者将该项技术应用到娱乐领域中，如应用开心明星脸等，根据人脸的轮廓，肤色，纹理，质地，色彩，光照等特征来计算照片中主人公与明星的相似度。
应用示例
2012年4月13日京沪高铁安检区域人脸识别系统工程开始招标，上海虹桥站、天津西站和济南西站三个车站安检区域将安装用于身份识别的高科技安检系统——人脸识别系统，以协助公安部门抓捕在逃案犯，人脸识别产品及系统解决方案的高科技创新型企业。由该领域内的专家组成了核心技术研发团队，专注于以人脸识别技术为核心，覆盖考勤、门禁安防等多领域的产品设计与研发项目。现今人脸识别产品已广泛应用于金融、司法、军队、公安、边检、政府、航天、电力、工厂、教育、医疗及众多企事业单位等领域。
2013年9月5日，刷脸支付系统在中国国际金融展上亮相。 刷脸支付系统基于天诚盛业自主研发的生物识别云金融平台，将自主知识产权军用级别的人脸识别算法与现有的支付系统进行融合，对接了我们生活中涉及到支付、转账、结算和交易的环节。在支付时人们不再需要银行卡、存折和密码，甚至是手机，只需要对着摄像头点个头、露个笑脸，刷脸支付系统将会在几秒内完成身份确认、账户读取、转账支付、交易确认等一站式支付环节，为用户创建更棒的支付体验。
2014年8月起，日本将在部分机场的出入国审查(边检)处重启人脸识别系统的实验。2012年实施的首次实验因错误频发而一度中止，但法务省认为，为迎接2020年东京奥运会需提高边检速度，于是决定重启实验。实验将在2014年8月起进行约5周，对象为在羽田机场和成田机场乘机的日本人。负责实验的企业将于近期敲定。日本政府在各地机场设置了仅凭指纹识别便可通过的自动边检门，但因需要事先登记指纹，乘客利用率不高。人脸识别则无需事先登记。[4]
2015年3月15日汉诺威IT博览会(CeBIT)在德国开幕，阿里巴巴创始人马云作为唯一受邀的企业家代表，在开幕式上作了主旨演讲。在发表演讲后，马云还为德国总理默克尔与中国副总理马凯演示了蚂蚁金服的Smile to Pay扫脸技术，并当场刷自己的脸给嘉宾买礼物。马云选择的礼物是淘宝网上一枚1948年的汉诺威纪念邮票。他用手机登陆淘宝，首先选择产品；第二步进入支付系统，确认支付后出现扫脸的页面；然后扫脸(拍照后)后台认证；接着显示支付成功。马云现场为德国总理默克尔赠送了一份特殊礼物：一张纪念版的德国日历页，且恰好就是这位女总理的出生年月。[5]
法律法规
2021年7月28日，随着信息技术飞速发展，人脸识别逐步渗透到人们生活的方方面面。人脸识别技术在诸多领域发挥着巨大作用的同时，也存在被滥用的情况，最高人民法院发布司法解释，对人脸识别进行规范。[6]
2021年7月28日，《最高人民法院关于审理使用人脸识别技术处理个人信息相关民事案件适用法律若干问题的规定》正式对外发布。《规定》明确：“物业服务企业或者其他建筑物管理人以人脸识别作为业主或者物业使用人出入物业服务区域的唯一验证方式，不同意的业主或者物业使用人请求其提供其他合理验证方式的，人民法院依法予以支持。”根据这一规定，小区物业在使用人脸识别门禁系统录入人脸信息时，应当征得业主或者物业使用人的同意，对于不同意的业主或者物业使用人，小区物业应当提供替代性验证方式，不得侵害业主或物业使用人的人格权益和其他合法权益。[7]
2021年8月，随着人脸识别技术广泛用于现实生活，民众对其被滥用的担心也不断增加，强化人脸信息保护的呼声日益高涨。最高法出台《关于审理使用人脸识别技术处理个人信息相关民事案件适用法律若干问题的规定》，把未经自然人或其监护人单独同意的人脸信息采集行为明确界定为“侵权”，这不仅回应了民众呼唤保护人脸信息的正当诉求，也为司法部门处理此类纠纷提供了法律依据，更增强了公民对其人格权益保护的法律底气。[8]
2021年8月20日，十三届全国人大常委会第三十次会议表决通过《中华人民共和国个人信息保护法》，自2021年11月1日起施行。针对滥用人脸识别技术问题，本法要求，在公共场所安装图像采集、个人身份识别设备，应设置显著的提示标识；所收集的个人图像、身份识别信息只能用于维护公共安全的目的。[9]
2021年11月14日，国家网信办公布《网络数据安全管理条例（征求意见稿）》，并向社会公开征求意见。征求意见稿提出，数据处理者利用生物特征进行个人身份认证的，应当对必要性、安全性进行风险评估，不得将人脸、步态、指纹、虹膜、声纹等生物特征作为唯一的个人身份认证方式，以强制个人同意收集其个人生物特征信息。[10]
参考资料
https://baike.baidu.com/item/%E4%BA%BA%E8%84%B8%E8%AF%86%E5%88%AB
[1] StanZ.Li．Handbook of face recognition：LibraryofCongressCataloging-in-PublicationData，2004052453
[2] 人脸识别辨身份 未来支付请“刷脸”．人民网[引用日期2014-03-28]
[3] 马航事件驱动 人脸识别概念或受关注．新华网[引用日期2014-03-28]
[4] 日本机场拟重启人脸识别实验 利用护照内芯片．网易网．2014-4-21
[5] 马云德国首秀“刷脸支付” 送默克尔淘宝礼物．凤凰网[引用日期2015-03-16]
[6] 不得强制索取非必要个人信息 最高法发布司法解释规范人脸识别应用．央视新闻客户端．2021-07-28
[7] 最高法发布审理使用人脸识别技术处理个人信息相关民事案件的司法解释 |民事诉讼法|人脸识别技术|人格权|隐私权|自然人．网易新闻．2021-07-29
[8] 为滥用人脸识别厘清法律边界．中国财经．2021-08-03
[9] 表决通过！个人信息安全有了专门法律保护．新华网．2021-08-20
[10] 我国拟规定不得将人脸等生物特征作为唯一个人身份认证方式．新华网[引用日期2021-11-16]