社会养老保险新政策

MDFR:基于人脸图像回复和人脸转正团结模子的人脸识别方式

来源:南昌新闻网 发布时间:2021-08-22 浏览次数:

FiLecoin官网

www.ipfs8.vip)是FiLecoin致力服务于使用FiLecoin存储和检索数据的官方权威平台。IPFS官网实时更新FiLecoin(FIL)行情、当前FiLecoin(FIL)矿池、FiLecoin(FIL)收益数据、各类FiLecoin(FIL)矿机出售信息。并开放FiLecoin(FIL)交易所、IPFS云矿机、IPFS矿机出售、租用、招商等业务。

,

AI 科技谈论报道

编辑 | 陈大鑫

在现实生涯中,许多因素可能会影响人脸识别系统的识别性能,例如大姿势,不良光照,低分辨率,模糊和噪声等。为了应对这些挑战,之前的人脸识别方式通常先把低质量的人脸图像恢复成高质量人脸图像,然后举行人脸识别。然而,这些方式大多是阶段性的,并不是解决人脸识其余最优方案。

AI 科技谈论今天先容一篇能够对此有着很好的解决方案的论文,在本文中,作者提出一种多退化因子的人脸回复模子(Multi-Degradation Face Restoration,MDFR),来一次性解决所有的这些影响因素。

原文问题:《Joint Face Image Restoration and Frontalization For Recognition》

论文地址:https://ieeexplore.ieee.org/document/9427073/

MDFR 可以从给定的多姿态、多重低质量因素影响的人脸图像中回复其高质量的正面人脸图像。MDFR是一个设计优越的编码器-解码器网络结构。

在模子的构建中,作者引入了姿态残差学习计谋,以及一个基于3D的姿势归一化模块(3D-based Pose Normalization Module,PNM),该模块可以感知输入人脸姿态和正面人脸姿态之间的差异,以此差异来指导人脸的转正学习。

实验示意,训练完成之后的MDFR可以通过一个单一化的网络,一次性地从多重低质量因素影响的侧面人脸图像中恢复其高清的正面人脸图像,并有用的提高人脸算法的识别率。

1

靠山及简介

非限制条件下的人脸识别方式是盘算机视觉义务中一项主要的事情。在现实应用中,采集到的人脸图像可能包罗大姿态,不良光照,低分辨率以及模糊和噪声等,这些影响人脸成像质量的因素可能导致人脸识别应用的失败。为领会决这些问题,已经有许多方式使用分阶段模子来划分处置响应的低质量因子影响的人脸图像,即首先将低质量人脸恢复成高质量的人脸图像,随后举行人脸转正并用于人脸识别。

然而这些方式都只思量了人脸识其余单一因素,很少有方式能够同时解决影响人脸识其余多重因素。因此,这类基于单一因素的人脸处置方式并不能很好的适用于非限制条件下的人脸识别。在本文中,作者提出了一种解决多退化因子的人脸回复模子(MDFR),从给定随便姿态的低质量人脸图像中恢复出高质量正面人脸。

文章的孝顺如下:

提出了一种多退化因子人脸回复模子(Multi-Degradation Face Restoration, MDFR),将给定的随便姿态和受多重低质量因子影响的人脸图像恢复为正面且高质量的图像;

在人脸转正历程中,使用了姿态残差学习计谋,而且提出了一种基于3D的姿态归一化模块;

提出了一种有用的整合训练计谋将人脸重修和转正义务融合到一个统一的网络中,该方式能够进一步提升输出的人脸质量和后续的人脸识别效果;

2

方式形貌

MDFR结构如图1所示。在训练历程中,MDFR主要包罗两个模块,即双署理天生器(Dual-Agent Generator)和双署理判别器(Dual-Agent Discriminator)。姿态归一化模子模块(Pose Normalization Module, PNM)被嵌入到网络中对人脸的姿态举行归一化。

图1. MDFR模子的结构,包罗双署理天生器,姿态归一化模子,以及双署理判别器。

(1)双署理天生器

双署理天生器包罗一小我私人脸回复子网络(Face Restoration sub-Net, FRN)和一小我私人脸转正子网络(Face Frontalization sub-Net, FFN)。FRN网络的作用是将低质量人脸图像重修为高质量人脸图像,而FFN网络将FRN天生的侧脸图像举行转正。其中每个子网络均包罗一个编码器息争码器,前者用来将输入映射到特征空间,尔后者主要将编码后的特征重修为响应的目的人脸图像。两个子网络具有相同的网络结构,然则输入有所差异。FRN的编码器对输入的人脸图像举行编码,随后解码器对编码器的特征举行解码。FFN的解码器的输入除了人脸的编码特征外,还包罗人脸两种姿态的编码残差,如图2所示。

图2天生网络的网络结构

(2)姿态归一化模块

2022世界杯欧洲区预选赛a组赛程www.9cx.net)实时更新比分2022世界杯欧洲区预选赛a组赛程数据,2022世界杯欧洲区预选赛a组赛程全程高清免费不卡顿,100%原生直播,2022世界杯欧洲区预选赛a组赛程这里都有。给你一个完美的观赛体验。

作者设计了一个姿态归一化模块(PNM)对姿态举行归一化。PNM提供了尺度的、而且尺度统一的真实正面姿态来来指导人脸转正。基于3D形变模子(3D Morphable Model, 3DMM),二维人脸图像对应的三维极点可以通过人脸正交基线性加权相加而获得:

通过尺度正交映射将三维人脸极点映射到二维图像平面,二维侧脸人脸图像可以示意为:

其中,参数是响应的旋转矩阵,t 为平移向量。当移去旋转矩阵和平移向量后,归一化后真实转正的人脸麋集二维坐标可以表述为:

在文章中,作者使用3D人脸转正方式 2DAL 从一张给定的二维人脸图像中获取人脸麋集坐标,最后选取18个常用的要害点来天生响应的高斯热力争(Gaussian Heatmaps)。

(3)双署理先验指导判别器

在人脸超分辨率领域使用的判别损失能够很好的提高重修人脸的真实度。因此,在本文中,作者在判别器中加入两种分外的先验信息:目的人脸的landmarks以及正脸的身份特征图,使得天生的人脸不仅能够获得目的姿态,还具有真实的身份信息。对应的判别器划分为PCD(Pose Conditioned Discriminator)以及ICD(Identity Conditioned Discriminator)。

在实现历程中,作者将两种先验信息划分作用到输入判别器中指导人脸的天生,然后再输入到响应的判别器中举行判别损失的求解。PCD和ICD不仅可以区分真实人脸和天生的人脸,同时可以学习到真实人脸和天生人脸的姿态和身份差异。

(4)网络训练

网络的训练主要分为两个阶段:Separate Training和TI Training。

Separate Training:文章首先划分训练FRN和FFN两个子网络,两个训练历程划分简写为FRN-S和FFN-S。FRN-S训练历程中所用到的损失函数如下:

身份信息损失:

重修像素损失:

总的损失:

FFN-S训练历程中所用到的损失函数如下:

转正损失:

条件匹敌损失:

总的损失:

Task-Integrated (TI) training:在FRN和FFN完成了响应的离开训练后,作者在预训练模子的基础上举行整合训练。在这个阶段,作者使用FFN模子的输出作为ground-truth来训练FRN。同时,使用PNM归一化后的真实转正面部landmarks来指导FFN中人脸的转正。为了天生更好的人脸效果,在这一阶段作者还使用了特征对齐损失(Feature Alignment Loss, FA),详细的界说如下:

整体的训练损失函数为:

3

实验效果

作者首先探索了差其余网络结构和损失函数的组合来考察FFN-S和FRN-TI响应部门对人脸天生的影响,实验效果如图3所示。

图3. 消融实验在Multi-PIE数据库上的对比效果。

同时,表1展示了 MDFR 的差异变异体对差异姿态人脸的rank-1 识别率。在所有的实验模子中,FFN-S 和 FRN-TI 均获得了最好的精度。

表2枚举了 FFN-S 和 FRN-TI 同其他方式在 Multi-PIE 数据集上人脸识别率的对照。FFN-S 在所有的姿态中获得了最好的效果,其次是FFN-TI。当姿态角度在±45°以内时,FFN-S和FFN-TI获得了同 CAPG-GAN 相似的识别效果。但当姿态角度大于±45°时,FFN-S和FFN_TI的效果要显著的好于CAPG-GAN。

图4. 差异方式在多重低质量因素影响下的人脸回复效果

作者在多重低质量因素影响的人脸图像上举行响应的验证,包罗低分辨率、不良光照、噪声以及模糊。实验注释,文章提到的方式不仅可以充实应对多种低质量因子,而且都可以天生响应的高质量人脸图像。图4展示了差异方式在多重低质量因素影响下的人脸回复效果。可以看出差异于之前只能处置单一的义务的方式,文中所提出的方式既可以对人脸举行转正也可以举行高质量回复,且取得了最好的视觉效果。

发表评论
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
评价:
表情:
用户名: 验证码:点击我更换图片