随着基于深度相机的人脸识别系统迅速发展，公众对这些设备的安全性提出了极大的要求。作为一个密切相关的话题，多模态人脸活体检测已经成为人脸识别系统中不可缺少的一部分。然而，现有的多模态活体检测方法仍然存在以下几点不足：第一，多模态人脸活体检测多数依赖RGB图像，其图像质量很容易受到外部环境变化的影响（如照明和应用环境）；第二，人脸尺度的不确定性导致深度图像的不确定性，使得模型很难准确区分真实人脸和欺骗人脸的深度；第三，现有的多模态方法没有充分探索全局和局部的融合信息。

图1、来自不同公共数据库的活体和欺骗性攻击展示，其中包括红外图像、深度图和本文提出的表面法线图（SNM），SNM更具判别性的特征

为有效地解决上述难题，西安交通大学人机混合增强智能全国重点实验室（人工智能学院）葛晨阳博士团队提出了一种基于3D深度相机的注意力感知双流网络，同时考虑细粒度和全局融合信息。为获得具有鉴别力和稳健的人脸内部结构细节，创新地设计了一个表面法线生成器，能够适用于大多数公共多模态数据库。再将表面法线图（Surface normal map，SNM）和IR图像视为网络输入。双流网络使用注意机制将每个流分成局部和全局分支。一方面，全局分支由全局交互融合（Global Interaction Fusion，GIF）模块组成，旨在探索来自不同输入的互补性表征。另一方面，局部分支引入了一个局部注意力提取（Local Attention Extraction，LAE）模块，以关注来自每个输入中间特征图的细微区域。

图2、双流人脸反欺骗网络

图3、不同公开数据集上对比实验结果

上述研究成果近日在线发表在网络与信息安全国际顶级期刊IEEE TIFS（IEEE Transactions on Information Forensics and Security，中科院JCR 1区期刊、计算机科学CCF A类期刊、西安交通大学最有国际影响力的学术期刊）上，题为“基于多模态人脸反欺骗的注意力感知双流网络”（Attention-aware Dual-stream Network for Multimodal Face Anti-spoofing），论文第一作者为人工智能学院博士生邓鹏超，指导教师葛晨阳，西安交通大学为第一作者单位和唯一通讯单位。论文研究得到国家基金委仪器专项、陕西省重点基金的资助。研究成果不仅可用于金融支付领域的人脸检测，也可用于空中对地面真实目标的检测。

  论文链接：ieeexplore.ieee.org/document/10176121

葛晨阳博士团队在计算视觉、三维成像、嵌入式AI、机器人领域有着近20年的创新积累，擅长AI技术创新和成果转化，依托人机混合增强智能全国重点实验室，从事“人工智能基础理论-核心算法-关键技术-架构平台”四个层次混合增强智能基础理论与技术研究。该实验室目标：建立国际高水平自主可控创新研究平台，产出具有国际影响力的重大原创成果，抢占人工智能发展的理论创新制高点，推动人工智能变革性与颠覆性技术创新。