近日，IEEE/CVF计算机视觉国际顶级会议（CVPR 2023）公布第五届人脸表情国际挑战赛（ABAW5）的结果，网易伏羲AI实验室虚拟人团队再创佳绩：在人脸表情（肌肉）动作单元检测（AU）、人脸情绪识别（EXPR）、愉悦度-唤醒度估计（VA）和情绪反应强度估计（ERI）四个赛道中，分别获得了两项冠军、亚军和季军的优异成绩，这已是网易伏羲连续三次在该赛事中获得AU和EXPR双赛道冠军。这些成果充分展现了网易伏羲在人脸表情感知领域的长期沉淀和技术实力。
CVPR是全球计算机视觉领域顶级的学术会议之一，拥有40年历史，长期享誉盛名，是学术界和工业界公认的重要会议之一。ABAW赛事是专注于自然环境下（in-the-wild）的人脸表情感知的国际赛事，本届比赛吸引了众多国内外知名企业和高校的参与，包括百度、思图、天翼云、斯坦福大学、南加州大学、南洋理工大学、莱斯特大学、清华大学，中国科学技术大学、浙江大学、中国人民大学等。能从一流竞赛队伍中脱颖而出，离不开伏羲众包平台所提供的高质量的数据标注与管理服务。
在今年的比赛中，网易伏羲虚拟人团队继续优化了自研表情表征技术和基于transformer的多模态情绪分析框架，进一步提高了模型的识别准确性和泛化能力。
网易伏羲成绩一览
网易伏羲虚拟人团队解决ABAW5挑战赛难题
人脸表情分析是计算机视觉领域一个重要的研究方向，其在人机交互、心理疾病诊断与治疗、刑侦安防等领域有着广阔的应用前景。常见的人脸表情情绪表征包括表情（肌肉）动作单元、基本情绪类别以及愉悦度-唤醒度。ABAW5针对这三种表征分别提出了挑战赛道，此外，今年还新增了ERI估计这一项新挑战。ERI指人类在面对某种刺激时所产生情绪反应的程度，赛事将其归纳为7个情绪维度的连续值。该赛事提供的视频数据存在复杂多样的光照、角度、遮挡以及数据类别不均衡问题，这对模型的泛化性提出了挑战。针对这些挑战，网易伏羲提出自己的解决方案，为行业的实际落地提供了新的思路。
pipeline框架图
利用自研MAE-Face技术，网易伏羲成功实现了人脸视觉细粒度特征集成模型。该技术借鉴了Masked Autoencoder(MAE)的结构，基于大规模的人脸数据集，采用掩码的自监督训练方式，同时结合伏羲在表情表征技术的长期积累，实现了隐空间细粒度的表情表征能力。同时，为了优化性能，该技术使用了时序和音频等多模态信息的融合，并运用transformer技术进行特征整合，取得了多个赛道的领先成绩。
除此以外，网易伏羲还加入了基于对比学习的表情编码预训练特征，该特征在前两届比赛中也得到了应用。为了进一步加强这一特征，在本次比赛中，网易伏羲制造了更多的对比样本并基于网易有灵众包平台完成了高质量、高效率的人工标注。具体来说，网易有灵众包在"人工样本标注"和"人工检验"阶段将相应的众包任务通过低代码平台发布到众包平台中，然后经过人类标注的数据再通过AOP规范化接口输入到AI能力系统中，喂给表情编码算法进行表情相似度的训练，值得一提的是,众包数据的质量直接影响着表情编码表征细粒度表情的效果。网易有灵众包平台提供了基于用户画像的区间估计、真值推断等自动质检功能，在降本增效、缩短标注周期、保证质量等方面都有一系列的前沿算法举措。得益于有灵机器人平台提供的能力支撑，网易伏羲才能在短时间内提升了表情编码的表征，为最后的获胜打下了坚实的基础。
人类表情AI感知技术广泛应用于游戏、数字文旅、心理测试等领域。以游戏场景为例，人类表情AI感知技术能够提高AI对于玩家情绪的精准感知，并以更为自然合理的方式进行回应。网易伏羲的模型提取到的表情特征，能够帮助游戏开发者实现更为细腻、传神的NPC表情动画，配合语音生成表情技术，进一步提升AI合成动画的质量，缩短游戏研发周期，降低制作成本。
持续深化虚拟人领域的探索与实践
网易伏羲在AI人脸表情迁移、情绪识别等研究领域取得了显著成果，并已在网易集团内外部多个产品中得到验证，为产品及用户提供了更加便捷、高效、智能化的服务。例如，伏羲人脸表情迁移技术可以将真实人脸的表情迁移到虚拟人物上，使虚拟人物与用户进行更加自然流畅的交互，提高互动体验。
网易伏羲语音驱动表情动画自动合成
素材来源：《天谕》手游
网易伏羲语音驱动表情动画自动合成
素材来源：《逆水寒》端游
网易伏羲将持续深化在虚拟人科研领域的探索，积极将最新的AI人脸表情分析技术应用于游戏、文旅、文娱等产业，为用户提供更为自然、流畅的虚拟人互动体验。借助智能捏脸、动画迁移、动画合成、语音合成、语音转换等完善的虚拟人能力服务，推动AI技术在实际应用中发挥更大价值，为行业带来前崭新的AI+应用体验。
关于网易伏羲
网易伏羲成立于2017年，是国内专业从事游戏与泛娱乐AI研究和应用的顶尖机构。网易伏羲已经发表200多篇AI顶会论文，拥有400多项发明专利，以及数字人、智能捏脸、AI创作、AI反外挂、AI推荐匹配、AI竞技机器人等多个领域的领先技术。目前，网易伏羲正在向游戏、文旅、文娱等产业开放AI技术及产品，已服务超200家客户，应用日均调用量超数亿次。
