清华和中科大为智能眼镜面部捕捉提出低功耗解决方案AUGlasses

清华和中科大为智能眼镜面部捕捉提出低功耗解决方案AUGlasses

引用

腾讯

1.

https://new.qq.com/rain/a/20241112A07CJA00

中国科学院大学和清华大学的研究人员近日提出了一种名为AUGlasses的低功耗智能眼镜，可用于精确的面部重建。该设备通过在面部颞区放置惯性测量单元（IMU）来捕获由面部肌肉运动引起的皮肤变形。

研究人员在眼镜中加入了一个生物相容的弹性结构，将两个IMU放置在颞区，以监测皮肤运动和形状变化。来自IMU的数据，结合面部动作单元（AU）强度的历史记录，被输入一个基于transformer的深度学习模型，以实时估计AU强度，然后用于面部重建。

实验结果显示，AUGlasses准确地预测了14个关键AU的强度，跨用户平均绝对误差（MAE）为0.187（STD=0.025）。同时，系统实现了跨用户MAE为1.93mm（STD=0.353）的面部重建，具有隐私保护、轻便和舒适的特点。

系统的优势主要体现在三个方面：

1. 低功耗传感方法确保了对智能眼镜续航的影响最小。IMU和蓝牙通信的功耗仅为49.95 mW (3.7 V时13.5 mA)，低于目前的解决方案。如果传感器仅工作25%的时间，则平均功耗低至12.5 mW。它同时具有隐私保护、轻便和舒适的特点。IMU不会暴露敏感的个人数据，如图像或声音，这消除了用户对隐私的担忧。同时，支撑弹性凝胶结构和IMU的总重量仅为0.83克，为目前商用智能眼镜（即50g1）的1.66%。另外，尽管IMU与皮肤接触，但接触点实际上非常小。所以，传感器带来的额外重量和皮肤接触对用户来说几乎是不明显的。

2. 团队设计了一系列技术来保证长期连续面部重建的准确性。在预处理阶段，更新了移动伪影去除的映射参数，以确保其在用户移动时的有效性；在推理阶段，重新设置AUs作为模型输入的值，以避免长时间感知过程中预测误差的传播；在训练阶段，设计一种新颖的Prefix-conditioned Sequence Forecasting预测策略，以促使模型从固定的观测数据序列中学习，使其能够基于更广泛的背景而不仅仅是最近的过去来预测后续序列。这避免了曝光偏差，提高了连续面部重建的准确性和可靠性。

3. 系统仅通过预测14个AUs来重建整个面部。通过限制输出AUs，避免了直接预测面部特征点的二维坐标所带来的复杂性，同时获得了良好的面部重建性能。

用户研究结果表明，AUGlasses准确地预测了14个关键AUs的强度（0-5级），跨用户平均绝对误差（MAE）为0.187（STD=0.025），并实现了跨用户MAE为1.93mm（STD=0.353）的面部重建。团队同时集成了各种预处理和训练技术，以确保连续传感的稳健性能。微观基准测试表明，系统始终如一地使用微调的跨用户模型进行精确的连续面部重建，并实现了0.35的AU MAE。

总的来说，AUGlasses是一款低功耗的智能眼镜，可以连续追踪14个面部动作单元，并实现准确的面部重建。团队设计了一种新的实时AUs估计架构，利用IMU数据和以前的AUs强度来估计当前帧的AUs强度。然后，基于14个AUs的预测强度在Unity中重建角色的面部，并通过提取51个面部landmark来将面部重建性能与ground truth进行比较。

重建的3D面部MAE仅为1.93 mm， NME为2.75%。主观结果显示，超过70%的参与者认为AUGlasses佩戴舒适，适合日常使用。后置分析表明，系统可以支持单个IMU，采样率为50Hz，这使得功耗进一步降低到40.96 mW。