计算机视觉中的法线(normal)相关知识汇总
计算机视觉中的法线(normal)相关知识汇总
本文系统地介绍了计算机视觉中法线(normal)的相关知识，包括法线的定义、法线图的渲染、法向量转换为伪彩色图的方法、法线预测方法以及法线预测后的下游任务。文章内容详尽，结构清晰，适合计算机视觉领域的初学者阅读。
1. 法线是什么
在计算机视觉中，法线是一个物体表面任意一点的切平面的法向量。宏观上看来，法向量就是垂直于物体表面的向量。预测法线的原因在于，法线是一个2.5D的表达，通过预测2D场景中的法线可以获得场景的三维信息，因此法线可以算是一个三维先验。
2. 标准的法线图
普遍认为，一个物体的法线图的坐标系是右手坐标系，即x轴向右，y轴向上，z轴垂直电脑屏幕向外。观察一个球的法线图可以帮助理解坐标系和通用的法线伪彩色图的样子。下图是从BiNI论文中截取的球的法线图。
从上图可以看出，球的法线图右侧是偏红色的，上侧是偏绿色和黄色的，而左侧是偏蓝色的。这种法线图被认为是标准的法线。
需要注意的是，不同论文中法线图的坐标系设定可能不同，包括使用物体坐标系、世界坐标系或非右手坐标系的情况。在合成数据集中，可以通过Blender工具生成标准法线图，具体方法是将相机放置在世界坐标系原点，视角朝着z的负半轴。
3. 法向量转为伪彩色图方式
获取到的法向量原始范围是[-1,1]，首先需要将其映射到[0,1]的范围内，即设法向量为n，将(n+1)/2即可将其映射到[0,1]范围内，之后根据需要将其乘以255（8位彩色）或65535（16位彩色）即可获得伪彩色图。需要注意的是，只有当法向量的坐标符合标准情况时，才能获得标准法线图。如果向量方向不对，需要先修改法向量坐标（即对应坐标值取反），然后再生成法线图。
如果想从一张png格式的法线图获取法向量真值，只需要将上述计算反过来即可。法线图只是一种法向量可视化的方法，存储的还是真正的法向量，.npy格式和.png格式的法向量只在精度上有细微差距。此外，还存在.exr高动态范围格式的法向量，其范围是[0,1]。
4. 法线预测方法
随着深度学习和diffusion模型的发展，法线预测方法从最早的纯深度学习和光度立体方法逐渐进化到了使用Diffusion模型。在光度立体领域，2023年CVPR的论文SDM-Unips完成了通用的光度立体网络，只需要输入图片即可预测法线，这是光度立体领域的一个重要工作，其数据集的质量非常高。
2024年有很多工作使用Diffusion技术来预测法线，首先是wonder3d，其在预测法线后进行三维重建，但是效果较差。之后是geowizard，此文章联合预测深度和法线，效果稍好。之后是genpercept和stable normal，这两篇文章通过将diffusion这种概率模型转为一种确定性(deterministic)模型来使法线的预测更加稳定，stable normal目前在单图法线预测上效果最优。还有一些通过回归预测的方式，例如dsine等等。
5. 法线预测后的下游任务
法线是一种2.5D的表达，其中包含了一定的三维信息，因此具有多种下游应用。在Bilateral normal integration文章中，根据法线生成了物体的surface，说明精确的法线图的可以进行三维重建的。同时法线可以作为先验进行监督，目前NeRF，3DGS等三维表达都可以渲染出法线，真实的法线可以监督三维重建过程。总之，法线的预测的应用还是很多的。