基于八叉树结构的3D高斯体渲染方法，实现一致的实时渲染性能
基于八叉树结构的3D高斯体渲染方法，实现一致的实时渲染性能
本文提出了一种称为Octree-GS的基于八叉树结构的3D高斯体渲染方法。该方法通过引入细节层次（LOD）结构来组织3D高斯体，支持根据视角和场景细节自适应地选择不同的LOD进行渲染，从而提高渲染效率并保持高质量的视觉效果。
创新点
- 引入了LOD（Level of Detail,细节层次）结构来组织3D高斯体，支持根据视角和场景细节自适应地选择不同的LOD进行渲染，从而提高渲染效率并保持高质量的视觉效果。
- 通过一种新的生长和修剪操作来自适应地调整每个锚点高斯体的LOD层次，从而实现对场景细节的更好控制。
- 采用渐进训练策略，从粗粒度的LOD开始训练，逐步增加LOD的细粒度，有助于提高模型在不同LOD层次的区分能力。
- 在多个数据集和测试用例上进行了评估，结果表明该方法可以显著减少渲染所需的3D高斯体数量，同时保持高质量的视觉效果，实现一致的实时渲染性能。
方法
Octree-GS：从稀疏点云开始，我们为有界的3D空间构造了一棵八叉树。每个八叉树级别都提供一组分配给相应LOD级别的锚点高斯。与平等对待所有高斯的传统3D-GS方法不同，我们的方法涉及具有不同LOD的锚定高斯。在新颖视图渲染期间，我们从观测中心确定八叉树内每个占用的锚点体素所需的LOD级别，并调用所有锚点高斯到该级别进行最终渲染。这个过程（如图所示）通过以累积方式逐渐从较高的LOD中获取锚点来提高细节级别。我们的模型在Scaffold-GS的实践之后使用标准图像重建损失和额外的正则化损失进行训练。
具体来说，该方法包含以下主要组成部分：
- LOD-structured 3D Gaussians：首先构建了一个八叉树结构，并将锚点高斯分配到不同的LOD级别，以实现场景的层次表示。
- Adaptive Anchor Gaussian Control：采用自适应锚点高斯控制策略，包括锚点生长和修剪，以优化锚点密度。
- Progressive Training：采用了逐步训练策略，从低LOD开始训练，逐步增加LOD级别，以提高渲染质量。
通过这些关键组成部分，Octree-GS方法在保持渲染质量的同时，有效减少了渲染过程中的高斯基元数量，实现了稳定的实时渲染。这些组成部分的设计思路和具体实现细节为读者理解该方法提供了充分的信息。
实验
作者进行了一系列实验来评估他们提出的方法的性能。他们使用了公共数据集中的23个场景进行了全面的评估，包括Mip-NeRF360、Tanks&Temples、DeepBlending、BungeeNeRF和MatrixCity等数据集。评估指标包括PSNR、SSIM和LPIPS等视觉质量指标，以及每个视图渲染过程中使用的平均活跃3D高斯/神经高斯的数量，作为渲染效率的公平指标。
作者将他们的方法与3D-GS、Scaffold-GS、Mip-Splatting和Mip-NeRF360等基线方法进行了比较。他们发现，他们的方法在渲染质量上与基线方法相比具有竞争力，同时使用更少的高斯数量，表明渲染速度更快。
此外，作者还评估了LOD偏差的效果，并展示了外观嵌入的结果。他们还提供了每个场景的定量指标，以及Tanks&Temples和Deep Blending数据集的结果。
总的来说，实验结果表明，作者提出的方法在渲染质量和效率方面都表现出色，并且在各种不同类型的场景中都能取得良好的效果。
总结
在这项工作中，我们将细节层次(LOD)引入3D高斯分布，使用新颖的八叉树结构来分层组织锚定高斯。我们的模型Octree-GS通过解决多尺度训练图像中的LOD冲突并减少纹理丰富或缩小视图中的冗余高斯，解决了以前的限制，从而克服了锯齿和渲染效率低下的问题。通过精心设计，Octree-GS显着增强了细节捕捉，同时保持实时渲染性能，而无需增加3D高斯数量。这表明未来现实世界流媒体体验的潜力，展示了先进神经渲染方法提供无缝、高质量交互式3D场景和内容的能力。然而，某些模型组件，如八叉树构建和渐进训练，仍然需要超参数调整。平衡每个LOD级别中的锚点和调整训练迭代激活也至关重要。此外，我们的模型仍然面临与3D-GS相关的挑战，包括依赖初始稀疏点云和缺乏几何支持。这些都留作我们未来的作品。