DeepMesh：3D建模革命！清华团队让AI自动优化拓扑，1秒生成工业级网格

DeepMesh：3D建模革命！清华团队让AI自动优化拓扑，1秒生成工业级网格

DeepMesh是一个基于强化学习和自回归变换器的3D网格生成框架，由清华大学和南洋理工大学的研究人员共同开发。它通过引入高效的预训练策略和直接偏好优化（DPO）的强化学习方法，实现了高质量3D网格的快速生成。

DeepMesh是什么

DeepMesh是由清华大学和南洋理工大学的研究人员提出的3D网格生成框架。它基于强化学习和自回归变换器，能够生成高质量的3D网格。通过两项关键创新，DeepMesh在网格生成的质量和效率上实现了显著提升。

首先，DeepMesh引入了高效的预训练策略，结合了新型标记化算法和改进的数据处理流程，显著缩短了序列长度，同时保留了几何细节。其次，DeepMesh采用了直接偏好优化（DPO）的强化学习方法，使生成的网格在几何精度和视觉效果上更符合人类偏好。

DeepMesh的主要功能

• 高质量3D网格生成：DeepMesh能生成具有丰富细节和精确拓扑结构的3D网格，适用于各种复杂的几何形状。
• 点云条件生成：DeepMesh可以根据输入的点云数据生成对应的3D网格，适用于从稀疏点云到密集点云的各种场景。
• 图像条件生成：DeepMesh支持基于图像的条件生成，能根据输入的2D图像生成3D网格。

DeepMesh的技术原理

• 自回归变换器：DeepMesh采用自回归变换器作为核心架构，包含自注意力层和交叉注意力层，逐步生成网格的面，通过条件输入（如点云或图像）来预测网格的顶点和面。
• 高效预训练策略：DeepMesh引入了一种改进的标记化算法，通过局部感知的面遍历和块索引坐标编码，显著缩短了序列长度，同时保留了几何细节。
• 强化学习与人类偏好对齐：DeepMesh引入了直接偏好优化（DPO），通过人工评估和3D指标设计评分标准，收集偏好对用于强化学习训练，使生成的网格在几何精度上准确，在视觉效果上更符合人类审美。
• 端到端可微分的网格表示：DeepMesh支持端到端可微分的网格表示，拓扑可以动态变化，这种可微分性使模型能通过梯度下降进行优化，进一步提升生成网格的质量。

如何运行DeepMesh

1. 安装

我们的环境已在Ubuntu 22、CUDA 11.8上测试，支持A100、A800和A6000显卡。

克隆仓库并创建conda环境：

git clone https://github.com/zhaorw02/DeepMesh.git && cd DeepMesh
conda env create -f environment.yaml
conda activate deepmesh

安装预训练模型权重：

pip install -U "huggingface_hub[cli]"
huggingface-cli login
huggingface-cli download zzzrw/DeepMesh --local-dir ./

2. 使用

命令行推理

# 生成文件夹中的所有obj/ply文件
CUDA_VISIBLE_DEVICES=0 torchrun --nproc-per-node=1 --master-port=12345 sample.py \
    --model_path "your_model_path" \
    --steps 90000 \
    --input_path examples \
    --output_path mesh_output \
    --repeat_num 4 \
    --temperature 0.5

# 生成指定的obj/ply文件
CUDA_VISIBLE_DEVICES=0 torchrun --nproc-per-node=1 --master-port=22345.py \
    --model_path "your_model_path" \
    --steps 90000 \
    --input_path examples \
    --output_path mesh_output \
    --repeat_num 4 \
    --uid_list "wand1.obj,wand2.obj,wand3.ply" \
    --temperature 0.5

# 或者使用脚本
bash sample.sh

资源

• 项目主页：https://zhaorw02.github.io/DeepMesh/
• GitHub仓库：https://github.com/zhaorw02/DeepMesh