PSHuman：开源单图像3D人像重建技术，一张照片就能生成3D人像模型

PSHuman：开源单图像3D人像重建技术，一张照片就能生成3D人像模型

引用

CSDN

1.

https://m.blog.csdn.net/qq_19841021/article/details/145272751

PSHuman是一种先进的单图像3D人像重建技术，基于跨尺度多视图扩散模型，仅需一张照片即可生成高度逼真的3D人像模型。该技术能够同时建模全局形状和局部细节的联合概率分布，避免几何失真，并保持不同视图下身体形状的一致性。

PSHuman 的主要功能

• 单图像3D人像重建：仅需一张照片，快速生成详细的3D模型，大幅提高建模效率。
• 多视图扩散技术：从单一视角的照片中生成多个角度的人体图像，确保每个角度都尽可能真实。
• 高保真度面部细节：通过跨尺度扩散方法，兼顾整体身体形状和局部面部特征，避免几何变形。
• 结合SMPL-X人体模型：生成更加自然和真实的人体动作和形态，提升3D模型的逼真度。
• 背景移除：支持使用 Clipdrop 或 rembg 工具移除人像照片的背景，简化后续处理流程。
• 结构化输出：生成的3D模型和渲染视频以结构化文件形式保存，便于查看和分享。
• SMPL-free版本：无需SMPL条件即可进行多视图生成，适用于一般姿态的人像。

PSHuman 的技术原理

• 身体+面部增强和多视角生成：将输入照片和预测的人体骨架模型（SMPL-X）送入多视角图像扩散模型，生成6个不同角度的全身图片及高精度局部面部图片。
• 跨尺度扩散方法：同时建模全局全身形状和局部面部特征的联合概率分布，避免几何变形。
• 基于SMPL-X的显式人物雕刻：通过可微分的渲染技术调整、变形和重新细化SMPL-X模型，生成带真实纹理的3D人物模型。
• 多视图图像融合：使用可微分渲染技术融合多视图颜色图像，减少生成不一致性，实现纹理映射。
• 优化和重建模块：通过优化SMPL-X参数对齐多视图图像，进行几何优化，并使用可微分光栅化技术对网格进行雕刻。

如何运行 PSHuman

1. 环境配置
   首先，创建一个 Conda 环境并安装依赖：

conda create -n pshuman python=3.10
conda activate pshuman
# 安装 PyTorch
pip install torch==2.1.0 torchvision==0.16.0 torchaudio==2.1.0 --index-url https://download.pytorch.org/whl/cu121
# 安装 Kaolin
pip install kaolin==0.17.0 -f https://nvidia-kaolin.s3.us-east-2.amazonaws.com/torch-2.1.0_cu121.html
# 安装其他依赖
pip install -r requirements.txt

2. 背景移除
   使用 Clipdrop 或 rembg 工具移除人像照片的背景：

python utils/remove_bg.py --path $DATA_PATH$

3. 运行推理
   通过以下命令生成3D模型和渲染视频：

CUDA_VISIBLE_DEVICES=$GPU python inference.py --config configs/inference-768-6view.yaml \
    pretrained_model_name_or_path='pengHTYX/PSHuman_Unclip_768_6views' \
    validation_dataset.crop_size=740 \
    with_smpl=false \
    validation_dataset.root_dir=$DATA_PATH$ \
    seed=600 \
    num_views=7 \
    save_mode='rgb'

资源

• 项目官网：https://penghtyx.github.io/PSHuman
• GitHub 仓库：https://github.com/pengHTYX/PSHuman
• HuggingFace 仓库：https://huggingface.co/spaces/fffiloni/PSHuman
• arXiv 技术论文：https://arxiv.org/pdf/2409.10141