虚拟试衣技术发展综述：从应用到开源资源

虚拟试衣技术发展综述：从应用到开源资源

引用

CSDN

1.

https://blog.csdn.net/m0_49711991/article/details/139406541

虚拟试衣技术通过虚拟手段实现用户在不脱去身上衣服的情况下完成变装效果，最初源于换装游戏。随着互联网和电子商务的发展，虚拟试衣技术得到了快速发展，并广泛应用于电子商务、服装设计、游戏和娱乐等领域。

应用场景

1. 电子商务：为用户提供在线试穿服务，提升购物体验，减少退货率。
2. 服装设计：帮助设计师快速试验不同设计方案，降低样品制作成本。
3. 游戏和娱乐：在游戏和虚拟现实中为角色定制服装，增强沉浸感。

面临的挑战

1. 数据采集和处理：高质量的3D人体和服装数据获取难度大，且处理复杂。
2. 实时性：实现流畅的实时试穿效果需要强大的计算能力，当前的计算资源限制了虚拟试衣技术的实时应用。
3. 细节表现：高精度地模拟服装的材质、纹理和物理特性仍具有挑战性，特别是对于一些复杂面料的表现。
4. 用户接受度：如何提升用户的使用意愿和信任度也是一个关键问题。

开源资源

为了帮助研究人员更好地开展相关领域的工作，本文整理了一些虚拟试衣相关的开源数据集、模型和项目。

GP-VTON

GP-VTON 是一种通过协作局部流全局解析学习实现通用虚拟试穿的方法，可以在复杂的自遮挡场景中生成语义正确和照片逼真的试穿结果，并且可以轻松扩展到多类别场景。

• 论文链接：https://arxiv.org/pdf/2303.13756
• 项目链接：https://github.com/xiezhy6/GP-VTON

OOTDiffusion

OOTDiffusion 是基于 Stable Diffusion 的模型微调，用于实现现实且可控的基于图像的虚拟试穿（VTION）。可以根据不同性别和体型调整服装，支持半身和全身模型，效果接近商用！

• 论文链接：https://arxiv.org/abs/2403.01779
• 项目链接：https://github.com/levihsu/OOTDiffusion
• 体验链接：https://huggingface.co/spaces/levihsu/OOTDiffusion

TryOnDiffusion

TryOnDiffusion 可以将两幅图片合成，帮助照片中的人物更换不同的服饰。不同于传统方法，TryOnDiffusion 基于并行 UNet 的扩散式架构，在保留更多细节的情况下让服装和真人模特相结合，可呈现出更自然的试穿效果。

• 研发单位：谷歌；华盛顿大学
• 论文链接：https://arxiv.org/abs/2306.08276
• 项目链接：https://github.com/tryonlabs/tryondiffusion

DiOr（Dressing in Order）

Dressing in Order（按顺序穿衣）是一个灵活的人物生成框架，支持2D 姿态迁移、虚拟试衣、服装编辑任务。其关键在于使用新的循环生成网路，将衣服按顺序穿到一个人身上，顺序不同，结果不同。

• 论文链接：https://arxiv.org/abs/2104.07021
• 项目链接：https://github.com/cuiaiyu/dressing-in-order

M3D-VTON

M3D-VTON 是一种计算效率很高的单目到三维虚拟试穿网络，借鉴了二维和三维方法的优点，从二维信息中生成三维试穿网格。

• 论文链接：https://arxiv.org/abs/2108.05126
• 项目链接：https://github.com/fyviezhao/M3D-VTON

数据集

单品类虚拟试穿数据集

VITON-HD

• 特点：纯白背景，品类：上衣，尺寸：13679 件衣物和 27358 张人模图像，分辨率：1024 × 768
• 收录于 CVPR 2021
• 论文链接：https://arxiv.org/abs/2103.16874
• 数据集链接：https://github.com/shadow2496/VITON-HD?tab=readme-ov-file#dataset

FashionTryOn

• 特点：尺寸：28714个三元组，每个三元组包含一个服装项目图像和两个不同姿势的模特图像，共计 86142 张图像，分辨率：256 × 192
• 收录于ACM Multimedia 2019
• 论文链接：https://zhennaziyu.github.io/homepage/fp452-zhengA.pdf
• 数据集链接：https://fashiontryon.wixsite.com/fashiontryon

MPV

• 特点：尺寸：35687 张人物图片和 13524 张衣服图像，每张人物图片都有不同的姿势，分辨率：256 × 192
• 论文链接：https://arxiv.org/abs/1902.11026
• 数据集链接：https://drive.google.com/drive/folders/1e3ThRpSj8j9PaCUw8IrqzKPDVJK_grcA

StreetTryOn

• 特点：街景背景，尺寸：从大型时尚检索数据集 DeepFashion2 中筛掉超过 90% 的不适用于试穿任务的图像（例如非正面视图、大遮挡、黑暗环境等），由 12364 张用于训练的街头人物图像和 2089 张用于验证的街头人物图像组成。
• 论文链接：https://arxiv.org/pdf/2311.16094.pdf
• 项目链接：https://cuiaiyu.github.io/StreetTryOn/

多品类虚拟试穿数据集

Dress Code Dataset

• 特点：纯白背景，尺寸：53792 件衣物和 107584 张穿着它们的人模图像，品类：上衣、下装、裙子，分辨率：1024 × 768
• 相比于单品类，它更加完善了验证虚拟试衣算法的有效性。
• 论文链接：https://arxiv.org/abs/2204.08532
• 数据集链接：https://github.com/aimagelab/dress-code