一文尽享 Matting（抠图）主流开源模型、数据集

创作时间:

作者:

@小白创作中心

一文尽享 Matting（抠图）主流开源模型、数据集

引用

CSDN

https://blog.csdn.net/m0_49711991/article/details/142814580

Matting（抠图）是一种图像处理技术，主要用于从复杂背景中提取前景对象，通常应用于图像合成、特效制作和视频编辑等领域。本文精心汇总了 Matting（抠图）技术的前沿开源模型、主流算法以及数据集资源，旨在加速开发人员的研究进程，轻松获取所需算法与数据。

Deep Image Matting

针对此前的图像抠图算法，在图像的前景和背景颜色相似或纹理复杂时表现不佳可能存在的问题：only use low-level features 和 lack high-level context。

提出以下创新：

一个深度卷积 encoder-decorder 网络，它将一个图像补丁和相应的 trimap 作为输入，预测图像的 alpha matte；
一个小型的卷积网络，用更准确的阿尔法值和更清晰的边缘来完善第一个网络的阿尔法预测。

此外，还创建了一个大规模的图像抠图数据集，包括 49,300 张训练图像和 1,000 张测试图像。

参考论文：Deep Image Matting
论文地址：https://arxiv.org/pdf/1703.03872
开源地址：https://sites.google.com/view/deepimagematting(数据需要通过邮箱[bprice@adobe.com]联系获得)

Background Matting

Background Matting 是华盛顿大学提出的一种背景 matting 技术，该技术可以在自然环境中随意捕获高质量的前景和 alpha matte。

研究创新如下：

首个使用随意捕获背景的无三元图(trimap-free)自动抠图算法。
一种新的抠图架构(上下文切换模块)，可在输入提示中进行选择。
一种自监督对抗训练方法，以改善真实图像上的抠图效果。
在多种输入(手持设备、固定摄像头、室内、室外)上与多种竞争方法进行实验比较，展示了该方法的相对成功。
参考论文：Background Matting: The World is Your Green Screen (CVPR 2020)
论文地址：https://arxiv.org/abs/2004.00626
开源地址：https://github.com/senguptaumd/Background-Matting

BackgroundMattingV2

BackgroundMattingV2 是 Background Matting 升级版，由华盛顿大学提出的一种实时、高分辨率的背景替换技术，它可以在 4K 30fps 和 HD 60fps 下运行。

另外，还提供了两个大型视频和图像抠图数据集：VideoMatte240K 和 PhotoMatte13K/85。

VideoMatte240K 共收集 484 个高分辨率的绿幕视频，其中 384 个视频为 4K 分辨率，100 个为 HD 分辨率，并通过 Adobe After Effects 生成了总共 240,709 帧单独的 alpha 遮罩和前景。

PhotoMatte13K/85 包含 13665 张用摄影棚质量的灯光和摄像机在绿屏前拍摄的图像集合，以及通过色度抠像(chromakey)算法提取的抠图，并进行手动调整与错误修复。另外收集一套 85 张质量类似的抠图作为测试集。

参考论文：Real-Time High-Resolution Background Matting (CVPR 2021)
论文地址：https://arxiv.org/abs/2012.07810
论文介绍：https://blog.csdn.net/qq_45929156/article/details/122632480
开源地址：https://github.com/PeterL1n/BackgroundMattingV2(包含数据下载)

RVM

RVM(Robust Video Matting) 是专为稳定人物视频抠像的设计。不同于现有神经网络将每一帧作为单独图片处理，RVM 使用循环神经网络，在处理视频流时有时间记忆。RVM 可在任意视频上做实时高清抠像。在 Nvidia GTX 1080Ti 上实现 4K 76FPS 和 HD 104FPS。