InvSR：开源图像超分辨率生成模型，提升分辨率，修复老旧照片为超清图像

InvSR：开源图像超分辨率生成模型，提升分辨率，修复老旧照片为超清图像

引用

CSDN

1.

https://blog.csdn.net/qq_19841021/article/details/144704888

InvSR是一个基于扩散模型的逆过程恢复高分辨率图像的创新模型。它通过深度噪声预测器来估计正向扩散过程中所需的最优噪声图，不仅能够充分利用扩散模型的先验知识，还提供了灵活高效的采样机制。

InvSR是什么

InvSR是一个创新的图像超分辨率模型，基于扩散模型的逆过程恢复高分辨率图像。它利用大型预训练扩散模型中的丰富图像先验知识，通过深度噪声预测器来估计正向扩散过程中所需的最优噪声图。这种方法不仅能够充分利用扩散模型的先验知识，还提供了灵活高效的采样机制，用户可以根据图像退化的类型或特定需求自由调整采样步骤。

InvSR的核心在于其深度噪声预测器，该预测器能够估计出在正向扩散过程中所需的最优噪声图。通过这种方式，InvSR能够在减少采样步骤的情况下，依然保持或超越现有方法的性能，实现计算效率的提升。

InvSR的主要功能

• 图像超分辨率提升：主要功能是提高图像的分辨率，从低分辨率图像恢复出高分辨率图像。
• 灵活的采样机制：支持从一到五个任意数量的采样步骤，用户可以根据图像退化类型或特定需求调整采样步骤。
• 噪声预测：深度噪声预测器估计最优噪声图，用于初始化扩散模型的采样过程。
• 扩散模型利用：充分利用预训练的扩散模型中的图像先验知识，提高超分辨率的性能。
• 高效计算：即使在减少采样步骤的情况下，也能保持或超越现有方法的性能，实现计算效率的提升。

InvSR的技术原理

• 扩散模型框架：基于扩散模型（如DDPM），逐步添加噪声将高分辨率图像转化为低分辨率图像的随机噪声图。
• 部分噪声预测策略：构建扩散模型的中间状态作为起始采样点，简化从低分辨率到高分辨率的反转过程。
• 深度噪声预测器：核心组件之一，用于估计正向扩散过程中的最优噪声图，从而在扩散轨迹上部分初始化采样过程。
• 逆向扩散过程：从噪声图开始，通过逆向扩散过程逐步去除噪声，恢复出高分辨率图像。
• 灵活的采样步骤：选择不同的起始采样点，并结合现有的采样算法，实现不同数量的采样步骤，适应不同的图像退化情况。
• 训练与优化：通过最小化预测高分辨率图像与真实高分辨率图像之间的差异来训练噪声预测器，使用L2损失、LPIPS损失和GAN损失进行训练，优化性能。

如何运行InvSR

快速测试

python inference_invsr.py -i [image folder/image path] -o [result folder] --num_steps 1

1. 处理大图像：例如从1k分辨率提升到4k，建议添加选项--chopping_size 256。
2. 其他选项：

• 指定预下载的SD Turbo模型：--sd_path。
• 指定预下载的噪声预测器：--started_ckpt_path。
• 采样步骤数量：--num_steps。
• 如果GPU内存有限，请添加选项--chopping_bs 1。

在线Demo

你可以通过以下命令尝试在线Demo：

python app.py

资源

• GitHub仓库：https://github.com/zsyOAOA/InvSR
• arXiv技术论文：https://arxiv.org/pdf/2412.09013
• 在线体验Demo：https://huggingface.co/spaces/OAOA/InvSR