想不想让你的照片秒变画风?最强图像风格化算法来了!
想不想让你的照片秒变画风?最强图像风格化算法来了!
你的社交媒体头像、主页背景和相册封面图是哪种类型?是简洁得体的证件照,还是真实生动的生活照,亦或是秀丽宜人的风景图、可爱俏皮的萌宠卡通?
想让你的照片更“风格化”一点吗?想让你的日常照片秒变画风吗?深圳大学计算机与软件学院可视计算研究中心黄惠教授团队最新研发的“视觉特征迁移算法”或许能满足你的需求。
什么是视觉特征迁移?
视觉特征迁移算法能让图像风格化,无论是诺贝尔奖头像风格、毕加索的抽象线条,还是各种天马行空的抽象画风,统统不在话下!该算法能让图像风格化,无论是诺贝尔奖头像风格、毕加索的抽象线条,还是各种天马行空的抽象画风,统统不在话下!
简单来说,就是把一张图(比如一幅名画)的独特风格、色彩、笔触、纹理甚至艺术感“迁移”到另一张图上(如你的自拍照)。你的照片既保留了原来的样子,又瞬间变成了艺术品!
算法的核心优势
超强风格化效果:无论是抽象风格还是写实风格,该算法都能轻松驾驭,效果绝佳!你的照片秒变“毕加索”不是梦!
通用性强:该算法不仅适用于艺术风格迁移,还能搞定外观迁移和纹理合成等计算机视觉中的经典任务,媲美或超越现有方法。
注意力蒸馏黑科技:该算法是一种全新的“注意力蒸馏损失”,通过构建“理想”风格化目标优化生成图像的隐变量,完美解决了传统方法的局限性。同时,研究团队还改进了分类器引导方法,以加速风格化过程,无需任何额外训练。
结合“文生图”:该方法可以轻松嵌入当下最火的AIGC文生图工具,甚至还能和ControlNet、MultiDiffusion联合使用,简直是风格化图像合成“万能工具箱”!
技术突破与学术成就
项目成果已被计算机视觉顶会CVPR 2025接收。论文标题为《Attention Distillation: A Unified Approach to Visual Characteristics Transfer》(注意力蒸馏:一种图像视觉特征迁移通用方法),作者包括周漾(副教授)、高旭(硕士生)、陈子冲(硕士生)和黄惠(教授),通讯作者为黄惠,单位为深圳大学可视计算研究中心和深圳大学计算机与软件学院。
视觉特征迁移,指的是将一幅图像(称为“参考图像”)中独特的视觉特征,如色彩、纹理、笔触、甚至更高层次的艺术风格或材质感,迁移到另一幅图像(称为“目标图像”)上,从而生成一幅既保留了内容图像的结构和语义信息,又融合了风格图像视觉特性的新图像。该问题一直是计算机视觉和图形学领域一个重要且颇具挑战性的话题,是AIGC的重要任务之一,广泛应用于艺术创作、图像编辑、虚拟现实等领域,具有重要的研究意义和应用价值。
针对该问题,论文提出了一种通用且高效的视觉特征迁移方法,适用于多种基于样例的图像合成应用,如艺术风格迁移、外观迁移、风格化文本到图像生成以及各种纹理合成任务。与以往使用自注意力特征作为即插即用属性的方法不同,该方法充分利用预训练扩散模型的强大语义先验以及注意力机制,设计了一种新的注意力蒸馏损失。该损失通过构建“理想”风格化目标并计算与当前风格化结果之间的差异,在潜空间中反向传播优化生成图像的隐变量,克服了基于特征注入方法存在的域差距、架构限制和误差累积等局限性。来自扩散模型的紧密语义对应关系确保了高保真的局部纹理细节还原,而基于注意力的全局关系建模则带来了整体视觉分布的一致性。此外,论文还提出了一种改进的分类器引导,将注意力蒸馏损失整合到去噪采样过程中,进一步加速了合成过程,并实现了更广泛的图像生成应用,包括风格化文生图以及与ControlNet、MultiDiffusion的联合使用。大量的实验和与最先进方法的比较表明本文方法在基于样例的风格、外观和纹理等视觉特征迁移任务中有着非凡性能。
核心贡献包括:
- 分析了先前即插即用注意力特征方法的局限性,并提出了一种新的注意力蒸馏损失,用于再现参考图像的视觉特征,取得了显著的优越结果。
- 提出了注意力蒸馏引导采样,这是一种改进的分类器引导方法,将注意力蒸馏损失整合到去噪过程中,显著加快了合成速度,并实现了广泛的视觉特征迁移和合成应用。
开源项目与应用体验
论文和代码已经完全开源,欢迎各位技术大佬和艺术爱好者前来围观!研究团队还贴心地准备了一个Huggingface WebUI,让大家可以轻松上手体验!
- 项目主页:https://xugao97.github.io/AttentionDistillation/
- 代码仓库:https://github.com/xugao97/AttentionDistillation
- Huggingface WebUI:https://huggingface.co/spaces/ccchenzc/AttentionDistillation
从运行结果可以看到虽然在人脸姿态、衣服颜色与背景等与风格样例(深度学习之父Hinton教授的诺贝尔奖“定妆照”——来自瑞典艺术家Niklas Elmehed)差别很大,但算法结果非常生动地复现了画家笔下的独特线条(头发、脸颊、衣服),以及脸部和脖子阴影。
该研究的目标是让每个人都能成为“艺术家”!无论你是技术宅、设计师还是“普通吃瓜群众”,只要你有照片,研究团队就能帮你完成艺术大作!快来试试吧,说不定下一个“毕加索”就是你!
如果觉得效果太惊艳,记得回来点赞评论转发,你们的支持是研究团队最大的动力!
本文原文来自深圳大学可视计算研究中心