插画师、概念设计师的AI新工具：三位艺术家实操分享

插画师、概念设计师的AI新工具：三位艺术家实操分享

雨果奖得主是如何用AI将一张手绘线稿变成一个堪比电影大片的动态分镜的？从业二十年的资深画师用stable fusion的方式和我们这些普通人又有什么区别？对专业的三弟概念设计师来说，AI又是如何落地进入自己的工作流的？让我们一起来看看三位来自不同领域的资深艺术家，是如何用在GPU上运行的AI应用实现自己的工作流的。

赵恩哲：从手绘线稿到动态分镜

赵恩哲是今年雨果奖最佳职业艺术家奖的获得者，也是国内首位获得此殊荣的插画师。他的作品曾获得银河奖、星云奖等重量级奖项，是国内科幻绘画领域的大师级人物。赵老师有一个个人爱好是绘制富有未来感的星际战舰，并时常畅想将这些战舰与心中的世界变成一部大片、一部游戏。

赵老师以完善一幅名为《虚空之舟》的作品为契机，展示了他使用stable fusion进行概念美术加工的全流程。stable fusion是一个完全免费、开源的AI图像生成模型，它最擅长的就是用草图生成一幅初具规模的成品。

赵老师先在纸上绘制草图来进行概念设计，然后将手绘图拍照扫描后上传到stable fusion的图生图界面。在control net插件里开启soft edge模型对它进行重绘。其中，soft edge是一种控制类型，很适合概念延展。将手稿导入进去以后，它会利用边缘识别算法对图片进行处理，并以这幅柔和边缘信息图指导AI生成型类似的图片。

只需要使用提示词简单描述效果，设置合适的模型配置各项生成参数，就可以得到一系列概念设计的成品图了。stable fusion的这些功能是建立在强大的本地算力基础上的，它在设计师与艺术家间的普及也带动了GPU的算力，成为如今创影业最重要的基础设施之一。

那这个概念设计又是如何变成开头我们看到的那个动画的呢？赵老师使用的是rawtwo，一个时下非常流行的在线图片转视频生成服务。它的操作也非常简单，只需要上传一张静态的概念图，然后同样输入提示词来描述片段，点击生成就可以得到一个4秒钟的基于图片演化的动态分镜了。

不过rawtwo提供的一次性免费生成额度只有25秒，用完了就必须开通会员。但好在现在也有不少免费开源的AI动画生成模型，可以完美复刻rawtwo的效果。例如由S的开发公司推出的SVD，如果你的设备显存在12GB以上，就可以利用它在CompUI里搭建一个几乎一模一样的本地化图片转视频流水线。

只需要在这里导入图片，设定图片尺寸和生成视频的尺寸帧率，再通过checkpoint选取SVD模型，然后点击生成，就可以实现和rawtwo类似的图片转动画效果了。通过sample version生成图片，我们最快只需要不到10秒钟就可以生成一张AI加工文的概念图，把它输入到SVD里。转视频则需要花费最快50秒到几分钟不等的时间，加起来你可以在10分钟内将一个手绘草图转变成一个动态的视频，在分秒间实现想法到成片的飞跃。

格子：AI辅助线稿上色

格子老师是一位拥有二十年绘画经验的民间野生画手，曾经参与制作《封神》《刺杀小说家》《将夜》等热门电视剧的海报，作品风格多样且创意独到。格子老师提供了一套普世化的工作流向。我们展现了插画师可以如何灵活运用AI工具来辅助数码绘画中最耗时耗力的一个环节——线稿上色。

格子老师先在PS里构思创意并起草一幅线稿。这幅作品的主题是《Whom I》，一个凝视显示屏上自己的面孔的背影，展现出了人在面对未来时所感受到的迷茫和对自我身份的审视。完成以后，他将线稿导入Stable Diffusion中，同样利用control net加载这里格子老师是通过文生图加载的线稿，这样可以完全排除线稿图片本身颜色对生成画面的影响。采用的模型组合是Line Arts和Invert，和刚刚赵老师使用的Soft Edge相比，Line Arts在完成度更高的线稿上控制效果更为精确。

即便有了线稿，生成的具体颜色和细节样式还是会有一定的随机性。而格子老师的操作让我看到了专业选手解决这类问题的办法。首先他利用同一线稿生成了多张整体结构相同的图片，选择一张最接近理想效果的图片作为底图。如果你的设备显存在12GB以上可以像格子老师一样，将单批数量设置到4，这样可以同时跑4张图，对大批量抽卡的效率提升是非常显著的这张底图不需要百分之百完美，因为即便有一些细节上的小偏差，我们可以随时在和它结构相似的另一张图片里找到备用方案，然后将那些能用的部分截取出来，拼贴在图上进行修饰。为了确保细节不会因为放大边界而模糊，格子老师还通过后期处理里的Swing RR四倍放大算法，将这些图片超分到了4K左右的级别。最后他在这些成品图的基础上又进行了一点点小的加工处理。一张富有视觉冲击力的插画作品就完成了。

大俊：AI在3D建模中的应用

大俊老师是一位Blender概念设计师，央美毕业，参与过《边境》《三体画册》等项目制作，作品获得过GGAC数字艺术平台大赛的金奖。同时他也是阿里特邀AI创作者，一直致力于探索AI与传统3D工作流的融合。

一个3D艺术作品的创作主要可以被分为建模和贴图两个部分。你可以简单的把建模理解为给作品塑骨而贴图就是在骨架的基础上用平面图像定义模型表面特征来给它美容。今年以来，技术社区里也出现了许多AI建模的项目，但说句老实话，效果还没有平面图像生成方面这么好大俊老师的工作流呢就为我们提供了一个更加富有实用性的思路，就是AI贴图传统的三维材质贴图需要针对每一个模型单独来设计，给石头安排石头的纹理，木头安排木头的。但也有一些比较复杂的模型，表面的各个部位特点还不一样。所以建模行业发明了UV贴图，将一个复杂的3D模型表面映射到一个平面上。这样只需要在平面图片的不同部分填上不同内容，就可以使用它来塑造复杂的模型外观了。

那这个时候AI在平面图像生成上的优势就可以和建模完美结合在一起。大军老师的做法非常巧妙，首先它在Blender里使用各种形状给场景搭建简单的白膜。它构建了一个从洞穴内往外眺望的场景，并设计了金字塔形的主体物和前方的一些遮挡。随后他将这些白膜使用Blender的合成器节点导出为深度图，并另外渲染一份没有任何材质的渲染图。将这两幅图同样在输入control里的depth和cami，并利用它们控制生成图像成品看效果非常完美。

如果只是做静态作品的展示，那Stability Version基本是可以完全取代材质贴图和渲染的步骤了。但一旦要动起来就不行了，因为它只是一个平面的图片。这个时候就要用到我们一开始提到的那个UV贴图的小技巧了。我们只需要把原本场景模型里那些需要贴图的表面给展。开到这张成品里就能用它来装点这个场景了。

具体的做法是在Blender里选择所有模型，进入编辑模式以后按A全选。在初始机会上利用UV里的视角投影功能，就能一下子把材质贴到对应位置上，再进行一些简单的光影色彩模式设置，看渲染效果是不是一下子就出来了。从侧面看这个UV实际上是这样的，但在正面它恰到好处的填上了我们能看见的每一个表面。这个方法也不是完美无缺的，在视角发生变化的时候，一些地方的UV贴图会出现类似的穿帮。但我们可以人为的控制这些UV展开以后对应图像的哪些部分，做一些灵活调整，用图片里的其他部分把它自然补齐就可以了。

在完成了这一切以后，大俊老师同样给场景做了一点点细节的丰富。像是加入生动的水面丰富画面的小飞碟，并利用PS在原图基础上加工出背景天空的贴图，再贴上动画，一个非常生动的三维场景就诞生了。这种制作方式还有另一个非常显著的优势，就是切换画风非常方便。因为我们所有的贴图都是被投影到SD生成的这张成品图上的那我们只需要使用不同的模型和提示词产出不同风格的图片来替换这张图片，就可以实时变更整个场景的美术风格。这也是开头的展示里同一个作品的风格可以如此多变的原因，很神奇对吧？

AI与艺术创作的未来

在这期视频展示的工作流程里，三位老师都是在搭载了GPU的DIY电脑主机上实现创作的。艺术家打磨一个作品的过程，就是在将所想及时的转换为所见与所得。在利用AI辅助创作时，速度与性能就成为了一个硬门槛。在TSR、TLCM等先进技术的加持下，使用AI生成图片的速度现在已经可以压缩到一秒技术的级别，极大地方便了他们创作早期的大量风格。探索尝试，甚至还催生了实时绘画等一系列新的创作思路。而扩大生态的护城河也可以帮助他们使用诸如control net等创作必备的精准控制工具，从而兼顾作品输出的高效率和高质量高精度。

另外诸如Enemy Dive SVD等视频项目对显存也有强需求，这使得N卡用户可以轻松享受价值数百元的付费级应用体验。NVIDIA GPU的强大性能，在每一位艺术家的创作过程中都是不可忽视的一部分。大全老师也提到了这里各种基于RTX加速的光线追踪和渲染优化功能，对创作的帮助也非常大我相信每一位创意工作者应该都深有体会。

看了三位老师分享的创意工作流以后，你有什么感想和收获呢？我发现了一个共同点，他们都是在过硬的专业技能上，再加上AI赋予的强大能力，才造就了高质量作品的高效产出。这说明了什么呢？我想AI不会取代任何艺术家，但优秀的创作者总能用AI工具帮助自己更高效的表达。而老师们的一点点加工也让我意识到，在真正的艺术创作里，AI绝不是一种速成的捷径。要想更好的驾驭它，同样需要非常扎实的专业基本功。

而如果我们将视角再抬高一点，就会发现AI并不仅仅是一个艺术家个体层面的创作工具，还是一种宏观的创作趋势。赵恩哲老师就表示，在游戏影视行业降本增效的背景下，这样的AI应用是非常值得肯定的。他最大的感受就是原来要实现需要很多工作者几个月的努力，现在却可以在几秒钟内呈现在面前。对于大公司来说，或许这意味着同样的预算可以制造出更丰富的内容，而对于每一位有灵感想创作的个体而言，未来所有艺术创作门槛都会大大降低。那么现在有了SD、Runway等AI的创作工具，再加上英伟达RTX显卡的强大算力的加持，其实可以最大程度的还原你的想象。在质量和速度上面都能够。更上一个台阶。真正的实现了我心中的秒出世界无限创造的可能性。

我认为这必定是一场艺术及文化领域的重大的工业革命，也可能会迎来新的文艺复兴。未来会出现越来越多的超级个体，会让每个人进入无限创造的时代。