让纸片人动起来！DrawingSpinUp：能从单个角色绘图生成高质量的3D动画
让纸片人动起来！DrawingSpinUp：能从单个角色绘图生成高质量的3D动画
DrawingSpinUp是一个创新的AI模型，能够从单个角色绘图生成高质量的3D动画。该模型通过先进的图像处理和3D重建技术，让纸片人能够自由旋转、跳跃，甚至执行复杂的舞蹈动作。
摘要
为各种人物画制作动画是一项引人入胜的视觉内容创作任务。给定一个人物画，现有的动画方法仅限于平面2D运动，因此缺乏3D效果。另一种解决方案是从人物画中重建3D模型作为代理，然后将3D运动数据重新定位到其上。然而，现有的图像到3D方法在外观和几何方面对于业余人物画效果不佳。人物画中通常存在的轮廓线会因其视图依赖性而在纹理合成中引入显著的歧义。此外，由于单线轮廓表示的细区域结构精细，因此很难重建（例如，火柴人细长的四肢）。
为了解决这些问题，文章提出了一个新颖的系统DrawingSpinUp，以制作可信的3D动画并为人物画注入生命，让它们自由旋转、跳跃，甚至表演嘻哈舞。为了改善外观，采用先移除后恢复的策略，首先移除与视图相关的轮廓线，然后在重新定位重建的角色后将其渲染回来。为了细化几何形状，该方法开发了一种基于骨架的细化变形算法来细化单线轮廓所表示的细长结构。实验评估表明提出的方法优于现有的2D和3D动画方法，并能从单个角色绘图生成高质量的3D动画。
方法
DrawingSpinUp流程。
（a）首先通过FFC-ResNet移除并修复输入绘图的轮廓区域。
（b）使用预先训练的Wonder3D生成粗略3D几何图形，然后细化其形状和纹理。
（c）提出了一个两阶段几何感知风格化网络来恢复每个动画帧的原始绘图风格。
实验
和之前的工作比较
DrawingSpinUp方法与基于2d的动画方法进行比较。
DrawingSpinUp方法与其他基于3d的动画方法进行比较：DreamGaussian和Wonder3D。
消融实验
没有（上）和（下）轮廓去除的比较。
三种场景的对比：不切不切（上）、只切（中）和切不切（下）。
无（上）和有（下）旋转不变卷积的比较。
限制
不恰当的边缘提取
当提取阈值不合适的边缘时，轮廓渲染可能会产生伪影，如红色虚线圈所示。
轮廓线太粗的例子
结论
DrawingSpinUp模型通过先进的图像处理和3D重建技术，成功解决了现有动画方法在处理人物画时的局限性。该模型不仅能够生成高质量的3D动画，还能够保持原始绘图的风格和细节，为动画制作领域带来了新的可能性。