问小白 wenxiaobai
资讯
历史
科技
环境与自然
成长
游戏
财经
文学与艺术
美食
健康
家居
文化
情感
汽车
三农
军事
旅行
运动
教育
生活
星座命理

ComfyUI:使用 8GB显存运行混元视频模型

创作时间:
作者:
@小白创作中心

ComfyUI:使用 8GB显存运行混元视频模型

引用
CSDN
1.
https://m.blog.csdn.net/shadowcz007/article/details/144814120

Temporal Tiling 时间平铺

ComfyUI发布对Hunyuan视频生成模型的低显存支持,主要用了一个新节点:VAE Decode(Tiled)。原理是使用了Temporal Tiling 时间平铺

解释下,什么是Temporal Tiling?举一个具体的形象类比

Temporal Tiling(时间平铺)是一种用于处理视频数据的方法,特别是在降低视频编码和解码过程中的显存需求时非常有用。与空间平铺(spatial tiling)不同,空间平铺是将图像数据在空间维度上分割处理,而时间平铺是将视频数据在时间维度上分割处理。

为了形象地解释Temporal Tiling,可以通过以下类比:

假设你有一本书(代表视频),这本书有很多页(代表视频的帧)。
你现在手头上只有很小的桌子(代表有限的显存),一次只能放下一部分书页来阅读(处理)。
空间平铺就像是你把每一页书撕成小块,然后在桌子上拼起来阅读;
而时间平铺则是你一次只放几页书在桌子上阅读,读完这几页再换下一批。

具体来说,Temporal Tiling会将视频帧分成多个小段,每个小段包含一定数量的帧,这样每次只处理这些小段而不是整个视频。每次处理的视频帧数量减少,从而降低了显存需求,同时保持了视频处理的连续性和完整性。

ComfyUI 作为一款具有可视化节点式操作界面的工具,可以运行各种生成式模型,非常适合用来设计复杂工作流。

© 2023 北京元石科技有限公司 ◎ 京公网安备 11010802042949号